本文是一篇在职硕士论文，本文针对智慧楼宇综合能源系统的低碳运行问题，提出基于深度强化学习的楼宇低碳能量管理方法，进而在考虑社区内多楼宇的协同优化以及社区内楼宇间的端对端电能交易等方面开展研究，为智慧楼宇综合能源系统的高效、安全、低碳运行提供方法借鉴。
1 绪论
1.1 研究背景及意义
楼宇在全球能源消耗和碳排放总量中占有的很大一部分[1]。例如，2020年，全球楼宇和建筑工业共消耗了全球36%的用能，产生了37%的碳排放[2]。而且，随着城市化进程的不断推进，预计在未来30年内，建筑物的能源需求预计将继续增加50%[3]。与此同时，全球范围内正在发生一场前所未有的能源革命，如何在确保能源可持续供应的同时，有效地控制能源价格并减少用能过程中产生的温室气体排放，是当今世界各国共同关心的问题[4]。2020年9月，中国明确提出2030年“碳达峰”与2060年“碳中和”的“双碳”目标，将会有越来越多的分布式可再生能源接入到本地楼宇和配电系统之中，给区域能源的安全稳定运行带来更加严峻的挑战。
在过去的几十年，甚至几年里，数字技术以前所未有的速度发展，使得设备通信、监控、分析和显示数据的方式发生了巨大的变化。这些新技术以及其所支持的新商业模式和交互方式不断地纳入能源系统，给全球带来了能源数字化的浪潮[5]。在上述背景下，智慧楼宇能量管理（Smart Building Energy Management, SBEM）受到越来越多的关注，它通过利用智能电表、机器学习、大数据分析等先进技术，可以有效地降低能源的运行成本并提高效率，为能源用户提供经济且可持续的运行环境。而且通过对建筑能源系统的智能调度，可以使楼宇在能耗成本、碳排放和用户舒适度方面达到最优的权衡[6]。
............................
1.2 研究现状
1.2.1 智慧楼宇综合能源系统能量管理研究现状
智慧楼宇综合能源系统是一种面向用户的终端多能系统[15]，其内部有多种类型的能源设备，例如，光伏板、风力涡轮机、柴油发电机等发电设备，电、热储能设备，热电联产、电热泵、燃气锅炉等能量转化设备，以及照明系统、百叶窗系统、电动汽车、洗衣机等用电设备。由于这些设备的运行会对建筑物具有相当大的经济和环境影响，因此有必要对其进行协调调度。智慧楼宇综合能源系统能量管理通过调度内部源荷的协同互动，在满足终端用户多能需求和服务舒适度的前提下，既可以降低智慧楼宇的能耗成本，又可以促进可再生能源在用户侧的渗透。
近年来，许多学者对智慧楼宇综合能源系统或相似系统的能量管理问题进行了研究。在日前优化调度角度，文献[16]基于用户侧综合能源系统的混合整数线性规划模型，在满足楼宇的规划约束、母线和设备运行约束、网络约束等条件下，考虑投资成本、运行成本和环境成本等因素，实现综合能源智能楼宇的规划运行联合优化。文献[17]考虑到实际运行中预测误差的影响，提出了基于模型预测的日内滚动修正方法，可在日前优化的基础上对日内运行方案进行精确修正，实现了对楼宇综合能源系统的多时间尺度优化调度。文献[18]为智慧楼宇综合能源系统提出了一种基于差异化需求的多元融合设计，并采用自适应权重系数法和自适应罚函数法来求解最小化用户用能成本和最大化源网侧热电联产设备发电效率的多目标优化问题。针对冷热电联产系统，文献[19]构建了一种可扩展的动态经济调度模型框架，并围绕该结构的特点建立了冷热电联产系统微网的0-1混合整数线性规划模型，增加了综合能源系统调度运行模型的灵活性和通用性。此外，电动汽车（Electric Vehicle，EV）作为社区内一种重要的需求侧资源，既能通过智能充电桩实现用电负荷的调节，又能视作分布式储能单元给系统提供电能[20]，从而极大增加了楼宇综合能源系统调度优化的灵活性。文献[21]将智慧楼宇中的电动汽车以及空调、照明设备等可控负荷一起引入多目标优化协调运行控制模型中，既平滑了楼宇配电网的负荷波动，又降低了楼宇用户的整体用电成本。
............................
2 基于近端策略优化的楼宇低碳能量管理方法
2.1 引言
楼宇和建筑工业约占全球三分之一的能源消耗和碳排放，且比例在不断增长，因此智慧楼宇能量管理（Smart Building Energy Management, SBEM）技术近年来受到了越来越多的关注。然而，智慧楼宇能量管理技术存在着诸多挑战[10]。首先，由于存在许多复杂且随机的因素，开发一个精确且高效的显式建筑热力学模型对于建筑能源优化来说往往很困难。其次，有许多不确定的系统参数，例如可再生能源发电量、电价、室内温度、室外温度、二氧化碳浓度和居住人数。第三，存在许多与能源子系统相关的时间和空间耦合的运行约束，例如暖通空调系统和储能系统，这意味着当前系统决策将影响未来决策，不同子系统之间的决策应协调。第四，当采用传统的优化方法时，难以实时解决大规模建筑能耗优化问题。具体来说，这些优化方法任何时候都必须全部或部分计算所有可能的解，并选择最佳解。当解空间非常大时，计算过程非常耗时。最后，很难开发出一个通用的建筑能源管理方法，现有的方法大多数都有很强的适用前提，例如随机规划和模型预测控制需要不确定参数的先验或预测信息。
随着物联网技术和计算能力的快速发展，人工智能在控制和优化方面发挥了重要作用。作为一种通用的人工智能技术，深度强化学习（Deep Reinforcement Learning, DRL）有望解决上述挑战。DRL智能体可以在与实际建筑环境的交互中不断学习，生成对应的能量管理策略，在不明确知道建筑热力学模型的情况下支持系统运行，并有效应对系统的不确定性。此外，训练完成的DRL算法的计算复杂度非常低，且能够在面对不同的建筑时，通过在线学习持续改进。
..........................
2.2 楼宇综合能源系统建模
2.2.1 楼宇综合能源系统架构
楼宇综合能源系统在能量的供应、消耗、存储和转换的协同作用下运行。各种能量组件一起工作，来满足楼宇中用户的用电负荷（Electric Load, EL）和用热负荷（Heat Load, HL）。楼宇中常见的能量组件主要包括：
1）用于保持室内舒适度的暖通空调（Heating, Ventilation, and Air Conditioning, HVAC）系统。 2）可再生发电装置：太阳能光伏（Photovoltaic，PV）。 3）两种类型的能量存储装置：电储能（Electrical Energy Storage System，EES）和热储能（Thermal Energy Storage System，TES） 4）三种类型的能量转换设备热电联产（Combined Heating and Power system，CHP），电热泵（Electrical Heat Pump, EHP）和燃气锅炉（Gas Boiler，GB）。
值得注意的是，建筑楼宇中的能量组件不限于本章中列举的内容，且不同类型的建筑其能源组合都是多样化的。例如，PV通常安装在住宅楼顶，HVAC系统主要用于住宅和商业建筑，CHP通常用于EL和HL需求较高的工业建筑。
此外，楼宇综合能源系统还与电网（Electricity Grid, EG）和天然气网（Gas Grid, GG）相连，具体架构如图2.1所示。
在职硕士论文怎么写
........................
3 考虑隐私保护的社区多楼宇智能协同优化方法 ............................... 25
3.1 引言 ............................... 25
3.2 社区多楼宇综合能源系统能量管理模型 ................................. 26
4 基于多智能体强化学习的社区端对端能量交易系统 ............................ 33
4.1 引言 ......................... 33
4.2 基于MMR的本地定价机制 ............................. 34
5 总结与展望 .............................. 44
5.1 本文总结 ............................. 44
5.2 研究展望 ................................ 45
4 基于多智能体强化学习的社区端对端能量交易系统
4.1 引言
随着分布式发电、储能和需求响应等分布式能源的快速发展，传统的能源消费者逐渐演变为产消者，他们可以通过能量管理系统主动安排他们的能源消耗、生产和储存，以最小化他们的能源账单[63]。端对端（Peer to Peer, P2P）能源交易作为智能电网中一种新的市场范式，允许本地能源市场（Local Energy Market, LEM）中消费者和/或产消者之间直接交换能源，有助于能源供应和需求的有效管理[4]。由于产消者控制着交易条款的制定以及商品和服务的交付[14]，预计产消者可以从参与P2P交易中获得巨大收益[31]。同时，也可以减少电网在削减峰值需求、降低投资运营成本、最小化备用需求等方面的运行负担[64]。总体而言，P2P交易为消费者和产消者带来了显著的经济效益，本地需求和发电更加平衡，同时增加了可再生能源的就地消纳，推迟甚至避免配电网加固，并提高了电力系统的可靠性[14]。
然而，在P2P网络中进行交易具有挑战性[13]。这是因为，在具有大量用户的能源系统中，具有多种能源交易参数，很难对交易的决策过程进行建模[65]。而且P2P网络中的许多利益相关者可能会以不同的目标请求P2P服务，因此需要在定价方案中进行创新，以优先考虑这些请求，以便在整个网络中提供非拥塞服务，同时将网络损耗保持在最小。此外，所有参与者的策略都是实时调整的，并且价格信号、光伏发电和能源使用行为的信息是随机的，因此真实市场通常是非常动态的。所以对于P2P网络中的参与者来讲，如何在这类具有不确定性的顺序决策问题中获得最优的交易策略，也是一项重要的挑战。
在职硕士论文参考
.......................
5 总结与展望
5.1 本文总结
楼宇和建筑工业约占全球三分之一的能源消耗和碳排放，而且这一数字预计将会随着城市化进程继续增加。因此，在能源系统数字化改革和低碳转型不断推进的背景下，智慧楼宇能量管理受到越来越多的关注，它可以有效地降低能源的运行成本并提高效率，使楼宇在能耗成本、碳排放和用户舒适度方面达到最优的权衡。与此同时，区域内多能耦合和信息交互进一步深化,逐渐建立起各个层级的综合能源系统。综合能源系统可在满足区域内冷、热、电、天然气等多样化用能需求的同时,有效提高资源利用效率,促进对可再生能源的有效消纳,从而推动能源的可持续开发利用。虽然智慧楼宇综合能源系统可以成为区域能源系统脱碳的一个关键选择，但由于其建模所需的方法和分析它们的相关工具往往非常复杂，给研究和应用带来了诸多挑战。
本文针对智慧楼宇综合能源系统的低碳运行问题，提出基于深度强化学习的楼宇低碳能量管理方法，进而在考虑社区内多楼宇的协同优化以及社区内楼宇间的端对端电能交易等方面开展研究，为智慧楼宇综合能源系统的高效、安全、低碳运行提供方法借鉴。本文主要工作和创新点如下：
1）针对现有方法模型建立复杂、不确定性参数多、能源子系统时空耦合以及计算过程耗时等问题，提出基于DRL的楼宇低碳能量管理方法。把智慧楼宇能量管理系统视为DRL中的智能体，并根据楼宇综合能源系统的数学模型，为其搭建与之交互的楼宇模拟环境。将楼宇低碳能量管理问题建模为MDP并定义其状态空间、状态转移、动作空间和奖励函数这四个要素。采用基于策略梯度改进的PPO算法，对该问题进行求解。所提出的方法在不明确知道建筑热力学模型的情况下有效地应对了系统的不确定性，实现了对楼宇内多种能源器件组合的实时最优能量调度。
参考文献（略）