值此清华大学能源互联网创新研究院成立十周年之际，我们推出“建院十周年学术特辑”专栏，精选院内各研究团队已发表的学术成果，系统呈现研究院在能源互联网领域的前沿研究。本期推出能源战略与运筹研究中心的学术论文，发表于Journal of Modern Power Systems and Clean Energy，详见文末“阅读原文”。
如何在电力市场强化学习投标中使用高维量价曲线提升收益?
| DOI: 10.35833/MPCE.2024.000811
| 作者 刘瑾瑜 郭鸿业 李云 唐庆虎
黄福全 陈图南 钟海旺
近年来，新能源渗透率上升导致电力供需关系变得更加波动且具有不确定性。近日，国家发展改革委发布《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(136号文)，标志着新能源机组将全面参与电力市场，预兆未来电力市场的价格不确定性会逐步增强。为了在更加不确定的市场中提升市场主体的收益，在电力市场中充分使用投标策略愈发重要。
现行电力现货市场普遍采取高维量价曲线投标格式，即市场主体申报若干个量价对参与市场出清。现有的高维投标(HDB)方法主要是基于价格预测，通过构造随机优化和鲁棒优化问题，求解投标参数。但是，此类方法对价格预测的精度有较高要求，而现实电力市场中，由于数据基础不足或者不确定因素过多，价格预测的精度通常较为有限。因此，传统基于电价预测的优化类最优投标方法在实际应用场景中的收益较难达到理想预期。
对比来看，基于强化学习的投标方法通过直接在历史价格数据集上学习投标策略，在实际电力市场中展现出了较好的投标性能，成为了近年来解决电力市场不确定性的热点方向。尽管如此，现有基于强化学习的电力市场投标方法通常仅能运用大大降低了投标灵活性的“自调度”或“纯价格”投标，导致强化学习算法在电力市场中的投标效果被限制。为更充分地发挥电力市场投标的灵活性，本文提出了一种面向高维投标的强化学习框架。通过内嵌神经网络的过程表示高维投标，并通过构造强化学习训练过程，有效提升了现有投标方法在电能量市场中的投标收益。
什么是电力市场中的高维投标？
在电力市场中，投标是市场主体向电力交易中心提交的发用电报价方案。目前主流的报价方案为“量价对投标”，即将不同电量与对应的价格进行组合申报。例如，发电商可能针对同一时段提交多组报价，如“以0.5元/度出售50 MWh”和“以0.6元/度出售100 MWh”。由于量价对投标涉及多个变量，如多段的电量和价格，通常超过20维，本文亦称之为“高维投标”。量价对投标使得市场主体能够更灵活地应对市场波动，管理机会成本，优化收益并降低风险，提升市场博弈能力。
然而，在很多当前的研究中，为了模型的可解性，通常使用低维投标作为优化和训练的基础，即压缩维度的投标，这大大降低了各类投标方法的实际利用效果，例如自调度投标、纯价格投标、离散空间投标等（如图1所示）。
图1 高维投标和现有强化学习算法中采用的压缩维度的投标格式
(a) 高维投标 (b) 自调度投标 (c) 纯价格投标 (d) 离散空间投标
在电力市场中进行有效的高维投标面临哪些挑战？
为了进一步提升机组在市场中的投标效果，人工智能模型在强化学习中采用高维投标是必经之路。
尽管如此，对强化学习算法来说，高维投标具有出清结果的突变性和多时段出清结果耦合的特点，导致高维投标较难直接学习。一方面，由于高维投标本身是多个量价对的组合，多个报价和市场价格相对值将会决定一个被激活的报量值，而这个激活过程是随着报价的值突变的，这个性质造成同一场景下被激活的报量值经常变化，引发不同报量维度之间相互干扰，较大程度影响了强化学习的有效性。另一方面，由于同一个高维投标参与多个时段的市场出清，使得改变高维投标会同时影响多个时段，进一步加大了强化学习的难度。因此，传统基于强化学习的电力市场投标方法难以在优化过程中纳入高维投标。
为此，本文提出一种新颖的训练框架来解决这个问题。首先，提出了一种通过神经网络的输入-输出关系表示高维投标的方法，建立了一种神经网络和高维投标之间的映射关系。进一步，借助这种映射关系，将高维投标突变、耦合的出清过程，近似为神经网络连续、解耦的前向传播，并提出了一个市场出清过程的近似方法，使高维投标问题能够通过强化学习算法高效地求解。
为了使高维投标能被神经网络所表示，本文将高维投标视作一种特殊的供给函数，并用内嵌神经网络的过程表示这种供给函数。如图2所示，“供给函数”是一个经济学概念，是从价格到产量的映射。高维投标(左)构成了一个单调、离散的供给函数。神经网络(右)是强大的函数近似工具，因此可以被用来表示高维投标所对应的供给函数，本文称其为神经网络供给函数(neural network supply function, NNSF)。
图2 两种供给函数形式 (a) 高维投标 (b) NNSF
NNSF可以被视为一个无限维的高维投标，它准确地表达了投标主体的投标策略。在特定的市场环境中，将NNSF的输入输出关系进行单调化、离散化，即可得到高维投标。具体方法详见论文。
如何通过强化学习优化投标神经网络？
为了使NNSF能够被强化学习算法直接优化，本文提出了一个市场出清过程的近似方法，使NNSF投标和出清过程转化为典型的马尔科夫决策过程(Markov decision process, MDP)，进而能通过强化学习算法直接优化。
如图3所示，真实的市场出清结果
图3 通过NNSF在出清价格下的输出及近似高维投标的出清结果
测试在美国Pennsylvania-New Jersey-Maryland (PJM)实时电能量市场中五个价格节点(PJM、DOM、EKPC、PSEG、COMED)的投标收益。投标机组为电化学储能，功率范围为±1 MW，最大容量分别为2、4、8、12 MWh。由于单个储能机组的容量较小，本文假设其不会影响市场价格。实时市场中，每小时组织一次投标，用于出清该小时内12个时段的电能需求。投标算法在700天的历史价格数据上训练，并在300天的价格数据上进行测试。
不同容量的储能的投标收益如图4所示，对比对象包括：① Proposed，即所提出的投标方法；② HDB-WOA，所提出的投标方法+无动作空间优化；③ Direct-HDB，神经网络直接输出高维投标参数；④ Pair-bid，神经网络直接输出两个量价对；⑤ Self-bid，神经网络直接输出自调度功率值；⑥Optimal，最优投标结果，收益为100%，图4中未画出。
图4 不同容量的储能的投标收益 (a) 2 MWh (b) 4 MWh (c) 8 MWh (d) 12 MWh
由图4投标结果可知，①HDB-bid能够获得70.84%-88.41%的最优投标收益。对比Pair-bid，其平均性能提高了15.40%，说明运用高维投标能提升投标算法性能。②HDB-bid比Direct-HDB平均性能提高了103.97%，说明恰当的高维投标生成方法是提升投标算法性能的重要步骤。
图5对比了在不同的量价对维度下，通过NNSF生成的高维投标的收益。可以发现，2维投标的收益(74.91%)与主流的10维投标的收益(82.43%)有显著差别(7.52%)，说明进行高维投标具有价值。而主流的10维投标的收益与无限维(∞)投标(82.59%)之间的收益差距仅为0.16%，说明10维投标对无限维投标已经具有较高的近似精度，验证了本**化学习训练过程的近似的有效性。
图5 不同容量的储能在不同量价对维度投标下获得的收益 (a) 2 MWh (b) 4 MWh (c) 8 MWh (d) 12 MWh
引文信息
Jinyu Liu, Hongye Guo, Yun Li, Qinghu Tang, Fuquan Huang, Tunan Chen, Haiwang Zhong. Reinforcement learning based bidding method with high-dimensional bids in electricity markets [J]. Journal of Modern Power Systems and Clean Energy, doi: 10.35833/MPCE.2024.000811.
作者介绍
郭鸿业：清华大学电机系副研究员，通信作者，主要研究方向：电力市场、需求侧灵活性、电力系统人工智能。
刘瑾瑜：清华大学电机系博士研究生，主要研究方向：电力市场和人工智能应用。
李云：深圳供电局有限公司电力调度控制中心海外领军科技专家，主要研究方向：电力系统运筹和分析。
唐庆虎：清华大学电机系博士研究生，主要研究方向：电力市场、数据驱动的市场分析、机器学习应用。
黄福全：深圳供电局有限公司电力调度控制中心总经理，主要研究方向：电力系统运筹和分析。
陈图南：清华大学和深圳供电局有限公司联合博士后，主要研究方向：电力系统运筹和电力市场。
钟海旺：清华大学电机系长聘副教授，主要研究方向：电力系统优化运行、电力市场。
团队介绍
能源战略与运筹研究中心面向能源行业发展转型的重大变革，从市场交易与规划运营的基础理论、运行机制、关键技术、信息系统等方向开展研究，为我国能源行业的节能、低碳、经济、精益化发展建言献策并提供关键技术支持。团队主要围绕市场、规划、运营三大研究方向，从理论研究、技术突破、工程实现三个层面开展工作，在能源政策、市场机制及运行仿真、低碳多能源系统规划与清洁能源消纳、能源系统调度运营与交易决策等研究方向上深耕。团队近五年发表论文300余篇，其中SCI论文180篇；授权专利40余项，申请100余项；出版中文专著4部，英文专著4部。团队所发表论文在国内外相关领域具有较大影响，共计15篇SCI论文被评为ESI热点/高被引论文，共计8篇获得F5000中国精品科技期刊顶尖学术论文奖。