文献综述（或调研报告）：
在最近几年中,国内外在研究发电公司以及大用户的最优投标策略，以及分析相应的市场力方面做了相当多的工作, 大多数是以电力联营体市场为基础进行的。在文献[1]中，对多种电力市场投标策略进行了概述，为课题开展奠定基础。
在现实电力市场中，我们的研究对象一般有购电方，售电方，市场，监管机构和运行机构以及电力系统运行人员和机构等，在一种电力市场策略付诸实际之前，为了避免不必要的损失，以及对这种策略进行评估，逐渐形成了对电力市场进行仿真的方法，通过仿真，分析仿真数据，可以达到分析市场缺陷，完善优化电力市场方案，同时也可以对电力市场工作人员提供技术支持的作用。我们在构建电力市场模型时，需要考虑建立多个对象模型，文献[4]中，对电力市场多Agent建模进行了详细的说明，每一个Agent中由输入模块、强化模块及策略模块构成，每一个Agent和环境相互作用，构成了整个电力市场。其中，输入模块为策略模块提供环境状态输入；强化模块为环境状态赋值，强化信号则可以从环境的状态中直接或间接得到；策略模块的主要功能根据某种策略选择一个动作并作用于环境，并通过学习机制来更新的知识。
在研究发电商代理模型构建时，我们首先得明确发电商的报价策略，因为我们对发电商选用基于成本的报价策略，这种报价方法是目前国内电力市场中发电厂商参与竞价最普遍的一种策略，文献[12]分析了发电侧电力市场的成本报价模型，核心思想是明确本厂的实际发电成本，选取一定的利润率，得到其报价。
文献[3]中，通过分析强化学习算法（代理的策略集，VRE Learning算法，Q-Learning算法）以及贪婪算法在实际电力市场中的数据处理以及报价函数，结合实际算例分析，从各种算法不同方面体现了发电厂商决策时的心理, 在一定程度上体现了发电厂商竞价的理性行为，对我们了解发电厂商竞价提供了思路。在文献[5]中，对VRE Learning算法，Q-Learning算法的决策模块进行了推演，结合实例，VRE Learning算法为一维学习模式，即认为环境不变，每一次报价均试图从轮盘赌中选取概率大的行为。Q-Learning算法是一种针对不完全信息环境模型的强化学习算法，通过维护一个环境，动作空间上的函数Q值来获得最优策略。Q-Learning算法因考虑了不同的环境而扩充为多维学习模式，首先判断系统所处状态，然后根据状态选择行为。实验中，虽不能确定Q-Learning算法探索到的收敛点是全局最优点，但2种方法相比较，可以清晰地看出，Q-Learning算法细化了学习效果，避免过早收敛，增强了探索能力。
文献[9]提出了一种电力市场智能仿真代理模型，其中发电厂商基于选择概率的随机选择报价形式，提出了一种选择概率的强化学习算法。使用这种算法，发电厂商的报价策略可以收敛到均衡策略，使得电力市场达到平衡。基于这种代理模型，结合仿真结果讨论了节点电价的市场特征，给我们提供了研究一种代理模型的过程，对本课题有很大的借鉴作用。
- 文福拴. 电力市场中的投标策略[J]. 电力系统自动化, 2000, 24(14): 1-6.
- 王锡凡,王秀丽,陈皓勇.电力市场基础.西安:西安交通大学出版社,2003
- 王野平, 杨彦, 荆朝霞, 等. 智能代理模拟在电力市场中的运用[J]. 华南理工大学学报 (自然科学版), 2010, 38(3).
- 王海宁. 基于复杂系统多 Agent 建模的电力市场仿真技术研究[D]. 中国电力科学研究院, 2013.
- 陈皓勇, 杨彦, 张尧, 等. 电力市场智能模拟中代理决策模块的实现[J]. 电力系统自动化, 2008, 32(20): 22-26.
- 张森林, 屈少青, 陈皓勇, 等. 大用户直购中基于Q学习算法的多代理两阶段谈判策略[J]. 电力系统自动化, 2010 (6): 37-41.
- Xiong G, Hashiyama T, Okuma S. An electricity supplier bidding strategy through Q-Learning[C]//Power Engineering Society Summer Meeting, 2002 IEEE. IEEE, 2002, 3: 1516-1521.
- Dehghanpour K, Nehrir M H, Sheppard J W, et al. Agent-Based Modeling in Electrical Energy Markets Using Dynamic Bayesian Networks[J].
- 邹斌, 李庆华, 言茂松. 电力拍卖市场的智能代理仿真模型 [J]. 中国电机工程学报, 2005, 25(15): 7-11.
- Sun J, Tesfatsion L. Dynamic testing of wholesale power market designs: An open-source agent-based framework[J]. Computational Economics, 2007, 30(3): 291-327.
- 尚金成，黄永皓，夏清等.电力市场理论研究与应用.北京:中国电力出版社，2002
- 李涛， 蒋传文， 侯志俭. 发电侧电力市场的成本报价模型[J]. 水电能源科学， 2001， 19(3): 62-63.
- Ni E， Luh P B， Rourke S. Optimal integrated generation bidding and scheduling with risk management under a deregulated power market[J]. IEEE Transactions on Power Systems， 2004， 19(1): 600-609.
- 黄杰, 薛禹胜, 许剑冰, 等. 电力市场与电力系统的动态交互仿真平台 (一) 功能设计[J]. 电力系统自动化, 2011, 35(10): 16-22.
- 谢东亮, 薛禹胜, 薛峰, 等. 电力市场与电力系统的动态交互仿真平台 (二) 支撑层设计[J]. 电力系统自动化, 2011, 35(11): 1-7.
- 谢东亮, 薛禹胜, 薛峰, 等. 电力市场与电力系统的动态交互仿真平台 (三) 应用层设计[J]. 电力系统自动化, 2011, 35(12): 7-14.
- 李天然, 薛禹胜, 文福拴, 等. 电力市场与电力系统动态交互仿真平台的应用[J]. 高电压技术, 2010 (12): 3103-3111.
