摘要：海上风电集群的风速时空相关性强，加剧了整体有功输出的波动幅度，大规模并网对电力系统的影响更为突出，海上风电集群有功输出平滑控制是解决上述问题的关键手段。传统方法的优化效率低、难以支撑高频率控制，且对预测误差、执行偏差灵敏度过高。因此，提出了“策略离线训练、在线快速寻优、控制效果自进化”的控制架构，建立了深度强化学习的海上风电集群有功输出平滑控制模型。首先，提出了面向集群功率平滑控制的短期收益函数，基于马尔科夫决策过程模型求解最优指令；其次，提出了面向功率策略校准的长期收益Policy函数，根据历史反馈数据有效矫正控制偏差；最后，建立了智能体状态、控制收益和控制决策之间映射的深度神经网络模型，实现基于深度确定性策略梯度算法的智能体训练与求解。算例结果表明：在平均风速为7.5m/s的给定风况下，所提方法能够降低功率波动幅度达20%，同时将发电量损失控制在5%以内。

结论：本文提出了“策略离线训练、在线快速寻优、控制效果自进化”的控制方法和深度强化学习的海上风电集群有功输出平滑控制模型。结合算例分析，得出以下结论。

1、所提方法采用DDPG算法在离线训练中迭代优化决策网络，通过学习长期的实际反馈来有效修正预测误差带来的控制偏差，实现了控制模型的自进化。

2、利用决策网络在线快速寻优，大幅缩短了控制指令的运算时间，提高了在线决策速度。在本算例中，所提方法的平均优化时间较传统优化方法缩短了98%。

3、能够在满足较少压低负荷的前提下，有效平滑风电集群的总有功输出。算例表明，以平均风速7.5 m/s，湍流强度B级的某风电集群为测试环境，在减少5%发电量的情况下，平均能够降低20%的功率波动幅度，有比较良好的平滑控制性能。