基于随机方差减小方法的DDPG算法

doi:10.3778/j.issn.1002-8331.2009-0097

计算机工程与应用 ›› 2021, Vol. 57 ›› Issue (19): 104-111.DOI: 10.3778/j.issn.1002-8331.2009-0097

基于随机方差减小方法的DDPG算法

杨薛钰，陈建平，傅启明，陆悠，吴宏杰

1.苏州科技大学电子与信息工程学院，江苏苏州 215009
2.苏州科技大学江苏省建筑智慧节能重点实验室，江苏苏州 215009
3.苏州科技大学苏州市移动网络技术与应用重点实验室，江苏苏州 215009
4.珠海米枣智能科技有限公司，广东珠海 519000
5.苏州科技大学苏州市虚拟现实智能交互与应用技术重点实验室，江苏苏州 215009

出版日期:2021-10-01 发布日期:2021-09-29

Deep Deterministic Policy Gradient Algorithm Based on Stochastic Variance Reduction Method

YANG Xueyu, CHEN Jianping, FU Qiming, LU You, WU Hongjie

1.School of Electronic and Information Engineering, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China
2.Jiangsu Province Key Laboratory of Intelligent Building Energy Efficiency, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China
3.Suzhou Key Laboratory of Mobile Networking and Applied Technologies, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China
4.Zhuhai Mizao Intelligent Technology Co., Ltd., Zhuhai, Guangdong 519000, China
5.Virtual Reality Key Laboratory of Intelligent Interaction and Application Technology of Suzhou, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China

Online:2021-10-01 Published:2021-09-29

摘要/Abstract

摘要：

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢，训练不稳定，方差过大，样本应用效率低的问题，提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略，将之运用到DDPG算法之中，在DDPG算法的参数更新过程中，加入了随机方差减小梯度技术，利用该方法的更新方式，使得估计的梯度方差有一个不断减小的上界，令方差不断缩小，从而在小的随机训练子集的基础上找到更加精确的梯度方向，以此来解决了由近似梯度估计误差引发的问题，加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题，实验结果表明，SVR-DDPG算法具有比原算法更快的收敛速度，更好的稳定性，以此证明了算法的有效性。

关键词: 深度强化学习, 深度Q学习算法（DQN）, 深度确定性策略梯度算法（DDPG）, 随机方差缩减梯度技术

Abstract:

Aiming at the problem that the Deep Deterministic Policy Gradient（DDPG） algorithm has slow convergence speed, training instability, large variance and poor sample efficiency. This paper proposes a deep deterministic policy gradient algorithm by utilizing Stochastic Variance Reduced Gradient（SVRG） algorithm. By utilizing stochastic variance reduced techniques, it proposes an innovative optimization strategy, applying it to DDPG algorithm. In the parameter update process of the DDPG algorithm, by using the update mode of this method, the estimated gradient variance has a decreasing upper bound, so that the variance decreases continuously, so as to find a more accurate gradient direction on the basis of a small random training subset. This strategy solves the problem caused by the approximate gradient error, speeds up the convergence speed of the algorithm. Applying SVR-DDPG algorithm and DDPG algorithm to Pendulum and Mountain Car problems, experimental results show that the SVR-DDPG algorithm has a faster convergence rate and better stability than the original algorithm, which proves the effectiveness of the algorithm.

Key words: deep reinforcement learning, Deep Q-Network（DQN）, Deep Deterministic Policy Gradient（DDPG）, stochastic variance reduced techniques

杨薛钰，陈建平，傅启明，陆悠，吴宏杰. 基于随机方差减小方法的DDPG算法[J]. 计算机工程与应用, 2021, 57(19): 104-111.

YANG Xueyu, CHEN Jianping, FU Qiming, LU You, WU Hongjie. Deep Deterministic Policy Gradient Algorithm Based on Stochastic Variance Reduction Method[J]. Computer Engineering and Applications, 2021, 57(19): 104-111.

参考文献

[1] SUTTON R S，BARTO G A.Reinforcement learning：An introduction[M].Cambridge：MIT Press，1998.
[2] MNIH V，KAVUKCUOGLU K，SILVER D，et al.Playing Atari with deep reinforcement learning[J].arXiv：1312. 5602，2013.
[3] 陈培，王超，王德奎，等.针对分布式深度学习训练的Kubernetes集群网络拓扑调度算法[J].信息技术与信息化，2019（9）：109-113.
CHEN P，WANG C，WANG D K，et al.Kubernetes cluster network topology scheduling algorithm for distributed deep learning training[J].Information Technology and Informatization，2019（9）：109-113.
[4] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806-2810.
SUN Z J，XUE L，XU Y M，et al.A review of deep learning research[J].Application Research of Computers，2012，29（8）：2806-2810.
[5] SILVER D，HUANG A，MADDISONC J，et al.Mastering the game of go with deep neural networks and tree search[J].Nature，2016，529：484-489.
[6] SILVER D，SCHRITTWIESER J，SIMONYAN K，et al.Mastering the game of go without human knowledge[J].Nature，2017，550：354-359.
[7] WATKINS C J C H.Learning from delayed rewards[D].Cambridge：Cambridge University，1989.
[8] VAN HASSELT H，GUEZ A，SILVER D.Deep reinforcement learning with double q-learning[J].arXiv：1598.06461，2015.
[9] WANG Z，SCHAUL T，HESSEL M，et al.Dueling network architectures for deep reinforcement learning[J].arXiv：1511.06581，2015.
[10] FORTUNATO M，AZAR M G，PIOT B，et al.Noisy networks for exploration[J].arXiv：1706.10295，2017.
[11] 陈建平，何超，刘全，等.增强型深度确定策略梯度算法[J].通信学报，2018，39（11）：106-115.
CHEN J P，HE C，LIU Q，et al.Enhanced deep deterministic policy gradient[J].Journal of Communications，2018，39（11）：106-115.
[12] PAIK S，SHAK S，TANG G，et al.A multigene assay to predict recurrence of tamoxifen-treated，node-negative breast cancer[J].New England Journal of Medicine，2004，351：2817.
[13] LILLICRAP T P，HUNT J J，PRITZEL A，et al.Continuous control with deep reinforcement learning[J].Computer Science，2015，8（6）：187.
[14] SILVER D，LEVER G，HEESS N，et al.Deterministic policy gradient algorithms[C]//Proceedings of the International Conference on Machine Learning，2014.
[15] 周志华.机器学习[M].北京：清华大学出版社，2016：377-382.
ZHOU Z H.Machine learning[M].Beijing：Tshinghua University Press，2016：377-382.
[16] KONDA V R，TSITSIKLIS J N.On Actor-critic algorithms[J].SIAM Journal on Control and Optimization，2000，42（4）：1143-1166.
[17] KINGMA D P，BA J.Adam：A method for stochastic optimization[J].arXiv：1412.6980，2014.

基于随机方差减小方法的DDPG算法

Deep Deterministic Policy Gradient Algorithm Based on Stochastic Variance Reduction Method

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	周友行，赵晗妘，刘汉江，李昱泽，肖雨琴. 采用DDPG的双足机器人自学习步态规划方法[J]. 计算机工程与应用, 2021, 57(6): 254-259.
[2]	马志豪，朱响斌. 拟双曲动量梯度的对抗深度强化学习研究[J]. 计算机工程与应用, 2021, 57(24): 90-99.
[3]	李宝帅，叶春明. 深度强化学习算法求解作业车间调度问题[J]. 计算机工程与应用, 2021, 57(23): 248-254.
[4]	成怡，郝密密. 改进深度强化学习的室内移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(21): 256-262.
[5]	况立群，李思远，冯利，韩燮，徐清宇. 深度强化学习算法在智能军事决策中的应用[J]. 计算机工程与应用, 2021, 57(20): 271-278.
[6]	孔松涛，刘池池，史勇，谢义，王堃. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用, 2021, 57(2): 49-59.
[7]	宋浩楠，赵刚，王兴芬. 融合知识表示和深度强化学习的知识推理方法[J]. 计算机工程与应用, 2021, 57(19): 189-197.
[8]	张荣霞，武长旭，孙同超，赵增顺. 深度强化学习及在路径规划中的研究进展[J]. 计算机工程与应用, 2021, 57(19): 44-56.
[9]	杨彤，秦进. 基于平均序列累计奖赏的自适应ε-greedy策略[J]. 计算机工程与应用, 2021, 57(11): 148-155.
[10]	孙彧，曹雷，陈希亮，徐志雄，赖俊. 多智能体深度强化学习研究综述[J]. 计算机工程与应用, 2020, 56(5): 13-24.
[11]	韩道岐，张钧垚，周玉航，刘青. 基于深度强化学习的股市操盘手模型研究[J]. 计算机工程与应用, 2020, 56(21): 145-153.
[12]	李跃，邵振洲，赵振东，施智平，关永. 面向轨迹规划的深度强化学习奖励函数设计[J]. 计算机工程与应用, 2020, 56(2): 226-232.
[13]	赖俊，饶瑞. 深度强化学习在室内无人机目标搜索中的应用[J]. 计算机工程与应用, 2020, 56(17): 156-160.
[14]	黄东晋，蒋晨凤，韩凯丽. 基于深度强化学习的三维路径规划算法[J]. 计算机工程与应用, 2020, 56(15): 30-36.
[15]	徐志雄，曹雷，张永亮，陈希亮，李晨溪. 基于动态融合目标的深度强化学习算法研究[J]. 计算机工程与应用, 2019, 55(7): 157-161.