改进DDPG算法在自动驾驶中的应用

doi:10.3778/j.issn.1002-8331.1806-0324

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (10): 264-270.DOI: 10.3778/j.issn.1002-8331.1806-0324

• 工程与应用 • 上一篇

改进DDPG算法在自动驾驶中的应用

张斌1，何明1，2，陈希亮1，吴春晓1，刘斌1，周波1

1.中国人民解放军陆军工程大学指挥控制工程学院，南京 210002
2.军事科学院系统工程研究院网络信息研究所，北京 100071

出版日期:2019-05-15 发布日期:2019-05-13

Self-Driving Via Improved DDPG Algorithm

ZHANG Bin1, HE Ming1，2, CHEN Xiliang1, WU Chunxiao1, LIU Bin1, ZHOU Bo1

1.College of Command and Control Engineering, The Army Engineering University of PLA, Nanjing 210002, China
2.Institute of Network Information, Academy of Systems Engineering, Academy of Military Sciences, Beijing 100071, China

Online:2019-05-15 Published:2019-05-13

摘要/Abstract

摘要： 深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）作为深度强化学习中的经典算法，在连续控制问题上有着较大的优势，被应用于自动驾驶领域。针对DDPG缺少策略动作过滤导致的非法策略比例较高引起的训练效率低、收敛速度慢等问题，提出基于失败经验纠错的深度确定性策略梯度算法。通过分离经验缓存池，根据驾驶表现选择失败数据训练，并将策略网络单输出转化为油门和刹车控制量，通过正态分布噪声改善探索策略。TORCS平台仿真实验表明，所提算法相对于DDPG算法与DQN（Deep Q-learning Network）算法，训练效率明显提升，非法驾驶策略降低为0。

关键词: 深度强化学习, 自动驾驶, DDPG算法, 经验缓存分离, TORCS

Abstract: As a classic algorithm of deep reinforcement learning, the Deep Deterministic Policy Gradient algorithm（DDPG） has great advantage on the aspect of continuous control problems and is applied in self-driving area. In order to solve the problems of low training efficiency and large amount of illegal driving policy, an improved algorithm called failure experience correction DDPG is proposed. The algorithm divides experience pool into success experience pool and failure experience pool, selects failure experience according to the driving performance, controlls the brake pedal and acceleration pedal via one neural network output, and explores unknown policy through normal distribution noisy. Through the simulation on the TORCS platform, experimental results show that the proposed algorithm can significantly improve the training efficiency and reduce the illegal driving policy to zero.

Key words: deep reinforcement learning, self-driving, DDPG algorithm, experience pool dividing, TORCS

张斌1，何明1，2，陈希亮1，吴春晓1，刘斌1，周波1. 改进DDPG算法在自动驾驶中的应用[J]. 计算机工程与应用, 2019, 55(10): 264-270.

ZHANG Bin1, HE Ming1，2, CHEN Xiliang1, WU Chunxiao1, LIU Bin1, ZHOU Bo1. Self-Driving Via Improved DDPG Algorithm[J]. Computer Engineering and Applications, 2019, 55(10): 264-270.

[1]	肖雨晴，杨慧敏. 目标检测算法在交通场景中应用综述[J]. 计算机工程与应用, 2021, 57(6): 30-41.
[2]	马志豪，朱响斌. 拟双曲动量梯度的对抗深度强化学习研究[J]. 计算机工程与应用, 2021, 57(24): 90-99.
[3]	李宝帅，叶春明. 深度强化学习算法求解作业车间调度问题[J]. 计算机工程与应用, 2021, 57(23): 248-254.
[4]	成怡，郝密密. 改进深度强化学习的室内移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(21): 256-262.
[5]	况立群，李思远，冯利，韩燮，徐清宇. 深度强化学习算法在智能军事决策中的应用[J]. 计算机工程与应用, 2021, 57(20): 271-278.
[6]	孔松涛，刘池池，史勇，谢义，王堃. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用, 2021, 57(2): 49-59.
[7]	宋浩楠，赵刚，王兴芬. 融合知识表示和深度强化学习的知识推理方法[J]. 计算机工程与应用, 2021, 57(19): 189-197.
[8]	张荣霞，武长旭，孙同超，赵增顺. 深度强化学习及在路径规划中的研究进展[J]. 计算机工程与应用, 2021, 57(19): 44-56.
[9]	杨薛钰，陈建平，傅启明，陆悠，吴宏杰. 基于随机方差减小方法的DDPG算法[J]. 计算机工程与应用, 2021, 57(19): 104-111.
[10]	杨彤，秦进. 基于平均序列累计奖赏的自适应ε-greedy策略[J]. 计算机工程与应用, 2021, 57(11): 148-155.
[11]	唐维军，徐琨，柳有权，夏悬. 自动驾驶汽车虚拟测试中的树木点云生成方法[J]. 计算机工程与应用, 2021, 57(11): 185-192.
[12]	孙彧，曹雷，陈希亮，徐志雄，赖俊. 多智能体深度强化学习研究综述[J]. 计算机工程与应用, 2020, 56(5): 13-24.
[13]	韩道岐，张钧垚，周玉航，刘青. 基于深度强化学习的股市操盘手模型研究[J]. 计算机工程与应用, 2020, 56(21): 145-153.
[14]	石贞洪，江洪，于文浩，柳亚子，蒋潇杰，姜民. 适用于路径跟踪控制的自适应MPC算法研究[J]. 计算机工程与应用, 2020, 56(21): 266-271.
[15]	李跃，邵振洲，赵振东，施智平，关永. 面向轨迹规划的深度强化学习奖励函数设计[J]. 计算机工程与应用, 2020, 56(2): 226-232.

改进DDPG算法在自动驾驶中的应用

Self-Driving Via Improved DDPG Algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics