模仿学习方法综述及其在机器人领域的应用

doi:10.3778/j.issn.1002-8331.1810-0007

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (4): 17-30.DOI: 10.3778/j.issn.1002-8331.1810-0007

模仿学习方法综述及其在机器人领域的应用

李帅龙1，2，3，张会文1，2，3，周维佳1，2

1.中国科学院沈阳自动化研究所机器人学国家重点实验室，沈阳 110016
2.中国科学院机器人与智能制造创新研究院，沈阳 110016
3.中国科学院大学，北京 100049

出版日期:2019-02-15 发布日期:2019-02-19

Review of Imitation Learning Methods and Its Application in Robotics

LI Shuailong1，2，3, ZHANG Huiwen1，2，3, ZHOU Weijia1，2

1.State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China
2.Institute for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110016, China
3.University of Chinese Academy of Sciences, Beijing 100049, China

Online:2019-02-15 Published:2019-02-19

摘要/Abstract

摘要： 模仿学习一直是人工智能领域的研究热点。模仿学习是一种基于专家示教重建期望策略的方法。近年来，在理论研究中，此方法和强化学习等方法结合，已经取得了重要成果；在实际应用中，尤其是在机器人和其他智能体的复杂环境中，模仿学习取得了很好的效果。主要阐述了模仿学习在机器人学领域的研究与运用。介绍了和模仿学习相关的理论知识；研究了模仿学习的两类主要方法：行为克隆学习方法和逆强化学习方法；对模仿学习的成功应用进行总结；最后，给出当前面对的问题和挑战并且展望未来发展趋势。

关键词: 人工智能, 行为克隆, 逆强化学习, 模仿学习

Abstract: Imitation Learning（IL） has always been a research hotspot in the field of artificial intelligence. Imitation learning is a kind of method that reconstructs desired policies based on expert demonstrations. This method has been combined with methods such as reinforcement learning in theoretical research, and has achieved important results. In practical applications, especially in the complex environment of robots and other agents, imitation learning has achieved good results. This paper elaborates the research and application of imitation learning about robotics. Firstly, theoretical knowledge related to imitation learning is introduced. Secondly, two main methods of imitation learning are studied：Behavioral Cloning（BC） method and Inverse Reinforcement Learning（IRL） method. Thirdly, the successful applications of imitation learning are summarized. Finally, it is necessary to summarize the current problems and challenges and look forward to the future development trend.

Key words: artificial intelligence, behavioral cloning, inverse reinforcement learning, imitation learning

李帅龙1，2，3，张会文1，2，3，周维佳1，2. 模仿学习方法综述及其在机器人领域的应用[J]. 计算机工程与应用, 2019, 55(4): 17-30.

LI Shuailong1，2，3, ZHANG Huiwen1，2，3, ZHOU Weijia1，2. Review of Imitation Learning Methods and Its Application in Robotics[J]. Computer Engineering and Applications, 2019, 55(4): 17-30.

[1]	曾春艳，严康，王志锋，余琰，纪纯妹. 深度学习模型可解释性研究综述[J]. 计算机工程与应用, 2021, 57(8): 1-9.
[2]	杨泉. N1+N2结构语法关系判定的SVM算法[J]. 计算机工程与应用, 2021, 57(20): 104-108.
[3]	孔松涛，刘池池，史勇，谢义，王堃. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用, 2021, 57(2): 49-59.
[4]	娄奇鹤，刘虎，谢祥颖，马晓光. 融合级联LSTM的短期电力负荷预测[J]. 计算机工程与应用, 2021, 57(18): 275-280.
[5]	徐遐龄，刘涛，田国辉，于文娟，肖大军，梁陕鹏. 有遮挡环境下的人脸识别方法综述[J]. 计算机工程与应用, 2021, 57(17): 46-60.
[6]	钱文博，熊建斌，岑健，王颀，余得正，吴润杰. 建筑电气系统故障诊断综述[J]. 计算机工程与应用, 2021, 57(16): 27-39.
[7]	李智，王震，杨赋庚，奚雪峰. 基于表格的自动问答研究与展望[J]. 计算机工程与应用, 2021, 57(13): 67-76.
[8]	王友发，陈辉，罗建强. 国内外人工智能的研究热点对比与前沿挖掘[J]. 计算机工程与应用, 2021, 57(12): 46-53.
[9]	王琪，闵华松. 双臂机器人的协调控制算法综述[J]. 计算机工程与应用, 2021, 57(1): 1-16.
[10]	刘春，吴一珩. 双路融合的深度估计神经网络方法研究[J]. 计算机工程与应用, 2020, 56(20): 138-145.
[11]	王卉，李英顺. 改进型证据更新规则的动态故障诊断算法[J]. 计算机工程与应用, 2020, 56(2): 261-265.
[12]	唐思源，杨敏，刘燕茹. AI技术辅助诊断新型冠状病毒肺炎研究综述[J]. 计算机工程与应用, 2020, 56(18): 16-24.
[13]	孙晓虎，李洪均. 语音情感识别综述[J]. 计算机工程与应用, 2020, 56(11): 1-9.
[14]	刘阳，林民，李艳玲. 交互式检索的用户模拟器研究综述[J]. 计算机工程与应用, 2020, 56(10): 1-9.
[15]	白创，陈翔. 新型LeNet-FC卷积神经网络模型算法的研究[J]. 计算机工程与应用, 2019, 55(5): 105-111.

模仿学习方法综述及其在机器人领域的应用

Review of Imitation Learning Methods and Its Application in Robotics

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics