结合行为树与Q-learning优化UT2004中agent行为决策

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (3): 113-118.

结合行为树与Q-learning优化UT2004中agent行为决策

刘晓伟1，高春鸣2

1.湖南大学信息科学与工程学院，长沙 410012
2.湖南大学数字媒体研究所，长沙 410012

出版日期:2016-02-01 发布日期:2016-02-03

Optimization of agent behavior decision in UT2004 combined with behavior tree and Q-learning algorithm

LIU Xiaowei1, GAO Chunming2

1.College of Information Science and Engineering, Hunan University, Changsha 410012, China
2.Institute of Digital Media, Hunan University, Changsha 410012, China

Online:2016-02-01 Published:2016-02-03

摘要/Abstract

摘要： 针对FPS游戏UT2004中的NPC（Non-Player-Character，即非玩家角色）的行为决策不够灵活多变，不够智能等问题，结合行为树与Q-learning强化学习算法，提出了一种预处理与在线学习结合的方式优化NPC行为决策的方法。通过在行为树上的强化学习，NPC行为决策更为灵活、智能，即human-like。实验结果表明了该方法的有效性与可行性。

关键词: 行为决策, 游戏人工智能（AI）, Q学习, 强化学习, 行为树

Abstract: In FPS game UT2004, NPC’s（Non-Player-Character） behavior decision is not flexible and not smart. Combined with behavior tree and Q-learning algorithm, an improved intelligent behavior decision mechanism is proposed to refine NPC’s behavior decision in way of combination of offline and online learning. Through reinforcement learning on the behavior tree, NPC’s decision becomes more and more smart and flexible, i.e. more human-like. The experimental results show that the method is feasible and efficacious.

Key words: behavior decision, game Artificial Intelligence（AI）, Q-learning, reinforcement learning, behavior trees

刘晓伟1，高春鸣2. 结合行为树与Q-learning优化UT2004中agent行为决策[J]. 计算机工程与应用, 2016, 52(3): 113-118.

LIU Xiaowei1, GAO Chunming2. Optimization of agent behavior decision in UT2004 combined with behavior tree and Q-learning algorithm[J]. Computer Engineering and Applications, 2016, 52(3): 113-118.

[1]	张鑫，张席. 优先状态估计的双深度Q网络[J]. 计算机工程与应用, 2021, 57(8): 78-83.
[2]	王晓，唐伦，贺小雨，陈前斌. 基于深度强化学习的服务功能链多维资源优化[J]. 计算机工程与应用, 2021, 57(4): 68-76.
[3]	张俊杰，张聪，赵涵捷. 重复利用状态值的竞争深度Q网络算法[J]. 计算机工程与应用, 2021, 57(4): 134-140.
[4]	赖俊，魏竞毅，陈希亮. 分层强化学习综述[J]. 计算机工程与应用, 2021, 57(3): 72-79.
[5]	马志豪，朱响斌. 拟双曲动量梯度的对抗深度强化学习研究[J]. 计算机工程与应用, 2021, 57(24): 90-99.
[6]	李宝帅，叶春明. 深度强化学习算法求解作业车间调度问题[J]. 计算机工程与应用, 2021, 57(23): 248-254.
[7]	成怡，郝密密. 改进深度强化学习的室内移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(21): 256-262.
[8]	王军，曹雷，陈希亮，赖俊，章乐贵. 多智能体博弈强化学习研究综述[J]. 计算机工程与应用, 2021, 57(21): 1-13.
[9]	况立群，李思远，冯利，韩燮，徐清宇. 深度强化学习算法在智能军事决策中的应用[J]. 计算机工程与应用, 2021, 57(20): 271-278.
[10]	孔松涛，刘池池，史勇，谢义，王堃. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用, 2021, 57(2): 49-59.
[11]	李浩，宁浩宇，康雁，梁文韬，霍雯. 针对文本情感转换的SMRFGAN模型[J]. 计算机工程与应用, 2021, 57(2): 170-176.
[12]	宋浩楠，赵刚，王兴芬. 融合知识表示和深度强化学习的知识推理方法[J]. 计算机工程与应用, 2021, 57(19): 189-197.
[13]	张荣霞，武长旭，孙同超，赵增顺. 深度强化学习及在路径规划中的研究进展[J]. 计算机工程与应用, 2021, 57(19): 44-56.
[14]	杨薛钰，陈建平，傅启明，陆悠，吴宏杰. 基于随机方差减小方法的DDPG算法[J]. 计算机工程与应用, 2021, 57(19): 104-111.
[15]	王科银，石振，杨正才，杨亚会，王思山. 改进强化学习算法应用于移动机器人路径规划[J]. 计算机工程与应用, 2021, 57(18): 270-274.