城市区域交通信号的混沌模糊Q学习控制

计算机工程与应用 ›› 2012, Vol. 48 ›› Issue (4): 207-210.

城市区域交通信号的混沌模糊Q学习控制

刘智勇1，2，宋正东2

1.江门职业技术学院，广东江门 529020
2.五邑大学信息工程学院，广东江门 529020

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2012-02-01 发布日期:2012-04-05

Chaotic fuzzy Q-learning control for urban area traffic signals

LIU Zhiyong1，2，SONG Zhengdong2

1.Jiangmen Polytechnic, Jiangmen, Guangdong 529020, China
2.School of Information Engineering, Wuyi University, Jiangmen, Guangdong 529020, China

Received:1900-01-01 Revised:1900-01-01 Online:2012-02-01 Published:2012-04-05

摘要/Abstract

摘要： 提出了一种解决城市区域交通协调控制问题的混沌模糊Q学习（C-FQL）方法。在模糊Q学习的过程中添加混沌扰动，以改进传统的Agent选择动作的方式，并通过遗忘因子以平衡模糊Q学习中探索和利用之间的关系。将该算法应用于城市区域交通协调控制中优化各信号交叉口的周期、绿信比和相位差。利用TSIS交通仿真平台，建立典型的城市区域交通网络并进行仿真。仿真结果表明该方法可以大大提高区域交通的整体效率。

关键词: 区域交通控制, Q学习, 混沌变量, 模糊控制

Abstract: A Chaotic Fuzzy Q-Learning（C-FQL） method which is used to solve the problem of urban area traffic coordinated control is put forward. It adds chaos disturbance into the fuzzy Q-learning to improve the traditional way of agent choosing action, and embeds the forgetting factor to balance the relationship between exploration and utilization in fuzzy Q-learning. It applies this algorithm to urban area traffic coordinated control to optimize the cycle length, split, offset of each signalized intersection. This paper builds a classic urban traffic network and makes simulation based on the traffic simulation platform of TSIS. The results of simulation show that the method provided can greatly improve the whole efficiency of area traffic.

Key words: area traffic control, Q-learning, chaotic variable, fuzzy control

刘智勇1，2，宋正东2. 城市区域交通信号的混沌模糊Q学习控制[J]. 计算机工程与应用, 2012, 48(4): 207-210.

LIU Zhiyong1，2，SONG Zhengdong2. Chaotic fuzzy Q-learning control for urban area traffic signals[J]. Computer Engineering and Applications, 2012, 48(4): 207-210.

[1]	张俊杰，张聪，赵涵捷. 重复利用状态值的竞争深度Q网络算法[J]. 计算机工程与应用, 2021, 57(4): 134-140.
[2]	苏斐，王红，祖林禄，王江，刘晨. 基于模糊控制的帕金森状态闭环调节[J]. 计算机工程与应用, 2021, 57(22): 273-280.
[3]	杨薛钰，陈建平，傅启明，陆悠，吴宏杰. 基于随机方差减小方法的DDPG算法[J]. 计算机工程与应用, 2021, 57(19): 104-111.
[4]	郭娜，李彩虹，王迪，张宁，刘国名. 结合预测和模糊控制的移动机器人路径规划[J]. 计算机工程与应用, 2020, 56(8): 104-109.
[5]	石贞洪，江洪，于文浩，柳亚子，蒋潇杰，姜民. 适用于路径跟踪控制的自适应MPC算法研究[J]. 计算机工程与应用, 2020, 56(21): 266-271.
[6]	司彦娜，普杰信，臧绍飞. 基于残差梯度法的神经网络Q学习算法[J]. 计算机工程与应用, 2020, 56(18): 137-142.
[7]	王梦娇，尹翔，黄宁馨. 基于迁移学习的多任务分配算法[J]. 计算机工程与应用, 2020, 56(13): 150-155.
[8]	陈晓倩，刘瑞祥. 基于最小二乘策略迭代的无人机航迹规划方法[J]. 计算机工程与应用, 2020, 56(1): 191-195.
[9]	张攀，刘新杰，张威，郑皓天. 飞机牵引机器人路径跟踪模糊控制[J]. 计算机工程与应用, 2019, 55(16): 217-220.
[10]	徐志雄，曹雷，陈希亮. 基于强化学习的无人坦克对战仿真研究[J]. 计算机工程与应用, 2018, 54(8): 166-171.
[11]	张发坤，庞春颖，于源华. 高精度实时荧光定量PCR温控系统的设计与仿真[J]. 计算机工程与应用, 2018, 54(20): 248-252.
[12]	张卓然，叶广强，赵晓林. 基于改进当前统计模型的自适应无源跟踪算法[J]. 计算机工程与应用, 2017, 53(3): 124-130.
[13]	胡龄爻1，2，3，陈建平1，2，3，傅启明1，2，3，4，胡文1，2，3，倪庆文1，2，3. 一种面向建筑节能的强化学习自适应控制方法[J]. 计算机工程与应用, 2017, 53(21): 239-246.
[14]	刘晓伟1，高春鸣2. 结合行为树与Q-learning优化UT2004中agent行为决策[J]. 计算机工程与应用, 2016, 52(3): 113-118.
[15]	张晓芳1，谢俊2. 可控家用电器负荷优化模型及用电策略研究[J]. 计算机工程与应用, 2016, 52(24): 246-250.