Storm流式计算框架反压机制研究

doi:10.3778/j.issn.1002-8331.1701-0177

计算机工程与应用 ›› 2018, Vol. 54 ›› Issue (1): 102-106.DOI: 10.3778/j.issn.1002-8331.1701-0177

Storm流式计算框架反压机制研究

熊安萍1，2，朱恒伟1，罗宇豪1

1.重庆邮电大学计算机科学与技术学院，重庆 400065
2.重庆市移动互联网数据应用工程技术研究中心，重庆 400065

出版日期:2018-01-01 发布日期:2018-01-15

Research of backpressure mechanism in Storm

XIONG Anping1，2, ZHU Hengwei1, LUO Yuhao1

1.School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
2.Chongqing Engineering Research Center of Mobile Internet Data Application, Chongqing 400065, China

Online:2018-01-01 Published:2018-01-15

摘要/Abstract

摘要： Storm集群提供了强大的实时处理能力，Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题，提出了一种能够灵活调节Topology中各环节数据负载的反压机制，该机制采用可变队列，并根据当前Tuple负载动态调整队列大小，以适应数据负载的动态变化，并提升系统吞吐量。实验结果表明，该反压机制能够避免反压过程中出现数据流的震荡，同时提高系统性能和稳定性。

关键词: Storm集群, 反压机制, 可变队列, 数据负载, 吞吐量

Abstract: The Storm cluster provides powerful real-time processing ability. Storm node running different task in different speed results in Tuple timeout, and thus affects the system throughput and performance. This paper proposes a backpressure mechanism that can adjust data load of each section of the Topology in a flexible way. According to the load condition, the mechanism adopts variable queue to adapt to the dynamic change of the load data and improves the system throughput. The experiments show that this mechanism can avoid the shock of data flow and improve the performance and stability of Storm.

Key words: Storm cluster, backpressure, variable queue, data load, throughput

熊安萍1，2，朱恒伟1，罗宇豪1. Storm流式计算框架反压机制研究[J]. 计算机工程与应用, 2018, 54(1): 102-106.

XIONG Anping1，2, ZHU Hengwei1, LUO Yuhao1. Research of backpressure mechanism in Storm[J]. Computer Engineering and Applications, 2018, 54(1): 102-106.

[1]	王妍，马秀荣，单云龙. Shapley值的LTE系统下行QoS感知资源调度[J]. 计算机工程与应用, 2020, 56(4): 76-81.
[2]	刘辉1，2，颜飙1，赵瑞雪1. 基于烟花算法的D2D资源分配方案[J]. 计算机工程与应用, 2019, 55(8): 86-91.
[3]	翟孟冬1，姜鑫2，王晓锋1. 基于OpenStack的高吞吐量路由仿真技术研究[J]. 计算机工程与应用, 2018, 54(22): 74-79.
[4]	吴熹1，2，龙华1，唐嘉麒3，彭永杰2. 采用分布式编码的协作HARQ协议[J]. 计算机工程与应用, 2015, 51(18): 109-113.
[5]	尹吉星，任平安. 一种改进负载均衡的网络编码多播路由算法[J]. 计算机工程与应用, 2015, 51(13): 81-85.
[6]	郭文慧1，王亚林1，韩迎鸽2. 基于POMDP的信道感知接入算法[J]. 计算机工程与应用, 2014, 50(5): 203-207.
[7]	张秉煜1，张金艺1，2，3，李娟娟1，唐夏2，周荣俊2. 蓝牙微微网对WLAN网络同频干扰的建模[J]. 计算机工程与应用, 2014, 50(20): 105-109.
[8]	刘卫，赵晓侠. 无线局域网中基于节点数量的时隙长度设置[J]. 计算机工程与应用, 2014, 50(13): 114-117.
[9]	汤洋，蔡茂国. 基于pmax和p的RED算法改进及分析[J]. 计算机工程与应用, 2013, 49(17): 85-88.
[10]	苏红1，唐昊2，周雷1，江琦2. 无线协作网络中的能量有效性中继选择算法[J]. 计算机工程与应用, 2013, 49(17): 98-102.
[11]	徐海峰，姜晖，刘振. 一种新的RFID混合防碰撞算法[J]. 计算机工程与应用, 2013, 49(17): 129-132.
[12]	刘晓辉，金志刚，卫津津，赵西满. P2P网络多视点立体视频传输的数据块调度策略[J]. 计算机工程与应用, 2013, 49(11): 6-10.
[13]	王卫庭1，肖进胜2，谢红刚2. 一种新的IEEE80.11 DCF有限负载性能分析模型[J]. 计算机工程与应用, 2012, 48(3): 99-101.
[14]	陈高明，张晓敏，薛俊晗. 改进的非理想信道IEEE802.11DCF性能分析模型[J]. 计算机工程与应用, 2011, 47(5): 107-110.
[15]	袁正午，梁均军. 累积链路质量无线传感器网络路由算法研究[J]. 计算机工程与应用, 2011, 47(14): 66-69.

Storm流式计算框架反压机制研究

Research of backpressure mechanism in Storm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics