高能物理云平台中的弹性计算资源管理机制

doi:10.3778/j.issn.1002-8331.1610-0368

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (8): 8-14.DOI: 10.3778/j.issn.1002-8331.1610-0368

高能物理云平台中的弹性计算资源管理机制

程振京1，2，李海波1，黄秋兰1，程耀东1，陈刚1

1.中国科学院高能物理研究所，北京 100049
2.中国科学院大学，北京 100049

出版日期:2017-04-15 发布日期:2017-04-28

Elastic computing resource management mechanism for high-energy physics cloud platform

CHENG Zhenjing1，2, LI Haibo1, HUANG Qiulan1, CHENG Yaodong1, CHEN Gang1

1.Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2.University of Chinese Academy of Sciences, Beijing 100049, China

Online:2017-04-15 Published:2017-04-28

摘要/Abstract

摘要： 虚拟化技术作为一种新的资源管理技术，正在高能物理领域得到越来越广泛的应用。静态虚拟机集群方式已经逐渐不能满足多作业队列对于计算资源动态的需求。为此，实现了一种云计算环境下面向多作业队列的弹性计算资源管理系统。系统通过高吞吐量计算系统HTCondor运行计算作业，使用开源的云计算平台Openstack管理虚拟计算节点，给出了一种结合虚拟资源配额服务，基于双阈值的弹性资源管理算法，实现资源池整体伸缩，同时设计了二级缓冲池以提高伸缩效率。目前系统已部署在高能所公共服务云IHEPCloud上，实际运行结果表明，当计算资源需求变化时系统能够动态调整各队列虚拟计算节点数量，同时计算资源的CPU利用率相比传统的资源管理方式有显著的提高。

关键词: 弹性计算资源管理, 虚拟计算集群, 高能物理计算, 动态调度, HTCondor, Openstack, 资源利用率

Abstract: As a new resource management technology, virtualization technology is more and more widely used in the field of high-energy physics. Static virtual machine cluster mode has been unable to meet dynamic demand for computing resource of multi-job queues. To solve this problem, an elastic computing resource management system under cloud computing environment has been designed and implemented. The high throughput computing system-HTCondor is used to run high-energy physics jobs and the cloud computing platform-Openstack is used to manage virtual computing nodes. An elastic resource management algorithm based on dual thresholds is proposed, combined with resource quota service. A two-
stage pool is designed to improve the efficiency of resource pool expansion. At present, the system has been deployed in IHEPCloud. The practical run results show that with the changes of resource demand, the system adjusts the number of virtual computing nodes dynamically. CPU utilization of the cluster is significantly increased as well.

Key words: elastic computing resource management, virtual computing cluster, high-energy physics computing, dynamic schedule, HTCondor, Openstack, resource utilization

程振京1，2，李海波1，黄秋兰1，程耀东1，陈刚1. 高能物理云平台中的弹性计算资源管理机制[J]. 计算机工程与应用, 2017, 53(8): 8-14.

CHENG Zhenjing1，2, LI Haibo1, HUANG Qiulan1, CHENG Yaodong1, CHEN Gang1. Elastic computing resource management mechanism for high-energy physics cloud platform[J]. Computer Engineering and Applications, 2017, 53(8): 8-14.

[1]	王鹏辉，张宁，肖明明. 基于节点重要度的路由选择与频谱分配算法[J]. 计算机工程与应用, 2019, 55(13): 106-111.
[2]	米捷，王佳欣. 一种可重构资源管理模型及其调度技术[J]. 计算机工程与应用, 2018, 54(7): 245-250.
[3]	翟孟冬1，姜鑫2，王晓锋1. 基于OpenStack的高吞吐量路由仿真技术研究[J]. 计算机工程与应用, 2018, 54(22): 74-79.
[4]	于涛1，周小天2. 基于拍卖的虚拟机动态供应和分配算法[J]. 计算机工程与应用, 2016, 52(23): 81-87.
[5]	刘焕玉，喻小光. 多启发式规则融合粒子群算法的受限项目调度[J]. 计算机工程与应用, 2016, 52(22): 226-231.
[6]	边耐政，袁惠. Swift云存储环境下基于I/O的负载均衡算法[J]. 计算机工程与应用, 2016, 52(2): 70-73.
[7]	崔丽，王笑丛. 需求驱动下的城市配送车辆动态调度研究[J]. 计算机工程与应用, 2015, 51(2): 241-244.
[8]	李召军1，2，李征2，王希诚2，李克秋1. 基于Kriging代理模型的动态云任务调度方法[J]. 计算机工程与应用, 2015, 51(16): 30-35.
[9]	李雪竹. 基于免疫萤火虫算法的RFID仓储车辆动态调度[J]. 计算机工程与应用, 2014, 50(6): 235-239.
[10]	龚素文1，艾浩军2，袁远明2. 基于迁移技术的云资源动态调度策略研究[J]. 计算机工程与应用, 2014, 50(5): 51-54.
[11]	谭亮1，2，吴晓1，2，张凯龙1，2，苏二峰1，2. DeltaOS下的CAN总线驱动及多通道通信调度[J]. 计算机工程与应用, 2013, 49(3): 65-68.
[12]	张春生1，2，李铁克1，2，王柏琳1，2，张文学1，2，3，孙彬1，2. 炼钢机器故障下炼钢-连铸调度DCSP建模与算法[J]. 计算机工程与应用, 2012, 48(22): 226-234.
[13]	郭鹏，程文明，张则强. 铁路集装箱物流中心系统建模与仿真分析[J]. 计算机工程与应用, 2011, 47(17): 235-238.
[14]	赵维佺^1，2，李迪¹，万加富¹，黄培灿². 网络化运动控制系统的经典调度算法应用研究[J]. 计算机工程与应用, 2010, 46(29): 63-68.
[15]	郭庆强，李歧强，李明，丁然. 连续过程动态调度的一种实现方法[J]. 计算机工程与应用, 2010, 46(15): 198-200.

高能物理云平台中的弹性计算资源管理机制

Elastic computing resource management mechanism for high-energy physics cloud platform

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics