基于集群规模调整的节能存储策略

doi:10.3778/j.issn.1002-8331.1611-0463

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (24): 80-85.DOI: 10.3778/j.issn.1002-8331.1611-0463

基于集群规模调整的节能存储策略

妙晓龙1，陈浩1，钟将2

1.重庆大学计算机学院，重庆 400044
2.信息物理社会可信服务计算教育部重点实验室，重庆 400044

出版日期:2017-12-15 发布日期:2018-01-09

Energy-conserving strategies of file storage based on cluster scale adjustment

MIAO Xiaolong1, CHEN Hao1, ZHONG Jiang2

1.College of Computer Science, Chongqing University, Chongqing 400044, China
2.Key Laboratory of Dependable Service Computing in Cyber Physical Society, Ministry of Education, Chongqing 400044, China

Online:2017-12-15 Published:2018-01-09

摘要/Abstract

摘要： 根据谷歌数据中心研究报告，传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律，提出一种基于集群规模调整的Hadoop分布式文件系统（HDFS）节能存储策略，实现HDFS高效节能存储。策略主要在集群区域划分、数据块迁移策略优化、缓存机制等方面作出了改进。实验结果表明：使用该节能策略的HDFS比传统HDFS节能35%~40%，其中0.3%的访问需要唤醒服务器，同时引入缓存策略对集群的性能提高了5.1%。

关键词: Hadoop, Hadoop分布式文件系统, 节能, 规模调整, 缓存

Abstract: According to the research report of the google data-center, traditional data-center has the problem of the high energy consumption and low utilization ratio. A Hadoop Distributed File System（HDFS） energy-saving storage scheme based on cluster scale adjustment is proposed to realize HDFS efficient energy-saving storage by the access rules of cluster data block in this paper. The strategy is improved in the cluster in the regional division, data block migration strategy optimization and caching mechanisms. The simulation experiment results show that using the energy-saving strategies of HDFS energy-saving varies between 35%~40% than traditional HDFS, 0.3% access need to wake up the servers. At the same time, while the caching storage is introducted, the performance of the cluster is improved by 5.1% compared with traditional HDFS.

Key words: Hadoop, Hadoop Distributed File System（HDFS）, energy-conservation, scale adjustment, cache

妙晓龙1，陈浩1，钟将2. 基于集群规模调整的节能存储策略[J]. 计算机工程与应用, 2017, 53(24): 80-85.

MIAO Xiaolong1, CHEN Hao1, ZHONG Jiang2. Energy-conserving strategies of file storage based on cluster scale adjustment[J]. Computer Engineering and Applications, 2017, 53(24): 80-85.

[1]	吴东阳，窦建平，李俊. 四旋翼飞行器的数字孪生系统设计[J]. 计算机工程与应用, 2021, 57(16): 237-244.
[2]	李雷孝，邓丹，李杰，王永生. 基于粒子群优化的全比较计算数据分发策略[J]. 计算机工程与应用, 2021, 57(15): 109-117.
[3]	孙明，陈昕. 面向卷积神经网络的硬件加速器设计方法[J]. 计算机工程与应用, 2021, 57(13): 77-84.
[4]	王辉宇，阳旺. 基于用户行为的流式应用分发系统缓存设计[J]. 计算机工程与应用, 2020, 56(4): 37-43.
[5]	安立奎，韩丽艳. 结合指令预取和缓存划分的多核缓存WCEC优化[J]. 计算机工程与应用, 2020, 56(1): 69-75.
[6]	徐琪1，2，王聪1，2，程耀东1，陈刚1. 分布式站点间的跨域文件系统[J]. 计算机工程与应用, 2019, 55(8): 1-8.
[7]	周林腾，刘明. 考虑内容异构5G无线网络云对边混合缓存策略[J]. 计算机工程与应用, 2019, 55(6): 94-100.
[8]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[9]	刘期烈，李建雄. 内容中心网中多参数的缓存污染攻击检测算法[J]. 计算机工程与应用, 2019, 55(4): 130-136.
[10]	梁承姬，刘永强. 带有缓存区的集装箱码头AGV和场桥的联合调度[J]. 计算机工程与应用, 2019, 55(24): 247-253.
[11]	王静宇，栾俊清，谭跃生. 基于数据敏感性的大数据访问控制模型研究[J]. 计算机工程与应用, 2019, 55(23): 70-77.
[12]	戴敏. 基于NB分类器重访概率预测的Web缓存替换策略[J]. 计算机工程与应用, 2019, 55(19): 134-140.
[13]	许贵泉，凌捷. CCN中一种改进的面向隐私保护的缓存策略[J]. 计算机工程与应用, 2019, 55(18): 75-80.
[14]	耿海军，张爽. 绿色网络节能方案综述[J]. 计算机工程与应用, 2019, 55(16): 1-9.
[15]	陈建平，康怡怡，胡龄爻，陆悠，吴宏杰，傅启明. 基于多线程并行强化学习的建筑节能方法[J]. 计算机工程与应用, 2019, 55(15): 219-227.

基于集群规模调整的节能存储策略

Energy-conserving strategies of file storage based on cluster scale adjustment

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics