MooseFS热备元数据节点设计与实现

doi:10.3778/j.issn.1002-8331.1802-0006

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (13): 72-77.DOI: 10.3778/j.issn.1002-8331.1802-0006

MooseFS热备元数据节点设计与实现

林炳东1，2，赵旦谱1，3，台宪青4

1.中国科学院物联网研究发展中心智慧城市与智能交通研究中心，江苏无锡 214135
2.中国科学院大学微电子学院，北京 101407
3.中国科学院电子学研究所中国科学院空间信息处理与应用系统技术重点实验室，北京 100190
4.中国科学院电子学研究所苏州研究院地理空间信息系统研究室，江苏苏州 215121

出版日期:2019-07-01 发布日期:2019-07-01

Design and Implementation of MooseFS Hot Standby Master

LIN Bingdong1，2, ZHAO Danpu1，3, TAI Xianqing4

1.Research Center of Intelligent City and Intelligent Transportation, CAS R&D Center for Internet of Things, Wuxi, Jiangsu 214135, China
2.School of Microelectronics, University of Chinese Academy of Sciences, Beijing 101407, China
3.Key Laboratory of Technology in Geospatial Information Processing and Application System, Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China
4.Laboratory of Geospatial Information Systems, Institute of Electronics, Chinese Academy of Sciences, Suzhou, Jiangsu 215121, China

Online:2019-07-01 Published:2019-07-01

摘要/Abstract

摘要： 针对MooseFS元数据节点的单点故障问题，对MooseFS源码进行改造，为其增加一个热备的备元数据节点，并通过主备之间同步元数据，备节点回放操作日志等技术使得备元数据节点内存中的元数据时刻跟主元数据节点保持一致。当主元数据节点发生故障切换到备元数据节点后，备元数据节点无需从本地加载元数据即可快速接替主元数据节点对外提供服务。测试结果表明，备元数据节点本地和内存中的元数据均与主元数据节点保持一致，且故障恢复时间小于1 s。

关键词: MooseFS元数据节点, 热备, 元数据, 数据一致性, 日志回放

Abstract: Aiming at the single point of failure problem of the MooseFS master, a hot standby master is added for MooseFS through modifying the source code. By synchronizing the metadata between the primary and standby master and the standby master replay log, the standby master’s metadata in memory are always consistent with the master’s. After the primary master fails over to the standby master, the standby master can quickly take over services from the primary master without loading the metadata from the local. Test results show that the metadata of the standby master in the local and in memory are consistent with the primary master, and the time of failure recovery is less than 1 second.

Key words: MooseFS master, hot standby, metadata, data consistency, log replay

林炳东1，2，赵旦谱1，3，台宪青4. MooseFS热备元数据节点设计与实现[J]. 计算机工程与应用, 2019, 55(13): 72-77.

LIN Bingdong1，2, ZHAO Danpu1，3, TAI Xianqing4. Design and Implementation of MooseFS Hot Standby Master[J]. Computer Engineering and Applications, 2019, 55(13): 72-77.

[1]	李仁刚，任智新，王江为，阚宏伟，张闯，公维锋. 基于FPGA内存数据保护技术的设计与实现[J]. 计算机工程与应用, 2020, 56(13): 72-76.
[2]	朱祥茹1，2，刘柏年1，2，张卫民1，2，曹小群1，2. 大气再分析产品应用平台通用框架及组件设计[J]. 计算机工程与应用, 2018, 54(5): 223-230.
[3]	郝琨，信俊昌，黄达，王国仁. 去中心化的分布式存储模型[J]. 计算机工程与应用, 2017, 53(24): 1-7.
[4]	黄刚1，袁满1，吴秀英2，丛慧刚1. 元数据驱动的数据质量评估体系架构研究[J]. 计算机工程与应用, 2013, 49(8): 114-119.
[5]	季美丽1，王新华1，2. 移动P2P网络中协同缓存的研究[J]. 计算机工程与应用, 2012, 48(9): 70-73.
[6]	徐永士1，2，臧冬松1，2，孙功星1. 分布式文件元数据管理系统设计[J]. 计算机工程与应用, 2012, 48(7): 1-4.
[7]	宿芳，寿永熙，苏依拉. 元数据驱动ETL的研究[J]. 计算机工程与应用, 2012, 48(6): 114-118.
[8]	徐永士1，2，霍菁1，2，孙功星1. 一种数据本地化存储与处理系统[J]. 计算机工程与应用, 2012, 48(5): 7-11.
[9]	杨晓芬，王永会，刘轶. 实时数据库系统双机热备机制设计与实现[J]. 计算机工程与应用, 2012, 48(29): 124-127.
[10]	王欢，李战怀，张晓. 支持连续数据保护的云备份系统架构设计[J]. 计算机工程与应用, 2012, 48(1): 90-93.
[11]	江志雄1，2，金海1，黄晓庆2. 元数据驱动的BI-PAAS的设计与实现[J]. 计算机工程与应用, 2011, 47(36): 91-95.
[12]	陈旭，陈德华，乐嘉锦. 基于语义相关度排序的政务信息资源检索算法[J]. 计算机工程与应用, 2011, 47(25): 121-125.
[13]	王莉，高仲利. 基于分面导航理论的RDF数据的持久化研究[J]. 计算机工程与应用, 2010, 46(9): 130-133.
[14]	曾赛峰¹，周建威²，张福¹，李强¹. CAS中媒体对象的元数据自动提取与利用[J]. 计算机工程与应用, 2010, 46(36): 79-81.
[15]	詹玲¹，马骏²，陈伯江²，陈维梁³，吕睿². 分布式I/O日志回放系统的设计与实现[J]. 计算机工程与应用, 2010, 46(36): 91-94.

MooseFS热备元数据节点设计与实现

Design and Implementation of MooseFS Hot Standby Master

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics