分布式站点间的跨域文件系统

doi:10.3778/j.issn.1002-8331.1812-0009

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (8): 1-8.DOI: 10.3778/j.issn.1002-8331.1812-0009

分布式站点间的跨域文件系统

徐琪1，2，王聪1，2，程耀东1，陈刚1

1.中国科学院高能物理研究所，北京 100049
2.中国科学院大学，北京 100049

出版日期:2019-04-15 发布日期:2019-04-15

Cross-Domain File System for Distributed Sites

XU Qi1，2, WANG Cong1，2, CHENG Yaodong1, CHEN Gang1

1.Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2.University of Chinese Academy of Sciences, Beijing 100049, China

Online:2019-04-15 Published:2019-04-15

摘要/Abstract

摘要： 高能物理科学研究大多依托固定站点大科学装置，拥有海量实验数据。因此数据计算往往基于异地站点的海量实验数据。针对这些海量的分布式实验数据，传统的高能物理计算模式中采用了网格的方式进行跨域数据共享，但资源利用率低、响应时间长以及部署维护困难等问题，限制了网格技术在中小型站点间的数据共享。针对高能物理计算环境中，中小型站点间的数据共享问题，以Streaming & Cache为核心思想，设计一种远程文件系统，提出远程数据访问本地化，提供高实时性数据访问模式，实现基于HTTP协议的按需数据传输与管理，拥有数据块散列存储和文件统一化视图管理。与高能物理计算中常用分布式文件系统EOS、Lustre、GlusterFS相比，具有广域网可用性、网络时延不敏感性和高性能数据访问模式。

关键词: 高能物理实验数据, 跨域访问, 远程文件系统, 缓存, 高性能

Abstract: Lots of data are produced by large scale scientific facilities in High Energy Physics（HEP） studies. Scientific computing is based on these distributed data. Grid computing technology is used to share data between different sites in traditional way. However, low resource utilization, long response time and difficult operations limit data sharing between small sites. While a cross-domain file system based on streaming & cache is designed for data sharing between small sites in HEP computing. Native access for remote data, quick response, data transmission and management on demand based on HTTP, data block hash and store, uniform file view are implemented. Compared with commonly distributed file systems EOS, GlusterFS and Lustre, availability in WAN, insensitivity to network delay and high-performance data access are performed.

Key words: experimental data in High Energy Physics（HEP）, cross-domain access, remote file system, cache, high performance

徐琪1，2，王聪1，2，程耀东1，陈刚1. 分布式站点间的跨域文件系统[J]. 计算机工程与应用, 2019, 55(8): 1-8.

XU Qi1，2, WANG Cong1，2, CHENG Yaodong1, CHEN Gang1. Cross-Domain File System for Distributed Sites[J]. Computer Engineering and Applications, 2019, 55(8): 1-8.

[1]	孙明，陈昕. 面向卷积神经网络的硬件加速器设计方法[J]. 计算机工程与应用, 2021, 57(13): 77-84.
[2]	王辉宇，阳旺. 基于用户行为的流式应用分发系统缓存设计[J]. 计算机工程与应用, 2020, 56(4): 37-43.
[3]	黄胜，李萌芳，张倩云. 基于背景帧的监控和会议视频帧间快速算法[J]. 计算机工程与应用, 2020, 56(22): 205-210.
[4]	安立奎，韩丽艳. 结合指令预取和缓存划分的多核缓存WCEC优化[J]. 计算机工程与应用, 2020, 56(1): 69-75.
[5]	周林腾，刘明. 考虑内容异构5G无线网络云对边混合缓存策略[J]. 计算机工程与应用, 2019, 55(6): 94-100.
[6]	刘期烈，李建雄. 内容中心网中多参数的缓存污染攻击检测算法[J]. 计算机工程与应用, 2019, 55(4): 130-136.
[7]	梁承姬，刘永强. 带有缓存区的集装箱码头AGV和场桥的联合调度[J]. 计算机工程与应用, 2019, 55(24): 247-253.
[8]	戴敏. 基于NB分类器重访概率预测的Web缓存替换策略[J]. 计算机工程与应用, 2019, 55(19): 134-140.
[9]	许贵泉，凌捷. CCN中一种改进的面向隐私保护的缓存策略[J]. 计算机工程与应用, 2019, 55(18): 75-80.
[10]	张斌1，何明1，2，陈希亮1，吴春晓1，刘斌1，周波1. 改进DDPG算法在自动驾驶中的应用[J]. 计算机工程与应用, 2019, 55(10): 264-270.
[11]	孙丹丹1，2，罗永龙1，2，范国婷1，2，郭良敏1，2，郑孝遥1，2. 对等通信辅助下抗攻击的位置隐私保护方法[J]. 计算机工程与应用, 2018, 54(9): 75-83.
[12]	曾珊1，2，陈刚1，齐法制1. 高性能云数据中心弹性网络研究[J]. 计算机工程与应用, 2018, 54(7): 89-95.
[13]	胡森森，苏加福. 自适应运行时可重构缓存优化[J]. 计算机工程与应用, 2018, 54(4): 25-30.
[14]	张亚军，李强. 基于运动特性的HEVC帧间模式快速决策算法[J]. 计算机工程与应用, 2018, 54(23): 195-202.
[15]	马振，哈力旦·阿布都热依木，李希彤. 海量样本数据集中小文件的存取优化研究[J]. 计算机工程与应用, 2018, 54(22): 80-84.

分布式站点间的跨域文件系统

Cross-Domain File System for Distributed Sites

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics