Lustre文件系统I/O锁的应用与优化

doi:10.3778/j.issn.1002-8331.2011.03.001

计算机工程与应用 ›› 2011, Vol. 47 ›› Issue (3): 1-5.DOI: 10.3778/j.issn.1002-8331.2011.03.001

Lustre文件系统I/O锁的应用与优化

钱迎进，金士尧，肖侬

国防科技大学并行与分布式处理国家重点实验室，长沙 410073

收稿日期:2010-07-16 修回日期:2010-11-25 出版日期:2011-01-21 发布日期:2011-01-21
通讯作者: 钱迎进

Application and optimization for Lustre file I/O locking

QIAN Yingjin，JIN Shiyao，XIAO Nong

National Laboratory for Parallel and Distributed Processing，National University of Defense Technology，Changsha 410073，China

Received:2010-07-16 Revised:2010-11-25 Online:2011-01-21 Published:2011-01-21
Contact: QIAN Yingjin

摘要/Abstract

摘要： 分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制，维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型，并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念，对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析；提出自适应I/O锁策略，基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。

关键词: 并发控制, 分布式锁, Lustre文件系统

Abstract: Distributed file systems need a mechanism to control the concurrent access from various clients and maintain the consistence of file data.Locking is one of most popular mechanisms to implement concurrency control.This paper researches the distributed I/O lock mode of Lustre file system and optimizes its various lock applications.It introduces the basic concept of the distributed lock，and analyzes the algorithms of client data writeback cache and dynamic file size acquirement based on the distributed lock model.To improve the performance and scalability of Lustre’s lock service，it proposes strategies of adaptive I/O locking and lock conflict detection based on interval tree and client-cached lock discard.

Key words: concurrency control, distributed lock, Lustre file

中图分类号:

TP391

钱迎进，金士尧，肖侬. Lustre文件系统I/O锁的应用与优化[J]. 计算机工程与应用, 2011, 47(3): 1-5.

QIAN Yingjin，JIN Shiyao，XIAO Nong. Application and optimization for Lustre file I/O locking[J]. Computer Engineering and Applications, 2011, 47(3): 1-5.

[1]	聂瑞华1，谢文君1，梁军2. 一种改进的基于缓存池机制的小文件I/O策略[J]. 计算机工程与应用, 2016, 52(16): 210-215.
[2]	罗军，李文生，王宏. 移动数据库事务处理模型的研究[J]. 计算机工程与应用, 2014, 50(22): 145-148.
[3]	梁雄友^1，2，薛永生¹. 基于分布式事务流的动态可串行调度算法[J]. 计算机工程与应用, 2010, 46(8): 144-147.
[4]	陈俊，朱艳丽，古乐声. 实时数据库并发控制协议及其Petri网分析[J]. 计算机工程与应用, 2009, 45(21): 121-123.
[5]	李娟,欧阳元新,陈真勇,熊璋. 集成用户可定制锁和操作转换的并发控制方法[J]. 计算机工程与应用, 2008, 44(10): 54-58.
[6]	吴青翟建设杨剑勇. 协同编辑系统Neptune的设计与实现[J]. 计算机工程与应用, 2007, 43(6期): 76-78.
[7]	于志强贾智平. 基于MDRTDB并发控制协议DHP-2PL的研究[J]. 计算机工程与应用, 2007, 43(4期): 186-189.
[8]	胡侃,刘云生. 基于截止期的可推测实时数据库事务并发控制[J]. 计算机工程与应用, 2007, 43(34): 3-6.
[9]	韩启龙¹,潘海为¹,郝忠孝^2,3. 基于级联深度的主动实时乐观并发控制协议[J]. 计算机工程与应用, 2007, 43(30): 167-170.
[10]	史永胜,陈国兴. 基于角色的飞机远程协同诊断并发控制技术研究[J]. 计算机工程与应用, 2007, 43(26): 194-196.
[11]	党德鹏. 数据广播中T-可串行化移动实时事务并发控制[J]. 计算机工程与应用, 2007, 43(19): 4-6.
[12]	雷向东赵跃龙陈松乔. 移动广播环境中实时事务处理性能研究[J]. 计算机工程与应用, 2007, 43(13): 14-17.

Lustre文件系统I/O锁的应用与优化

Application and optimization for Lustre file I/O locking

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 12

编辑推荐

Metrics