基于分布式文件系统的MPP数据库扫描调度研究

doi:10.3778/j.issn.1002-8331.1706-0116

计算机工程与应用 ›› 2018, Vol. 54 ›› Issue (13): 84-87.DOI: 10.3778/j.issn.1002-8331.1706-0116

基于分布式文件系统的MPP数据库扫描调度研究

郭凯1，龚才鑫1，龚奕利1，雷迎春2

1.武汉大学计算机学院，武汉 434000
2.北京达沃时代科技有限公司，北京 100000

出版日期:2018-07-01 发布日期:2018-07-17

Research on scan scheduling in MPP databases on distributed file systems

GUO Kai1, GONG Caixin1, GONG Yili1, LEI Yingchun2

1.Computer School, Wuhan University, Wuhan 434000, China
2.Beijing Daowoo Technology Co., Ltd., Beijing 100000, China

Online:2018-07-01 Published:2018-07-17

摘要/Abstract

摘要： 基于分布式文件系统的MPP（大规模并行处理）数据库是目前的研究热点，为改善其执行查询扫描操作前调度执行单元读取数据块的过程，提出一种基于节点负载的调度策略NLS。这种策略同时结合数据本地性和节点负载，通过本地读分配保证调度结果满足良好的数据本地性，基于节点的实时工作负载对中间调度结果进行重分配调整，以达到减少数据扫描操作完成时间的目标。实验结果表明，相比连续性调度策略FCS，NLS在保持90%以上数据本地性的同时，在完成时间上的优化最多达到32%，在测试的9种情况中平均优化25%。

关键词: 分布式文件系统, 数据库, 查询调度, 负载优化

Abstract: MPP (Massive Parallel Processing) database over distributed file systems has become one of research hotspots currently. In order to improve the procedure that schedule execution units to read data blocks before executing query scan operations, a scheduling strategy NLS based on nodes workload is proposed, which combines data locality and nodes workload. On the one hand, the phase of data locality allocating ensures that the scheduling results meet good data locality. On the other hand, reallocating on middle scheduling results based on nodes workload attains the goal of reducing the makespan of scanning data. The experimental results show that compared with the continuity strategy FCS, NLS keeps data locality over 90%. Moreover, the improvement on makespan achieves 32% at most and the average improvement is 25% in all nine test cases.

Key words: distributed file system, database, query scheduling, workload optimization

郭凯1，龚才鑫1，龚奕利1，雷迎春2. 基于分布式文件系统的MPP数据库扫描调度研究[J]. 计算机工程与应用, 2018, 54(13): 84-87.

GUO Kai1, GONG Caixin1, GONG Yili1, LEI Yingchun2. Research on scan scheduling in MPP databases on distributed file systems[J]. Computer Engineering and Applications, 2018, 54(13): 84-87.

[1]	张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.
[2]	米珍美，赵恒斌，高攀. 基于ConvLSTM网络的维度情感识别模型研究[J]. 计算机工程与应用, 2021, 57(18): 289-296.
[3]	孙敬成，王正彦，李增刚. 卷积神经网络数字识别系统的FPGA实现[J]. 计算机工程与应用, 2020, 56(13): 181-188.
[4]	张开碧，周震，韦鹏程，李莉. 外包数据库多关键词可验证密文搜索方案[J]. 计算机工程与应用, 2019, 55(17): 76-81.
[5]	原永朋1，2，游大涛1，武相军1，魏梦凡1，朱萌博1，耿旭东1，贾乃仁2. 类内类间距离在CNN识别心拍类中的应用研究[J]. 计算机工程与应用, 2019, 55(14): 242-248.
[6]	吴瑶瑶1，杨庚1，2. 云环境下分布式文件系统负载均衡研究[J]. 计算机工程与应用, 2019, 55(10): 67-72.
[7]	孙彦珺，杨庚，史经启，刘国秀. 用户可自定义的低调整率保序加密算法[J]. 计算机工程与应用, 2018, 54(9): 67-74.
[8]	马振，哈力旦·阿布都热依木，李希彤. 海量样本数据集中小文件的存取优化研究[J]. 计算机工程与应用, 2018, 54(22): 80-84.
[9]	文卫东1，李鸯2，李文海2. 基于Trevni行列混合的分布式嵌套存储研究[J]. 计算机工程与应用, 2018, 54(18): 74-81.
[10]	杨斌，李灯熬，赵菊敏. 基于区域划分的局部更新指纹定位算法[J]. 计算机工程与应用, 2018, 54(17): 56-61.
[11]	张曼1，咸鹤群1，2，张曙光1. 加密数据库快速关键词查询技术[J]. 计算机工程与应用, 2018, 54(13): 78-83.
[12]	王永超，鲁鸣鸣. 面向金融行业的大数据迁移的研究与实现[J]. 计算机工程与应用, 2018, 54(13): 93-99.
[13]	吴宗大1，江芳1，陈恩红2，徐贯东3. 面向云数据库服务的隐私字符串加密查询方案[J]. 计算机工程与应用, 2018, 54(11): 103-108.
[14]	周彧1，2，李晖1，2，梁青青1，2，陈梅1，2，朱明3. FastNavi：巡天数据的交互式探索系统[J]. 计算机工程与应用, 2018, 54(1): 86-93.
[15]	宗平1，李雷2. PostgreSQL与MongoDB处理非结构化数据性能比较[J]. 计算机工程与应用, 2017, 53(7): 104-108.

基于分布式文件系统的MPP数据库扫描调度研究

Research on scan scheduling in MPP databases on distributed file systems

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics