基于Hadoop的多关键字排序方法研究

计算机工程与应用 ›› 2016, Vol. 52 ›› Issue (17): 79-83.

基于Hadoop的多关键字排序方法研究

周国军

玉林师范学院数学与信息科学学院，广西玉林 537000

出版日期:2016-09-01 发布日期:2016-09-14

Study of multi-keywords sorting method based on Hadoop

ZHOU Guojun

School of Mathematics and Information Science, Yulin Normal University, Yulin, Guangxi 537000, China

Online:2016-09-01 Published:2016-09-14

摘要/Abstract

摘要： 在单机环境下按多关键字对大数据排序需要较长的执行时间，为了提高按多关键字对大数据排序的效率，根据Hadoop的MapReduce模型，给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序，利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较，节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能，实验结果表明，两种方法均能取得较高的排序效率和较好的可扩展性。

关键词: Hadoop, MapReduce模型, 多关键字排序, 基数排序

Abstract: It takes a long time to sort big data by multi-keywords with single machine. In order to improve the efficiency of sorting, two methods of multi-keywords sort are given according to MapReduce model of Hadoop. In method one, chain radix sort algorithm is used by Reduce function to sort big data by multi-keywords in parallel, which can improve the efficiency of sorting with multiple nodes. In method two, composite key and comparator are defined, which implements multi-keywords comparison between records by byte so that it can save more time on deserializing objects. The performance of the two methods is tested by experiments. The experimental results show that the two methods can achieve high sorting efficiency and good scalability.

Key words: Hadoop, MapReduce model, multi-keywords sort, radix sort

周国军. 基于Hadoop的多关键字排序方法研究[J]. 计算机工程与应用, 2016, 52(17): 79-83.

ZHOU Guojun. Study of multi-keywords sorting method based on Hadoop[J]. Computer Engineering and Applications, 2016, 52(17): 79-83.

[1]	吴东阳，窦建平，李俊. 四旋翼飞行器的数字孪生系统设计[J]. 计算机工程与应用, 2021, 57(16): 237-244.
[2]	李雷孝，邓丹，李杰，王永生. 基于粒子群优化的全比较计算数据分发策略[J]. 计算机工程与应用, 2021, 57(15): 109-117.
[3]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[4]	王静宇，栾俊清，谭跃生. 基于数据敏感性的大数据访问控制模型研究[J]. 计算机工程与应用, 2019, 55(23): 70-77.
[5]	尹乔1，2，魏占辰1，2，黄秋兰1，孙功星1，石京燕1. Hadoop海量数据迁移系统开发及应用[J]. 计算机工程与应用, 2019, 55(13): 66-71.
[6]	曹菁菁1，任欣欣2，徐贤浩2. 基于并行Apriori的物流路径频繁模式研究[J]. 计算机工程与应用, 2019, 55(11): 257-264.
[7]	吴瑶瑶1，杨庚1，2. 云环境下分布式文件系统负载均衡研究[J]. 计算机工程与应用, 2019, 55(10): 67-72.
[8]	马振，哈力旦·阿布都热依木，李希彤. 海量样本数据集中小文件的存取优化研究[J]. 计算机工程与应用, 2018, 54(22): 80-84.
[9]	王永超，鲁鸣鸣. 面向金融行业的大数据迁移的研究与实现[J]. 计算机工程与应用, 2018, 54(13): 93-99.
[10]	张任其，李建华，范磊. 分布式环境下卷积神经网络并行策略研究[J]. 计算机工程与应用, 2017, 53(8): 1-7.
[11]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[12]	妙晓龙1，陈浩1，钟将2. 基于集群规模调整的节能存储策略[J]. 计算机工程与应用, 2017, 53(24): 80-85.
[13]	刘烁阳，周丽娟，任仲山，张树东. 眼科医疗影像文件存取下的HDFS负载均衡[J]. 计算机工程与应用, 2017, 53(2): 253-259.
[14]	冯兴杰，贺阳. 改进的Hadoop作业调度算法[J]. 计算机工程与应用, 2017, 53(12): 85-91.
[15]	冯兴杰，吴稀钰，赵杰，贺阳，房戍. QAR数据仓库在Hive中的构建[J]. 计算机工程与应用, 2017, 53(11): 90-94.