QAR数据仓库在Hive中的构建

doi:10.3778/j.issn.1002-8331.1603-0290

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (11): 90-94.DOI: 10.3778/j.issn.1002-8331.1603-0290

QAR数据仓库在Hive中的构建

冯兴杰，吴稀钰，赵杰，贺阳，房戍

中国民航大学计算机科学与技术学院，天津 300300

出版日期:2017-06-01 发布日期:2017-06-13

Data warehouse of QAR based on Hive

FENG Xingjie, WU Xiyu, ZHAO Jie, HE Yang, FANG Shu

College of Computer Science & Technology, Civil Aviation University of China, Tianjin 300300, China

Online:2017-06-01 Published:2017-06-13

摘要/Abstract

摘要： 分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展，QAR数据的规模急剧增大，现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析，导致海量的QAR数据因无法处理变成了信息垃圾。因此，针对现有数据仓库的不足，提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析，设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库，实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下，处理所需时间依然保持着线性增长。

关键词: Hive, 快速存取记录器（QAR）, 数据仓库, 数据处理, Hadoop

Abstract: QAR data analysis is an effective method for detecting the state of the aircraft. However, with the rapid development of civil aviation, the scale of QAR is increasing rapidly. The existing QAR data warehouse based on relational database is not sufficient to support massive data storage and analysis, resulting in massive data into the information garbage. In this paper, to solve the deficiency of existing data warehouse, it proposes the QAR data warehouse based on Hive. Based on the analysis of Hive features and QAR data structure, the overall architecture and storage structure of QAR data warehouse based on Hive are designed. By porting the data in the existing data warehouse to the QAR data warehouse based on Hive, it can realize the compatibility of existing data warehouse. Experimental results show that the QAR data warehouse based on Hive in the face of the sharp increase of QAR data processing time maintains a linear growth.

Key words: Hive, Quick Access Recorder（QAR）, data warehouse, data processing, Hadoop

冯兴杰，吴稀钰，赵杰，贺阳，房戍. QAR数据仓库在Hive中的构建[J]. 计算机工程与应用, 2017, 53(11): 90-94.

FENG Xingjie, WU Xiyu, ZHAO Jie, HE Yang, FANG Shu. Data warehouse of QAR based on Hive[J]. Computer Engineering and Applications, 2017, 53(11): 90-94.

[1]	吴东阳，窦建平，李俊. 四旋翼飞行器的数字孪生系统设计[J]. 计算机工程与应用, 2021, 57(16): 237-244.
[2]	李雷孝，邓丹，李杰，王永生. 基于粒子群优化的全比较计算数据分发策略[J]. 计算机工程与应用, 2021, 57(15): 109-117.
[3]	刘军，李威，吴梦婷，陈起凤. Hadoop平台下新型图像并行处理模型设计[J]. 计算机工程与应用, 2019, 55(6): 186-190.
[4]	王静宇，栾俊清，谭跃生. 基于数据敏感性的大数据访问控制模型研究[J]. 计算机工程与应用, 2019, 55(23): 70-77.
[5]	尹乔1，2，魏占辰1，2，黄秋兰1，孙功星1，石京燕1. Hadoop海量数据迁移系统开发及应用[J]. 计算机工程与应用, 2019, 55(13): 66-71.
[6]	曹菁菁1，任欣欣2，徐贤浩2. 基于并行Apriori的物流路径频繁模式研究[J]. 计算机工程与应用, 2019, 55(11): 257-264.
[7]	吴瑶瑶1，杨庚1，2. 云环境下分布式文件系统负载均衡研究[J]. 计算机工程与应用, 2019, 55(10): 67-72.
[8]	宋峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷斌1，2，3，卢晓军4. 基于流式计算的遥感卫星数据快视处理方法[J]. 计算机工程与应用, 2019, 55(10): 77-82.
[9]	马振，哈力旦·阿布都热依木，李希彤. 海量样本数据集中小文件的存取优化研究[J]. 计算机工程与应用, 2018, 54(22): 80-84.
[10]	王永超，鲁鸣鸣. 面向金融行业的大数据迁移的研究与实现[J]. 计算机工程与应用, 2018, 54(13): 93-99.
[11]	张任其，李建华，范磊. 分布式环境下卷积神经网络并行策略研究[J]. 计算机工程与应用, 2017, 53(8): 1-7.
[12]	满毅，章炯民，徐晓锦. 一种基于朴素贝叶斯算法的OLAP缓存机制[J]. 计算机工程与应用, 2017, 53(6): 85-90.
[13]	夏晓云，张仁斌，谢瑞，王聪. 基于MapReduce的液晶屏缺陷检测方法[J]. 计算机工程与应用, 2017, 53(5): 202-206.
[14]	妙晓龙1，陈浩1，钟将2. 基于集群规模调整的节能存储策略[J]. 计算机工程与应用, 2017, 53(24): 80-85.
[15]	刘烁阳，周丽娟，任仲山，张树东. 眼科医疗影像文件存取下的HDFS负载均衡[J]. 计算机工程与应用, 2017, 53(2): 253-259.

QAR数据仓库在Hive中的构建

Data warehouse of QAR based on Hive

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics