元数据驱动ETL的研究

计算机工程与应用 ›› 2012, Vol. 48 ›› Issue (6): 114-118.

• 数据库、信号与信息处理 • 上一篇下一篇

元数据驱动ETL的研究

宿芳，寿永熙，苏依拉

内蒙古工业大学信息工程学院，呼和浩特 010051

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2012-02-21 发布日期:2012-02-21

Research on metadata driven ETL

SU Fang, SHOU Yongxi, SU Yila

College of Information Engineering, Inner Mongolia University of Technology, Hohhot 010051, China

Received:1900-01-01 Revised:1900-01-01 Online:2012-02-21 Published:2012-02-21

摘要/Abstract

摘要： 对原始数据的提取、转换、加载（ETL）是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上，提出了元数据驱动ETL的思想，利用包引擎和SQL引擎以及相关算法，对传统ETL的方法进行改进，目的是提高ETL系统的稳定性和可靠性，使用户通过对元数据的维护来控制ETL的执行过程。

关键词: 抽取、转换和加载（ETL）, 数据仓库, 元数据, SQL引擎, 包引擎

Abstract: With the development of data warehouse, ETL（Extract, Transformation and Load） are so important steps in processing data while building a data warehouse. A stable and reliable ETL system is depended on the overall design. Base on the traditional ETL, this paper is mainly about metadata driven ETL. Using SQL engine, package engine and related algorithm to solve the problem, the aim is to improve the ETL System’s stability and reliability, and enable users to control the process by maintaining metadata.

Key words: Extract, Transformation and Load（ETL）, data warehouse, metadata, SQL engine, package engine

宿芳，寿永熙，苏依拉. 元数据驱动ETL的研究[J]. 计算机工程与应用, 2012, 48(6): 114-118.

SU Fang, SHOU Yongxi, SU Yila. Research on metadata driven ETL[J]. Computer Engineering and Applications, 2012, 48(6): 114-118.

[1]	林炳东1，2，赵旦谱1，3，台宪青4. MooseFS热备元数据节点设计与实现[J]. 计算机工程与应用, 2019, 55(13): 72-77.
[2]	朱祥茹1，2，刘柏年1，2，张卫民1，2，曹小群1，2. 大气再分析产品应用平台通用框架及组件设计[J]. 计算机工程与应用, 2018, 54(5): 223-230.
[3]	满毅，章炯民，徐晓锦. 一种基于朴素贝叶斯算法的OLAP缓存机制[J]. 计算机工程与应用, 2017, 53(6): 85-90.
[4]	郝琨，信俊昌，黄达，王国仁. 去中心化的分布式存储模型[J]. 计算机工程与应用, 2017, 53(24): 1-7.
[5]	冯兴杰，吴稀钰，赵杰，贺阳，房戍. QAR数据仓库在Hive中的构建[J]. 计算机工程与应用, 2017, 53(11): 90-94.
[6]	黄刚1，袁满1，吴秀英2，丛慧刚1. 元数据驱动的数据质量评估体系架构研究[J]. 计算机工程与应用, 2013, 49(8): 114-119.
[7]	徐永士1，2，臧冬松1，2，孙功星1. 分布式文件元数据管理系统设计[J]. 计算机工程与应用, 2012, 48(7): 1-4.
[8]	薛冬娟，高天一，潘颖，潘澜澜. 船舶企业质量控制模型及数据仓库的构建[J]. 计算机工程与应用, 2012, 48(6): 229-232.
[9]	徐永士1，2，霍菁1，2，孙功星1. 一种数据本地化存储与处理系统[J]. 计算机工程与应用, 2012, 48(5): 7-11.
[10]	陈佳，李敏. 数据立方体实体化的多目标遗传算法[J]. 计算机工程与应用, 2012, 48(25): 154-158.
[11]	王欢，李战怀，张晓. 支持连续数据保护的云备份系统架构设计[J]. 计算机工程与应用, 2012, 48(1): 90-93.
[12]	温国锋^1，2，陈立文¹. 已完建筑工程数据仓库的建立与应用研究[J]. 计算机工程与应用, 2011, 47(4): 245-248.
[13]	江志雄1，2，金海1，黄晓庆2. 元数据驱动的BI-PAAS的设计与实现[J]. 计算机工程与应用, 2011, 47(36): 91-95.
[14]	陈旭，陈德华，乐嘉锦. 基于语义相关度排序的政务信息资源检索算法[J]. 计算机工程与应用, 2011, 47(25): 121-125.
[15]	王莉，高仲利. 基于分面导航理论的RDF数据的持久化研究[J]. 计算机工程与应用, 2010, 46(9): 130-133.

元数据驱动ETL的研究

Research on metadata driven ETL

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics