聚类反馈学习的数据清洗研究

计算机工程与应用 ›› 2011, Vol. 47 ›› Issue (30): 127-131.

• 数据库、信号与信息处理 • 上一篇下一篇

聚类反馈学习的数据清洗研究

石彦华，李蜀瑜

陕西师范大学计算机科学学院，西安 710062

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2011-10-21 发布日期:2011-10-21

Research of data cleaning based on clustering feedback

SHI Yanhua，LI Shuyu

School of Computer Science，Shaanxi Normal University，Xi’an 710062，China

Received:1900-01-01 Revised:1900-01-01 Online:2011-10-21 Published:2011-10-21

摘要/Abstract

摘要： 重复记录的清除是数据清洗领域的核心问题，但如何实施有效的清除一直是研究的难点。提出了一种通过建立聚类反馈模式规约来验证重复记录的有效性方法。依据经过聚类后各个类别间的关联性关系分析，首先提出了聚类模式和反馈模式的概念和实现方法;然后给出了数据清洗中聚类反馈模式规约;最后应用项目案例验证了它的有效性。

关键词: 数据清洗, 重复记录, 模式规约, 聚类学习, 反馈学习

Abstract: Cleaning Approximately Duplicate Records（CADR） is a core and important issue in data cleaning domain，but how to implement valid and practical CADR is still a research difficulty.Based on those，this paper proposes a Clustering Feedback Pattern Specification（CFPS） to verify the validity of CADR.The concept of cluster pattern and feedback pattern and its algorithms are given based on the analysis of function-to-function relation of the subclass category clustered.And then CFPS is proposed in data cleaning domain.An example resulted in the process of credit data exchange system is given to test the validity of CFPS by using clustering feedback pattern specification.

Key words: data cleaning, duplicate records, pattern specification, cluster learning, feedback learning

石彦华，李蜀瑜. 聚类反馈学习的数据清洗研究[J]. 计算机工程与应用, 2011, 47(30): 127-131.

SHI Yanhua，LI Shuyu. Research of data cleaning based on clustering feedback[J]. Computer Engineering and Applications, 2011, 47(30): 127-131.

[1]	郭文龙. 基于长度过滤和有效权值的SNM改进算法[J]. 计算机工程与应用, 2014, 50(19): 123-127.
[2]	叶鸥1，张璟1，李军怀2. 中文数据清洗研究综述[J]. 计算机工程与应用, 2012, 48(14): 121-129.
[3]	燕彩蓉¹，孙圭宁²，高念高². 基于扩展树状知识库的海量数据清洗算法[J]. 计算机工程与应用, 2010, 46(28): 146-148.
[4]	曹渠江,董明. 一种在高维空间中聚类检测重复记录的新方法[J]. 计算机工程与应用, 2008, 44(29): 171-173.

聚类反馈学习的数据清洗研究

Research of data cleaning based on clustering feedback

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 4

编辑推荐

Metrics