Deep Web下基于中文分词的聚类算法

doi:10.3778/j.issn.1002-8331.2011.04.038

计算机工程与应用 ›› 2011, Vol. 47 ›› Issue (4): 138-140.DOI: 10.3778/j.issn.1002-8331.2011.04.038

• 数据库、信号与信息处理 • 上一篇下一篇

Deep Web下基于中文分词的聚类算法

刘荣辉^1，2，郑建国¹

1.东华大学管理学院，上海 200051
2.河南城建学院计算机科学与工程系，河南平顶山 467044

收稿日期:2009-05-18 修回日期:2009-07-06 出版日期:2011-02-01 发布日期:2011-02-01
通讯作者: 刘荣辉

Clustering algorithm in Deep Web based on Chinese word segmentation

LIU Ronghui^1，2，ZHENG Jianguo¹

1.School of Management，Donghua University，Shanghai 200051，China
2.Department of Computer Science and Engineering，Henan University of Urban Construction，Pingdingshan，Henan 467044，China

Received:2009-05-18 Revised:2009-07-06 Online:2011-02-01 Published:2011-02-01
Contact: LIU Ronghui

摘要/Abstract

摘要： 随着Deep Web飞速的发展，使用商业网站上所提供的查询接口从Web数据库中获取高质量数据并对这些数据进行分析加工处理显得尤为重要。通过动态提交关键词，利用查询接口得到检索页面，对检索页面中的中文信息进行抽取并进行分词处理，对分词的结果进行统计分析，通过引入DF进行降维得到特征项，使用TF/IDF计算得到特征项的权重向量矩阵，对权重矩阵进行聚类从而实现文档的分类。通过仿真实验检验了本算法的合理性和可行性。

关键词: Deep Web, 数据抽取, 中文分词, TF/IDF, 聚类

Abstract: With the rapid development of Deep Web，it is especially important to extract quality data and process them from Web database by query interface on e-business sites.In this paper，searched pages are obtained to make use of query interface by dynamically submitting key words.Chinese item information is extracted from searched pages and segmented.The segmentation result is analyzed statistically to reduce dimensionality based on DF to get feature items.TF/IDF is used to calculate the weight vector matrix getting the feature item weight vector matrix.Weight vector matrix is presented to cluster the searched datum.The experiment results show the correctness and feasibility of this algorithm.

Key words: Deep Web, data extraction, Chinese word segmentation, Term Frenquency/Inverse Document Frequency（TF/IDF）, clustering

中图分类号:

TP391

刘荣辉^1，2，郑建国¹. Deep Web下基于中文分词的聚类算法[J]. 计算机工程与应用, 2011, 47(4): 138-140.

LIU Ronghui^1，2，ZHENG Jianguo¹. Clustering algorithm in Deep Web based on Chinese word segmentation[J]. Computer Engineering and Applications, 2011, 47(4): 138-140.

[1]	兰红，黄敏. 融合KNN优化的密度峰值和FCM聚类算法[J]. 计算机工程与应用, 2021, 57(9): 81-88.
[2]	郭晓静，隋昊达. 改进YOLOv3在机场跑道异物目标检测中的应用[J]. 计算机工程与应用, 2021, 57(8): 249-255.
[3]	李莉，纪欣沅，宋嵩. 回环软件缺陷数量预测模型[J]. 计算机工程与应用, 2021, 57(7): 158-163.
[4]	霍光煜，张勇，孙艳丰，尹宝才. 基于语义的档案数据智能分类方法研究[J]. 计算机工程与应用, 2021, 57(6): 247-253.
[5]	杨芳，尹曦，司建辉，刘宏媛，汪雪. 基于侧重点聚类的数学表达式相似度计算方法[J]. 计算机工程与应用, 2021, 57(6): 88-93.
[6]	赵凡，张琳，闻治泉，杨林林，蔺广逢. 一种直接高效的自然场景汉字逼近定位方法[J]. 计算机工程与应用, 2021, 57(6): 159-167.
[7]	彭启慧，宣士斌，高卿. 分布的自动阈值密度峰值聚类算法[J]. 计算机工程与应用, 2021, 57(5): 71-78.
[8]	李勇振，廖湖声. 基于图卷积神经网络的多视角聚类[J]. 计算机工程与应用, 2021, 57(5): 115-122.
[9]	王昌龙，张远东，缪宏，杨煜恒. 双通道卷积神经网络在南瓜病害识别上的应用[J]. 计算机工程与应用, 2021, 57(5): 183-189.
[10]	胡晓敏，王明丰，张首荣，李敏. 用于文本聚类的新型差分进化粒子群算法[J]. 计算机工程与应用, 2021, 57(4): 61-67.
[11]	王俊玲，卢新明. 基于语义相关的视频关键帧提取算法[J]. 计算机工程与应用, 2021, 57(4): 192-198.
[12]	王芙银，张德生，张晓. 结合鲸鱼优化算法的自适应密度峰值聚类算法[J]. 计算机工程与应用, 2021, 57(3): 94-102.
[13]	陈俊丰，郑中团. WKMeans与SMOTE结合的不平衡数据过采样方法[J]. 计算机工程与应用, 2021, 57(23): 106-112.
[14]	张忠林，赵昱，闫光辉. 自然邻居密度极值聚类算法[J]. 计算机工程与应用, 2021, 57(23): 200-210.
[15]	梅婕，魏圆圆，许桃胜. 基于密度峰值多起始中心的融合聚类算法[J]. 计算机工程与应用, 2021, 57(22): 78-85.

Deep Web下基于中文分词的聚类算法

Clustering algorithm in Deep Web based on Chinese word segmentation

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics