基于字集特征向量的网页消重改进算法

doi:10.3778/j.issn.1002-8331.1503-0340

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (2): 53-57.DOI: 10.3778/j.issn.1002-8331.1503-0340

基于字集特征向量的网页消重改进算法

李洪奇，冯海波，张伟，杨中国，宋伟城

中国石油大学（北京）计算机系，北京 102200

出版日期:2017-01-15 发布日期:2017-05-11

Improved eliminating duplicated web pages based on feature vector of character set

LI Hongqi, FENG Haibo, ZHANG Wei, YANG Zhongguo, SONG Weicheng

College of Computer, China Petroleum University, Beijing 102200, China

Online:2017-01-15 Published:2017-05-11

摘要/Abstract

摘要： 基于MD5算法计算数字指纹的网页消重算法简单而高效，在网页消重领域应用比较广泛。但是由于MD5算法是一种严格的信息加密算法，在文章内容变动很少的情况下得出的指纹结果完全不同，导致基于这种算法的网页消重技术召回率不是很高。提出了两种基于字集特征向量的网页消重改进算法，把文章内容映射到字集空间中去，计算字集空间距离来判断文章是否相似。提出的算法具有良好的泛化能力，段落中存在的调整语序和增删改个别字不会影响到对相似段落的识别，大大提高了网页消重算法的召回率。实验结果表明，算法的时间复杂度为[O(n)]，空间复杂度为[O(1)]，适合应用于大规模网页消重。

关键词: 字集向量, 机器码向量, 网页消重, 数字指纹, MD5

Abstract: The eliminating duplicated web pages based on MD5 have been applied in many fields because it is efficient and simple. But the MD5 is a strict algorithm, the result will be very different if input has a little difference. So, this method couldn’t have a higher recalled rate. This page presents two improved algorithms. The thought of algorithms puts web content into words space, and calculates the distance between two words spaces. Then, the similar rate between two sentences is determined by the distance of two spaces. The methods can tolerate the little difference between two pages. Last, the methods’ time complexity is[O(n)], and the space complexity is[O(1)]. It is suitable for eliminating large-scale duplicated web pages.

Key words: alphabet vector, machine code vector, webpage duplicate removal, digital fingerprint, MD5

李洪奇，冯海波，张伟，杨中国，宋伟城. 基于字集特征向量的网页消重改进算法[J]. 计算机工程与应用, 2017, 53(2): 53-57.

LI Hongqi, FENG Haibo, ZHANG Wei, YANG Zhongguo, SONG Weicheng. Improved eliminating duplicated web pages based on feature vector of character set[J]. Computer Engineering and Applications, 2017, 53(2): 53-57.

[1]	程格平1，凌贺飞2. 基于视觉模型的抗共谋指纹方案[J]. 计算机工程与应用, 2015, 51(9): 107-110.
[2]	刘健1，王玲1，吴桐1，2. 基于级联混沌系统改进的图像加密算法[J]. 计算机工程与应用, 2015, 51(12): 68-73.
[3]	郭亮，杨金民. 融入MD5的HASH线性获取增量算法研究[J]. 计算机工程与应用, 2014, 50(23): 136-139.
[4]	席晔文，杨金民. 基于双布鲁姆过滤器的数据排重技术[J]. 计算机工程与应用, 2014, 50(23): 198-202.
[5]	段国云1，陈浩2. 基于环结构技术的Web防篡改系统研究[J]. 计算机工程与应用, 2013, 49(14): 92-97.
[6]	赵伟光，尹忠海，周拥军，梁爽. 基于帧编码的抗CTP攻击盲指纹机制[J]. 计算机工程与应用, 2012, 48(19): 69-76.
[7]	郑旭平1，张爱新2，李生红1. 扩展变换对量化指纹抗合谋攻击性能的影响[J]. 计算机工程与应用, 2012, 48(10): 89-94.
[8]	张玲1，李乔良2，胡德发1. 一种扩展的抗合谋数字指纹方案[J]. 计算机工程与应用, 2012, 48(1): 128-131.
[9]	曹鹏，李乔良. 一种非线性的数字指纹合谋攻击方法[J]. 计算机工程与应用, 2011, 47(19): 85-87.
[10]	黄柳柳¹，黄河燕²，史树敏². 面向代码相似度检测的指纹选取方法[J]. 计算机工程与应用, 2010, 46(27): 169-171.
[11]	陈少晖^1，2，翟晓宁^1，2，阎娜^1，2，苏国兴^1，2. MD5 算法破译过程解析[J]. 计算机工程与应用, 2010, 46(19): 109-112.
[12]	柳欣^1，2，徐秋亮²，秦然¹. 基于群签名构造实用数字指纹方案[J]. 计算机工程与应用, 2009, 45(24): 110-113.
[13]	林晶,黄青松,张晶. 基于改进MD5算法的数据篡改检测方法[J]. 计算机工程与应用, 2008, 44(33): 148-150.
[14]	傅德胜,张学梅. 一种基于回声隐藏的音频数字指纹算法[J]. 计算机工程与应用, 2007, 43(34): 111-113.

基于字集特征向量的网页消重改进算法

Improved eliminating duplicated web pages based on feature vector of character set

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 14

编辑推荐

Metrics