Research Progress of Similarity Algorithm in Collaborative Filtering

doi:10.3778/j.issn.1002-8331.2111-0411

Abstract

Abstract: By studying the user’s preferences, the recommendation algorithm recommends the content of interest to users from massive data resources. Collaborative filtering algorithm is the most widely used recommendation algorithm. In order to improve the recommendation accuracy, many scholars have studied the similarity. This paper summarizes the most widely used collaborative filtering algorithm in recommendation system and the common similarity calculation methods in recommendation system. The similarity based on Pearson correlation coefficient, cosine similarity, modified cosine similarity and Jaccard similarity coefficient are compared and analyzed. The paper combs the research status of similarity from the aspects of cold start problem and data sparsity. The research shows that using mixed similarity to calculate the similarity between users improves the recommendation quality. It summarizes the problems of low recommendation efficiency and high complexity in the improved literature, and looks forward to the improvement of similarity in improving recommendation accuracy and efficiency.

Key words: collaborative filtering, similarity, sparse data, cold boot

摘要： 推荐算法通过历史数据发现用户的兴趣偏好，在数据资源中寻找用户的偏好信息，并对用户进行推荐。目前，推荐系统中的协同过滤算法在各领域应用广泛，由于数据稀疏性和冷启动，使得推荐质量有所下降，为提升推荐精度，有学者从相似度方向进行研究。总结了推荐系统中最广泛使用的协同过滤算法，以及推荐系统中常用的传统相似度算法；对比分析了基于Pearson相关系数的相似度、余弦相似度、修正的余弦相似度等的适用场景；从冷启动和数据稀疏等方面分析了相似度的研究现状，研究表明通过混合相似度计算用户相似性，提高了推荐质量。最后，总结了相关文献在改进后存在推荐效率低、复杂度增高的问题，在提高推荐精度和推荐效率方面对相似度改进进行了展望。

关键词: 协同过滤, 相似度, 数据稀疏, 冷启动

LIU Hualing, GUO Yuan, MA Jun. Research Progress of Similarity Algorithm in Collaborative Filtering[J]. Computer Engineering and Applications, 2022, 58(13): 27-35.

刘华玲, 郭渊, 马俊. 协同过滤中相似度算法研究进展[J]. 计算机工程与应用, 2022, 58(13): 27-35.

References

[1] GEORGE G，OSINGA E C，LAVIE D.Big data and data sciencemethods for management research[J].Academy of Management Journal，2016，59（5）：1493-1507.
[2] LOPS P，GEMMIS M D，SEMERARO G.Content-based recommender systems：State of the art and trends[M]//Recommender systems handbook.Boston：Springer，2011：73-105.
[3] GUO G，ZHANG J，YORKE-SMITH N.A novel recommendation model regularized with user trust and item ratings[J].IEEE Transactions on Knowledge and Data Engineering，2016，28（7）：1607-1620..
[4] YANG C，YU X，LIU Y，et al.Collaborative filtering with weighted opinion aspects[J].Neurocomputing，2016，210：185-196.
[5] RESNICK P，IACOVOU N，SUCHAK M，et al.Group lens：An open architecture for collaborative filtering of net news[C]//Proceedings of the ACM Conference on Computer Supported Cooperative Work，1994：175-186.
[6] 荣辉桂，火生旭，胡春华，等.基于用户相似度的协同过滤推荐算法[J].通信学报，2014，35（2）：16-24.
RONG H G，HUO S X，HU C H，et al.Collaborative filtering recommendation algorithm based on user similarity[J].Journal of Communications，2014，35（2）：16-24.
[7] LI J，XU W，WAN W，et al.Movie recommendation based on bridging movie feature and user interest[J].Journal of Computational Science，2018，26：128-134.
[8] RASTIN N，JAHROMI M Z.Using content features to enhance the performance of user-based collaborative filtering[J].International Journal of Artificial Intelligence & Applications，2014，5（1）：53-62.
[9] XIA C，JIANG X，LIU S，et al.Dynamic item-based recommendation algorithm with time decay[C]//Proceedings of the International Conference on Natural Computation（ICNC 2010），2010：242-247.
[10] LINDEN G，SMITH B，YORK J.Amazon.com recommendations：Item-to-item collaborative filtering[J].IEEE Internet Computing，2003，7（1）：76-80.
[11] 李华，张宇，孙俊华.基于用户模糊聚类的协同过滤推荐研究[J].计算机科学，2012，39（12）：83-86.
LI H，ZHANG Y，SUN J H.Research on collaborative filtering recommendation based on user fuzzy clustering[J].Computer Science，2012，39（12）：83-86.
[12] NAJAFABADI M K，MAHRIN M N，CHUPRAT S，et al.Improving the accuracy of collaborative filtering recommendations using clustering and association rules mining on implicit data[J].Computers in Human Behavior，2017，67：113-128.
[13] LI Z L，HUANG M X，ZHANG Y.A collaborative filtering algorithm of calculating similarity based on item rating and attributes[C]//Proceedings of the 2017 14th Web Information Systems and Applications Conference（WISA），2017：215-218.
[14] 王刚，郭雪梅.融合用户行为分析和兴趣序列相似性的个性化推荐方法研究[J].情报理论与实践，2019，42（7）：119-125.
WANG G，GUO X M.Research on personalized recommendation method integrating user behavior analysis and interest sequence similarity[J].Information Theory and Practice，2019，42（7）：119-125.
[15] AGRAWAL R，IMIELI?SKI T，SWAMI A.Mining association rules between sets of items in large databases[C]//Proceedings of the ACMSIGMOD International Conference on Management of Data，1993.
[16] 周鲲.基于用户相似度的协同过滤推荐算法研究[D].成都：西南交通大学，2016.
ZHOU K.Research on collaborative filtering recommendation algorithm based on user similarity[D].Chengdu：Southwest Jiaotong University，2016.
[17] 樊艳清，梁宏宇，纪佳琪.协同过滤算法中相似度计算问题研究[J].计算机技术与发展，2020，30（8）：91-96.
FAN Y Q，LIANG H Y，JI J Q.Research on similarity calculation in collaborative filtering algorithm[J].Computer Technology and Development，2020，30（8）：91-96.
[18] 刘畅，王玉龙.推荐系统冷启动问题分析[J].电信网技术，2017（1）：65-68.
LIU C，WANG Y L.Analysis of cold start of recommendation system[J].Telecom Network Technology，2017（1）：65-68.
[19] AHN H J.A new similarity measure for collaborative filtering to alleviate the new user cold-starting problem[J].Information Sciences，2008，178（1）：37-51.
[20] LIU H，HU Z，MIAN A，et al.A new user similarity model to improve the accuracy of collaborative filtering[J].Knowledge-Based Systems，2014，56：156-166.
[21] LI Z，ZHANG L.Fast neighbor user searching for neighborhood-based collaborative filtering with hybrid user similarity measures[J].Soft Computing，2021（1）：1-16.
[22] BOBADILLA J，SERRADILLA F，BERNAL J.A new collaborative filtering metric that improves the behavior of recommender systems[J].Knowledge-Based Systems，2010，23（6）：520-528.
[23] BAG S，KUMAR S K，TIWARI M K.An efficient recommendation generation using relevant Jaccard similarity[J].Information Sciences，2019，483：53-64.
[24] AJAEGBU C.An optimized item-based collaborative filtering algorithm[J].Journal of Ambient Intelligence and Humanized Computing，2021，12：10629-10636.
[25] 谭学清，张磊，黄翠翠，等.融合领域专家信任与相似度的协同过滤推荐算法研究[J].现代图书情报技术，2016（7）：101-109.
TAN X Q，ZHANG L，HUANG C C，et al.A collaborative filtering and recommendation algorithm using trust of domain-experts and similarity[J].New Technology of Library and Information Service，2016（7）：101-109.
[26] 韩胜宝，伊华伟，李晓会，等.基于融合相似度和层次聚类的冷启动推荐算法[J].小型微型计算机系统，2021（8）：1-8.
HAN S B，YI H W，LI X H，et al.Cold start recommendation algorithm based on fusion similarity and hierarchical clustering[J].Journal of Chinese Computer Systems，2021（8）：1-8.
[27] RAJENDRAN D P D，SUNDARRAJ R P.Using topic models with browsing history in hybrid collaborative filtering recommender system：Experiments with user ratings[J].International Journal of Information Management Data Insights，2021（1）：100027.
[28] WANG Y，WANG P，LIU Z，et al.A new item similarity based on α-divergence for collaborative filtering in sparse data[J].Expert Systems with Applications，2021，166：114074.
[29] PATRA B K，LAUNONEN R，OLLIKAINEN V，et al.Exploiting Bhattacharyya similarity measure to diminish user cold-start problem in sparse data[C]//Proceedings of the International Conference on Discovery Science，2014.
[30] PIRASTEH P，HWANG D，JUNG J E.Weighted similarity schemes for high scalability in user-based collaborative filtering[J].Mobile Networks & Applications，2015，20（4）：497-507.
[31] DENG J，GUO J，WANG Y.A novel K-medoids clustering recommendation algorithm based on probability distribution for collaborative filtering[J].Knowledge-Based Systems，2019，175：96-106.
[32] 黄裕洋，金远平.一种综合用户和项目因素的协同过滤推荐算法[J].东南大学学报（自然科学版），2010，40（5）：917-921.
HUANG Y Y，JIN Y P.A collaborative filtering recommendation algorithm integrating user and project factors[J].Journal of Southeast University（Natural Science Edition），2010，40（5）：917-921.
[33] SONG Y T，WU S.Slope one recommendation algorithm based on user clustering and scoring preferences[J].Procedia Computer Science，2020，166：539-545.
[34] 向小东，黄飘，邱梓咸.基于综合相似度加权Slope one算法的协同过滤算法[J].统计与决策，2020，36（24）：10-14.
XIANG X D，HUANG P，QIU Z X.Collaborative filtering algorithm based on comprehensive similarity weighted Slope one algorithm[J].Statistics and Decision，2020，36（24）：10-14.
[35] 向小东，邱梓咸.基于相似度优化偏差计算的Slope-one算法研究[J].统计与决策，2019，35（17）：14-18.
XIANG X D，QIU Z X.Study on Slope-one algorithm based on similitude optimization deviation calculation[J].Statistics and Decision，2019，35（17）：14-18.
[36] 田松瑞.基于用户相似度加权的Slope one算法[J].软件，2016，37（4）：57-59.
TIAN S R.Slope one algorithm weighted by user similarity[J].Computer Engineering & Software，2016，37（4）：57-59.
[37] 李桃迎，李墨，李鹏辉.基于加权Slope one的协同过滤个性化推荐算法[J].计算机应用研究，2017，34（8）：2264-2268.
LI T Y，LI M，LI P H.Personalized collaborative filtering recommendation algorithm based on weighted Slope one[J].Application Research of Computers，2017，34（8）：2264-2268.
[38] YING Y，CAO Y.Collaborative filtering recommendation combining FCM and Slope one algorithm[C]//Proceedings of the International Conference on Informative and Cybernetics for Computational Social Systems（ICCSS），2015.
[39] THAKKAR P，VARMA K，UKANI V，et al.Combining user-based and item-based collaborative filtering using machine learning[J].Information and Communication Technology for Intelligent Systems，2019，107：173-180.
[40] KOREN Y，BELL R，VOLINSKY C.Matrix factorization techniques for recommender systems[J].Computer，2009，42（8）：30-37.
[41] KOREN Y.Collaborative filtering with temporal dynamics[J].Communications of the ACM，2010，53（4）：89-97.
[42] MA T，GUO L，TANG M，et al.A collaborative filtering recommendation algorithm based on hierarchical structure and time awareness[J].IEICE Transactions on Information & Systems，2016，99（6）：1512-1520.
[43] 吕学强，王腾，李雪伟，等.基于内容和兴趣漂移模型的电影推荐算法研究[J].计算机应用研究，2018，35（3）：717-720.
LV X Q，WANG T，LI X W，et al.Research on film recommendation algorithm based on content and interest drift model[J].Application Research of Computers，2018，35（3）：717-720.
[44] 张应辉，司彩霞.基于用户偏好和项目特征的协同过滤推荐算法[J].计算机技术与发展，2017，27（1）：16-19.
ZHANG Y H，SI C X.A collaborative filtering algorithm based on interest of user and attributes of item[J].Computer Technology and Development，2017，27（1）：16-19.
[45] CHEN H，SUN H，CHENG M，et al.A recommendation approach for rating prediction based on user interest and trust value[J].Computational Intelligence and Neuroscience，2021（9）：1-9.
[46] 王云超，刘臻.融合用户对项目和属性偏好的协同过滤算法[J].计算机科学，2018，45（S2）：422-426.
WANG Y C，LIU Z.Collaborative filtering algorithm integrating user preferences for items and attributes[J].Computer Science，2018，45（S2）：422-426.
[47] 王道平，蒋中杨，张博卿.基于灰色关联分析和时间因素的协同过滤算法[J].数据分析与知识发现，2018，2（6）：102-109.
WANG D P，JIANG Z Y，ZHANG B Q.Collaborative filtering algorithm based on grey correlation analysis and time factor[J].Data Analysis and Knowledge Discovery，2018，2（6）：102-109.
[48] 陈海涛，宋姗姗，李同强.基于用户的改进的协同过滤推荐算法[J].情报理论与实践，2015，38（9）：100-103.
CHEN H T，SONG S S，LI T Q.User based improved collaborative filtering recommendation algorithm[J].Information Studies：Theory & Application，2015，38（9）：100-103.
[49] 朱思丞，黄瑛，孙志锋.推荐算法时间动态特性研究进展[J].工业控制计算机，2015，28（8）：99-100.
ZHU S C，HUANG Y，SUN Z F.Research on progress of time-based dynamic recommender system[J].Industrial Control Computer，2015，28（8）：99-100.
[50] 武建新，张志鸿.融合用户评分与显隐兴趣相似度的协同过滤推荐算法[J].计算机科学，2021，48（5）：147-154.
WU J X，ZHANG Z H.Collaborative filtering recommendation algorithm based on user rating and similarity of explicit and implicit interest[J].Computer Science，2021，48（5）：147-154.
[51] 魏慧娟，戴牡红.融合评分差异和兴趣相似性的协同过滤推荐算法[J].计算机科学，2018，45（S1）：411-414.
WEI H J，DAI M H.Collaboration filtering recommendation algorithm based on ratings difference and interest similarity[J].Computer Science，2018，45（S1）：411-414.
[52] 李永超，罗军.基于用户部分特征的协同过滤算法[J].计算机系统应用，2017，26（3）：204-208.
LI Y C，LUO J.Collaborative filtering algorithm based on user partial feature[J].Computer Systems & Applications，2017，26（3）：204-208.
[53] 程文娟，刘云海.融合项目因素的用户部分特征协同过滤算法[J].计算机科学与应用，2018，8（11）：1689-1695.
CHENG W J，LIU Y H.User partial feature collaborative filtering algorithm integrating project factors[J].Computer Science and Application，2018，8（11）：1689-1695.
[54] CHEN L，YUAN Y，YANG J，et al.Improving the prediction quality in memory-based collaborative filtering using categorical features[J].Electronics，2021，10（2）：214.
[55] CHEN H，YAN W，SUN H，et al.Tag-extended collaborative filtering recommendation algorithm[J].SN Computer Science，2020，1（5）：302.
[56] 张小川，周泽红，向南，等.基于关联规则的协同过滤改进算法[J].重庆理工大学学报（自然科学），2019，33（3）：161-168.
ZHANG X C，ZHOU Z H，XIANG N，et al.Improved collaborative filtering algorithm based on association rules[J].Journal of Chongqing University of Technology（Natural Science），2019，33（3）：161-168.
[57] 向程冠，熊世桓，王东，等.基于关联规则与相似度的社交好友推荐算法[J].计算机工程，2019，45（4）：181-186.
XIANG C G，XIONG S H，WANG D，et al.Social friend recommendation algorithm based on association rules and similarity[J].Computer Engineering，2019，45（4）：181-186.
[58] 胡文江，胡大伟，高永兵，等.基于关联规则与标签的好友推荐算法[J].计算机工程与科学，2013，35（2）：109-113.
HU W J，HU D W，GAO Y B，et al.Friend recommendation algorithm based on association rules and tags[J].Computer Engineering and Science，2013，35（2）：109-113.
[59] 纪文璐，王海龙，苏贵斌，等.基于关联规则算法的推荐方法研究综述[J].计算机工程与应用，2020，56（22）：33-41.
JI W L，WANG H L，SU G B，et al.Review of recommendation methods based on association rule algorithm[J].Computer Engineering and Applications，2020，56（22）：33-41.