分布式奇异值分解最小平方估计算法

计算机工程与应用 ›› 2014, Vol. 50 ›› Issue (3): 6-12.

分布式奇异值分解最小平方估计算法

李繁1，2，金明录1，刘继3

1.大连理工大学电子信息与电气工程学部，辽宁大连 116024
2.新疆财经大学网络与实验教学中心，乌鲁木齐 830012
3.新疆财经大学统计与信息学院，乌鲁木齐 830012

出版日期:2014-02-01 发布日期:2014-01-26

Distributed singular value decomposition least squares estimation algorithm

LI Fan1，2, JIN Minglu1, LIU Ji3

1.Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian, Liaoning 116024, China
2.Network & Experimental Teaching Center, Xinjiang University of Finance and Economics, Urumqi 830012, China
3.School of Statistics and Information, Xinjiang University of Finance and Economics, Urumqi 830012, China

Online:2014-02-01 Published:2014-01-26

摘要/Abstract

摘要： 对奇异值（SVD）分解求解最小平方估计的问题进行了研究。提出迭代式分割与合并的算法（IDMSVD），目的是改善奇异值分解在估计参数时非常耗费时间以及内存空间的问题。基于IDMSVD提出了分布式迭代式分割与合并算法（MRDSVD），使用Hadoop平台的MapReduce来实现，实验结果显示，IDMSVD可以有效改善SVD求最小平方解耗费运行时间与内存空间的问题，MRDSVD算法可进一步改善IDMSVD的运行时间。

关键词: 矩阵分解, 奇异值分解, 最小平方估计, 大型数据集, 分布式

Abstract: Singular Value Decomposition（SVD） for solving least-squares estimation problem is studied. This paper proposes Iterative Divide and Merge algorithm（IDMSVD）, aims to improve the problem that singular value decomposition in the estimation of parameters is very time-consuming and memory space. Based on IDMSVD a distributed iterative split and merge algorithm（MRDSVD） is proposed, using Hadoop’s MapReduce platform to achieve. The experimental results show, IDMSVD can effectively improve the SVD least squares solution required run time and memory space consuming problem. MRDSVD algorithm can further improve the running time of IDMSVD.

Key words: matrix decomposition, Singular Value Decomposition（SVD）, least-squares solution, large-scale dataset, distributed

李繁1，2，金明录1，刘继3. 分布式奇异值分解最小平方估计算法[J]. 计算机工程与应用, 2014, 50(3): 6-12.

LI Fan1，2, JIN Minglu1, LIU Ji3. Distributed singular value decomposition least squares estimation algorithm[J]. Computer Engineering and Applications, 2014, 50(3): 6-12.

[1]	蔡冬丽，钟清华，朱永升，廖金湘，韩劢之. 三维输入卷积神经网络脑电信号情感识别[J]. 计算机工程与应用, 2021, 57(5): 161-167.
[2]	江魁，丘远东，郑浩城. 基于信息熵与LSTM的ICMPv6 DDoS攻击检测方法[J]. 计算机工程与应用, 2021, 57(21): 148-154.
[3]	王海瑞，鲜于建川. 改进麻雀搜索算法在分布式电源配置中的应用[J]. 计算机工程与应用, 2021, 57(20): 245-252.
[4]	田阳，陈智罡，宋新霞，李天明. 区块链在供应链管理中的应用综述[J]. 计算机工程与应用, 2021, 57(19): 70-83.
[5]	张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.
[6]	王英博，孙永荻. 基于GNN的矩阵分解推荐算法[J]. 计算机工程与应用, 2021, 57(19): 129-134.
[7]	夏英，张金凤. 融合社交关系和局部地理因素的兴趣点推荐[J]. 计算机工程与应用, 2021, 57(15): 133-139.
[8]	杨信民，董红斌，谭成予，周雯. 采用奇异值分解和信息增益的树突状细胞模型[J]. 计算机工程与应用, 2021, 57(15): 156-162.
[9]	王文涛，李树梅，汤婕，吕伟龙. 结合概率图模型与DNN的DDoS攻击检测方法[J]. 计算机工程与应用, 2021, 57(13): 108-115.
[10]	张进，孙福振，王绍卿，王帅，鹿祥志. 融合社交关系与地理信息的兴趣点推荐模型[J]. 计算机工程与应用, 2020, 56(5): 173-178.
[11]	赵亮，陈平华，廖威平. 融合社交网络用户潜在因子的社会化推荐[J]. 计算机工程与应用, 2020, 56(24): 169-174.
[12]	魏占辰，刘晓宇，黄秋兰，孙功星. Spark迭代密集型应用的优化方法研究[J]. 计算机工程与应用, 2020, 56(23): 68-73.
[13]	刘祖均，何明，马子玉，顾凌枫. 基于分布式一致性的无人机编队控制方法[J]. 计算机工程与应用, 2020, 56(23): 146-152.
[14]	胡学林，艾山·吾买尔. 基于分布式表示技术的推荐算法综述[J]. 计算机工程与应用, 2020, 56(22): 13-24.
[15]	刘家骥，包崇明，周丽华，王崇云，孔兵. 图正则化非负矩阵分解的异质网社区发现[J]. 计算机工程与应用, 2020, 56(21): 131-138.