基于CUDA的BP算法并行化与实例验证

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (23): 31-34.

基于CUDA的BP算法并行化与实例验证

孙香玉，冯百明，杨鹏斐

1.西北师范大学计算机科学与工程学院，兰州 730070
2.中国科学院计算技术研究所计算机体系结构国家重点实验室，北京 100190

出版日期:2013-12-01 发布日期:2016-06-12

Parallelization of BP algorithm and example verification based on CUDA

SUN Xiangyu, FENG Baiming, YANG Pengfei

1.College of Computer Science and Engineering, Northwest Normal University, Lanzhou 730070, China
2.State Key Laboratory of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China

Online:2013-12-01 Published:2016-06-12

摘要/Abstract

摘要： CUDA是应用较广的GPU通用计算模型，BP算法是目前应用最广泛的神经网络模型之一。提出了用CUDA模型并行化BP算法的方法。用该方法训练BP神经网络，训练开始前将数据传到GPU，训练开始后计算隐含层和输出层的输入输出和误差，更新权重和偏倚的过程都在GPU上实现。将该方法用于手写数字图片训练实验，与在四核CPU上的训练相比，加速比为6.12~8.17。分别用在CPU和GPU上训练得到的结果识别相同的测试集图片，GPU上的训练结果对图片的识别率比CPU上的高0.05%~0.22%。

关键词: 向后传播算法, 并行化, 计算统一设备架构, 手写数字训练

Abstract: CUDA is a generally used GPGPU（General Purpose Computing on GPU） model. BP algorithm is one of the most widely used neural network model at present. A method of parallelizing BP algorithm using CUDA is proposed in this paper. When this method are used to train BP neural network, data are transferred to GPU before training. Process of computing inputs, outputs, errors of hidden layer and output layer and updating weights, biases are realized on GPU. Training handwritten digital images with this method has speed-up ratio between 6.12 and 8.17 compared to training on four cores CPU. When this two results are respectively used to recognize the same test set, the recognition rate based on training result on GPU increases 0.05% ~0.22% compared to that of CPU.

Key words: Back-Propagation（BP） algorithm, parallelization, Compute United Device Architecture（CUDA）, handwritten digits training

孙香玉，冯百明，杨鹏斐. 基于CUDA的BP算法并行化与实例验证[J]. 计算机工程与应用, 2013, 49(23): 31-34.

SUN Xiangyu, FENG Baiming, YANG Pengfei. Parallelization of BP algorithm and example verification based on CUDA[J]. Computer Engineering and Applications, 2013, 49(23): 31-34.

[1]	陈元文. MapReduce技术在物资调运与配载问题中的应用[J]. 计算机工程与应用, 2021, 57(12): 273-278.
[2]	杨航，朱永利. 基于Storm的局部放电信号集合经验模态分解[J]. 计算机工程与应用, 2020, 56(10): 261-267.
[3]	曹国刚，张晴，张培君，王志敏. 基于多核并行化差异进化算法的图像配准方法[J]. 计算机工程与应用, 2017, 53(20): 166-172.
[4]	李明，李天瑞，陈志，杨燕. 基于Spark计算框架的高铁振动数据经验模态分解[J]. 计算机工程与应用, 2016, 52(20): 103-107.
[5]	郑海雁1，2，王远方2，熊政1，李昆明1，崇志宏2，尹飞1. 标签集约束近似频繁模式的并行挖掘[J]. 计算机工程与应用, 2015, 51(9): 135-141.
[6]	林敏，钟一文. 三种GPU并行的自适应邻域模拟退火算法[J]. 计算机工程与应用, 2015, 51(22): 70-76.
[7]	唐绍华. 面向众核GPU加速系统的网络编码并行化及优化[J]. 计算机工程与应用, 2014, 50(21): 79-84.
[8]	董本志，李文浩，景维鹏. 基于Hadoop Streaming的Last比对软件并行化的研究与实现[J]. 计算机工程与应用, 2014, 50(2): 226-230.
[9]	张博，李军怀，王志晓，张璟. RFID并行化定位方法研究与实现[J]. 计算机工程与应用, 2014, 50(15): 181-186.
[10]	杨梅1，李志民1，曹大勇2. CUDA架构下大规模稠密线性方程组的并行求解[J]. 计算机工程与应用, 2011, 47(32): 27-30.
[11]	胡媛，李康，孔凡敏，杜刘革. 基于CUDA架构的三维CPML-FDTD并行方法[J]. 计算机工程与应用, 2011, 47(25): 220-223.