BP神经网络FPGA实现结构的优化设计

doi:10.3778/j.issn.1002-8331.2203-0169

摘要/Abstract

摘要： 为了实现反向传播（back propagation，BP）神经网络的现场可编程门阵列（field programmable gate array，FPGA）处理速度的提升和资源消耗的降低，提出一种总体设计和关键模块融合优化的BP神经网络的FPGA实现结构。利用定点数据量化和流水线结构，提高系统的处理速度；采用二次方程多段拟合Sigmoid激活函数，降低计算复杂度；通过调整并行转串行模块与激活函数模块的处理顺序，减少了95%的激活函数模块的使用，降低了资源消耗；采用一种网络原始权值读取与更新权值存储交替流水进行的双端口RAM存取方法，以提高数据存取的速度、降低存储资源消耗。经过对硬件优化设计的字符和服装识别实验验证，结果表明，优化后的总逻辑单元使用率为原来的31%。在FPGA中优化结构实现单样本前向传播与反向传播所用时间为24.332?μs，为软件MATLAB实现时间的45.63%，提高了BP神经网络的运算速度。

关键词: BP神经网络, 现场可编程门阵列（FPGA）, 硬件实现结构, 流水线, 并行结构

Abstract: In order to improve the FPGA（field programmable gate array） implementation processing speed of BPNN（back propagation neural network） and reduce resource consumption, an FPGA implementation structure of BPNN is proposed, which integrates the overall design and key modules optimization. Data fixed-point quantization and pipeline structure are used to improve the processing speed of the system. Quadratic equation is used to fit the sigmoid activation function in multiple segments to reduce the computational complexity. By adjusting the processing order of the parallel-to-serial module and the activation function module, the use of the activation function module is reduced by 95%, and the resource consumption is reduced. Using a dual-port RAM access method with alternate pipeline of weight reading and updating, which improves the speed of data access and reduces the consumption of storage resources. Through the character and clothing recognition experiments of the hardware optimized design, the results show that the utilization rate of the total logic elements after optimization is 31% of the original. The optimized structure in FPGA takes 24.332?μs to realize single-sample forward and back propagation, which is 45.63% of the MATLAB implementation time and improves the operation speed of the BPNN.

Key words: BP neural network, field programmable gate array（FPGA）, hardware implementation structure, pipeline, parallel structure

谭会生, 徐界铭, 张驾祥. BP神经网络FPGA实现结构的优化设计[J]. 计算机工程与应用, 2022, 58(21): 264-271.

TAN Huisheng, XU Jieming, ZHANG Jiaxiang. Optimal Design of FPGA Implementation Structure for BP Neural Network[J]. Computer Engineering and Applications, 2022, 58(21): 264-271.

参考文献

[1] 何振琦，李光明，张慧琳，等.高速图像采集系统的研究及FPGA实现[J].计算机应用，2010，30（11）：3094-3096.
HE Z Q，LI G M，ZHANG H L，et al.High-speed image acquisition system and FPGA implementation[J].Journal of Computer Applications，2010，30（11）：3094-3096.
[2] 陈凯峰，梁鉴如，陈强，等.基于FPGA和CNN的水下目标识别系统[J].传感器与微系统，2021，40（4）：103-105.
CHEN K F，LIANG J R，CHEN Q，et al.Underwater target recognition system based on FPGA and CNN[J].Transducer and Microsystem Technologies，2021，40（4）：103-105.
[3] 张晴晴，刘勇，潘接林，等.基于卷积神经网络的连续语音识别[J].工程科学学报，2015，37（9）：1212-1217.
ZHANG Q Q，LIU Y，PAN J L，et al.Continuous speech recognition by convolutional neural networks[J].Chinese Journal of Engineering，2015，37（9）：1212-1217.
[4] 屈家丽，贺光辉，王国兴.语音识别中卷积神经网络的FPGA实现[J].微电子学与计算机，2018，35（9）：37-41.
QIU J L，HE G H，WANG G X.FPGA implementation of convolutional neural network in speech recognition[J].Microelectronics & Computer，2018，35（9）：37-41.
[5] 李宇霞，孙永奇，闫茹，等.基于CNN图像识别与语义可靠性的路径搜索方法[J].计算机工程，2021，47（1）：255-263.
LI Y X，SUN Y Q，YAN R，et al.Path search method based on CNN image recognition and semantic reliability[J].Computer Engineering，2021，47（1）：255-263.
[6] 余子健，马德，严晓浪，等.基于FPGA的卷积神经网络加速器[J].计算机工程，2017，43（1）：109-114.
YU Z J，MA D，YAN X L，et al.FPGA-based accelerator for convolutional neural network[J].Computer Engineering，2017，43（1）：109-114.
[7] 方睿，刘加贺，薛志辉，等.卷积神经网络的FPGA并行加速方案设计[J].计算机工程与应用，2015，51（8）：32-36.
FANG R，LIU J H，XUE Z H，et al.FPGA-based design for convolution neural network[J].Computer Engineering and Applications，2015，51（8）：32-36.
[8] 郝智泉，王贞松.BP算法的脉动阵列结构在FPGA上的实现[J].计算机工程，2006，32（21）：18-21.
HAO Z Q，WANG Z S.Realization of BP algorithm in FPGA based on systolic array architecture[J].Computer Engineering，2006，32（21）：18-21.
[9] 杨景明，杜韦江，吴绍坤，等.基于FPGA的BP神经网络硬件实现及改进[J].计算机工程与设计，2018，39（6）：1733-1737.
YANG J M，DU W J，WU S K，et al.Hardware implementation and improvement of BP neural network based on FPGA[J].Computer Engineering and Design，2018，39（6）：1733-1737.
[10] LI Z G，WANG Z Y，SUN J C.Design of neural network identification system based on FPGA[C]//2019 IEEE 4th Advanced Information Technology，Electronic and Automation Control Conference，Chengdu，China，2019： 2369-2372.
[11] RUAN Z，HAN J G，HAN Y Z.BP neural network implementation on real-time reconfigurable FPGA system for a soft-sensing process[C]//2005 International Conference on Neural Networks and Brain，Beijing，China，2005：959-963.
[12] 雷小康，尹志刚，赵瑞莲.基于FPGA的卷积神经网络定点加速[J].计算机应用，2020，40（10）：2811-2816.
LEI X K，YIN Z G，ZHAO R L.FPGA-based convolutional neural network fixed-point acceleration[J].Journal of Computer Applications，2020，40（10）：2811-2816.
[13] 秦华标，曹钦平.基于FPGA的卷积神经网络硬件加速器设计[J].电子与信息学报，2019，41（11）：2599-2605.
QIN H B，CAO Q P.Design of convolutional neural networks hardware acceleration based on FPGA[J].Journal of Electronics & Information Technology，2019，41（11）：2599-2605.
[14] 满涛，郭子豪，曲志坚.卷积神经网络的FPGA并行加速设计与实现[J].电讯技术，2021，61（11）：1438-1445.
MAN T，GUO Z H，QU Z J.FPGA parallel acceleration design and implementation of convolutional neural network[J].Telecommunication Engineering，2021，61（11）：1438-1445.
[15] 李增刚，王正彦，孙敬成.基于FPGA的手写数字BP神经网络研究与设计[J].计算机工程与应用，2020，56（17）：251-257.
LI Z G，WANG Z Y，SUN J C.Research and design of handwritten digital BP neural network based on FPGA[J].Computer Engineering and Applications，2020，56（17）：251-257.