电子学报 ›› 2021, Vol. 49 ›› Issue (2): 209-215.DOI: 10.12263/DZXB.20190773

• 学术论文 •    下一篇

利用数据稀疏性的LSTM加速器设计

高琛, 张帆, 高彦钊   

  1. 信息工程大学, 河南郑州 450002
  • 收稿日期:2019-07-08 修回日期:2019-11-11 出版日期:2021-02-25
    • 作者简介:
    • 高琛 男,1994年出生,山东济南人.2017年毕业于电子科技大学电子工程学院,同年进入国家数字交换系统工程技术研究中心攻读硕士学位.主要从事FPGA硬件加速及人工智能芯片的有关研究.E-mail:616414829@qq.com;张帆 男,1981年出生,河南郑州人,博士、硕士生导师.分别于2004年、2007年和2012年在国家数字交换系统工程技术研究中心获学士、硕士及博士学位,现为国家数字交换系统工程技术研究中心副研究员.主要研究方向为主动防御、芯片设计技术、高性能计算.E-mail:13838267352@qq.com;高彦钊 男,1984年出生,河北平山人,博士.2007年在北京航空航天大学获学士学位,2009年及2014年在国防科技大学获硕士、博士学历,现为国家数字交换系统工程技术研究中心助理研究员.主要研究方向为高性能计算.E-mail:buaagaoyz@sina.com
    • 基金资助:
    • 国家自然科学基金 (No.61572520); 国家自然科学基金创新研究群体资助项目 (No.61521003); 国家核高基重大专项核高基项目 (No.2017ZX01030301)

Design of LSTM Accelerator by Utilizing Data Sparseness

GAO Chen, ZHANG Fan, GAO Yan-zhao   

  1. University of Information Engineering, Zhengzhou, Henan 450002, China
  • Received:2019-07-08 Revised:2019-11-11 Online:2021-02-25 Published:2021-02-25
    • Supported by:
    • National Natural Science Foundation of China (No.61572520); NSFC Innovation Research Group (No.61521003); National Science and Technology Major Project  (NSTMP) Program Kernal Electronic Devices,  High-end General Application Chips,  Fundamental Software Products (No.2017ZX01030301)

摘要: 针对长短时记忆神经网络(Long Short-Term Memory,LSTM)模型计算开销大、冗余计算较多的问题,本文提出一种利用输入数据稀疏性的LSTM加速器设计方案.本方案基于Delta网络算法,对输入序列的稀疏性进行构建,在避免数据不规则加载的前提下,对冗余矩阵向量乘法运算进行过滤;针对矩阵向量乘法计算模式进行建模,寻找最高效的并行阵列计算架构设计.在MNIST标准数据集上的实验表明,当Delta网络算法的过滤门限不超过0.5时,LSTM神经网络算法检测准确率不变,计算性能提高了21.53倍.

 

关键词: 长短时记忆神经网络, 现场可编程逻辑门阵列, 稀疏性, 矩阵向量乘法

Abstract: Aiming at the problem of high computational overhead and redundancy in LSTM model, this paper proposed a design method of LSTM accelerator based on data sparsity. This scheme uses Delta network algorithm to mine the sparsity of input data, and filters the multiplication of redundant matrix vectors without irregular loading of data. The calculation mode of matrix-vector multiplication is modeled to find the most efficient parallel array computing architecture design scheme. The experimental results on MINIST dataset show that when the filter threshold of Delta network algorithm is less than 0.5, the detection accuracy of LSTM neural network algorithm remains unchanged, and the computational performance is improved by 21.53 times.

 

Key words: long short-term memory, field programming gate anay, sparseness, matrix-vector multiplication

中图分类号: