Journal of the Institute of Electronics Engineers of Korea SD (대한전자공학회논문지SD)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

The New Architecture of Low Power Inner Product Processor for Reconfigurable Neural Networks

재구성 가능한 뉴럴 네트워크 구현을 위한 새로운 저전력 내적연산 프로세서 구조

  • 임국찬 (경희대학교 컴퓨터공학과) ;
  • 이현수 (경희대학교 컴퓨터공학과)
  • Published : 2004.05.01
Download PDF
⟨ Previous Next ⟩

Abstract

The operation mode of neural network is divided into learning and recognition process. Learning is updating process of weight until neural network archives target result from input pattern. Recognition is arithmetic process of input pattern and weight. Traditional inner product process is focused to improve processing speed and hardware complexity. There is no hardware architecture to distinguish between loaming and recognition mode of neural network. In this paper we propose the new architecture of low power inner product processor for reconfigurable neural network. The proposed architecture is similar with bit-serial inner product processor on learning mode. It have several advantages which are fast processing base on bit-level, suitability of hardware implementation and pipeline architecture to compute data. And proposed architecture minimizes active units and reduces consumption power on recognition mode. Result of simulation shows that active units is depend on bit representation of weight, but we can reduce active units about 50 precent.

뉴럴 네트워크는 동작 모드를 학습과 인지 과정으로 구분할 수 있다. 학습은 다양한 입력 패턴에 대하여 학습자가 원하는 결과값을 얻을 때까지 결합계수를 업데이트하는 과정이고, 인지는 학습을 통해 결정된 결합계수와 입력 패턴과의 연산을 수행하는 과정이다. 기존의 내적연산 프로세서는 처리 속도를 개선하고 하드웨어 복잡도를 줄이는 다양한 구조가 연구되었지만 뉴럴 네트워크의 학습과 인지모드에 대한 차별화된 구조는 없었다. 이를 위해, 본 논문에서는 재구성 가능한 뉴럴 네트워크 구현을 위한 새로운 저전력 내적연산 프로세서 구조를 제안한다. 제안한 구조는 학습모드에서 기존의 비트-시리얼 내적연산 프로세서와 같이 동작을 하여, 비트-레벨의 타른 처리 및 하드웨어 구현에 적합하고 높은 수준의 파이프라인 적용이 가능하다는 장점을 가진다. 또한, 인지모드에서는 고정된 결합계수에 따라 연산을 수행할 활성화 유닛을 최소화시킴으로서 전력 소비를 줄일 수 있다. 시뮬레이션 결과 활성화 유닛은 결합계수에 의존적이기는 하지만 50% 내외까지 줄일 수 있음을 확인하였다.

Keywords

References

  1. James P. Coughlih, Robert H. Baran, 'Neural Computation in Hopfield Networks and Boltz mann Machines', Univ of Delawarc pr, 1995
  2. 김대수, '신경망과 이론과 응용', 하이테크정보, 1992
  3. Manferd Glesner and Werner Pohmuller, 'Neuro computers, an overvie of neural networks in VLSI', Neural Computing. Chanpman & Hall, 1994
  4. Rodellar V., Hermida M. et al, 'A VLSI arithmetic unit for a signal processing neural network', Circuits and Systems, 1992., Proc. 35th Midwest Symposium, vol. 2, page 1044-1047, 1992 https://doi.org/10.1109/MWSCAS.1992.271115
  5. Diaz A., Gallardo J.M. et al, 'A full-custom bit-serial multiplier for neural network algorithms', Proc. 7th Mediter ranean, page 258 -261, vol. 1, 1994 https://doi.org/10.1109/MELCON.1994.381099
  6. Amin H., Curtis K.M. et al, 'Two-ring systolic array network for artificial neural networks', Circuits, Devices and Systems, IEE Proc., vol. 146, issue 5, page 225 -230, 1999 https://doi.org/10.1049/ip-cds:19990534
  7. Girones R.G., Salcedo A.M., 'Systolic implementation of a pipelined on-line backpropagation', Microelectronics for Neural, Fuzzy and Bio-Inspired Systems, Proc. MicroNeuro '99, page 387-394, 1999 https://doi.org/10.1109/MN.1999.758891
  8. Buddefeld J., Grosspietsch K.E., 'Intelligent-memory architecture for artificial neural networks', IEEE Micro , vol. 22, issue 3, page 32 -40, 2002 https://doi.org/10.1109/MM.2002.1013302
  9. Ma, G.-K., Taylor, F.J., 'Multiplier policies for digital signal processing', ASSP Magazine, vol. 7, issue 1, page 6-20 1990 https://doi.org/10.1109/53.45968
  10. 임국찬, 곽우영, 이현수, '학습된 신경망 설계를 위한 가중치의 비트-레벨 어레이 구조 표현과 최적화 방법', 대한전자공학회 논문지, 제39권, SD편, 제9호, pp819-826, 2002
  11. Szabo T., zFeher B., Horvath G., 'Neural network implementation using distributed arithmetic', Proc. KES '98, vol. 3, pp 510-518, 1998 https://doi.org/10.1109/KES.1998.726016
  12. James-Roxby P., Blodget B.A., 'Adapting constant multipliers in a neural network implementation', Field-Programmable Custom Computing Machines, IEEE Symposium, pp 335-336, 2000 https://doi.org/10.1109/FPGA.2000.903442