적응적 가중치를 이용한 RAM 기반 누적 신경망

A RAM-based Cumulative Neural Net with Adaptive Weights

  • 이동형 (한국폴리텍 VII대학 울산캠퍼스 정보통신시스템과) ;
  • 김성진 (울산대학교 컴퓨터정보통신공학부) ;
  • 권영철 (거제대학 컴퓨터정보계열) ;
  • 이수동 (울산대학교 컴퓨터정보통신공학부)
  • 투고 : 2009.08.10
  • 심사 : 2009.10.26
  • 발행 : 2010.02.28

초록

RAM 기반 신경망은 빠른 처리 속도와 하드웨어 구현의 용이성 등의 장점을 가지고 있지만 반면에 메모리의 포화 문제, 반복학습, 일반화 패턴 추출의 어려움 등의 단점도 가지고 있다. 이런 단점을 극복하기 위해 누적 다중 판별자를 가지는 3차원 뉴로 시스템(3DNS) 등이 제안되었지만 메모리 포화 문제는 해결하지는 못하였다. 본 논문에서는 메모리 포화 문제를 해결하기 위하여 적응적 가중치를 가지는 AWN (Adaptive Weight Neuron)을 사용한 적응적 가중치 누적 신경망(AWCNN)을 제안한다. 제안된 모델은 AWN으로 3DNS을 개선하여 인식률과 메모리 포화 문제 해결을 향상하였다. 제안된 시스템의 평가는 전처리 과정 없이 NIST의 MNIST에서 제공하는 자료를 이용하여 실험하였다. AWCNN은 3DNS보다 1.5%이상의 향상된 인식률을 보였고 일반화 패턴을 이용한 인식에서는 모든 입력 패턴의 교육된 것과 비슷한 성능을 얻었다.

A RAM-based Neural Network(RNN) has the advantages of processing speed and hardware implementation. In spite of these advantages, it has a saturation problem, weakness of repeated learning and extract of a generalized pattern. To resolve these problems of RNN, the 3DNS model using cumulative multi discriminator was proposed. But that model does not solve the saturation problem yet. In this paper, we proposed a adaptive weight cumulative neural net(AWCNN) using the adaptive weight neuron (AWN) for solving the saturation problem. The proposed nets improved a recognition rate and the saturation problem of 3DNS. We experimented with the MNIST database of NIST without preprocessing. As a result of experimentations, the AWCNN was 1.5% higher than 3DNS in a recognition rate when all input patterns were used. The recognition rate using generalized patterns was similar to that using all input patterns.

키워드

참고문헌

  1. 이성환, "오프라인 필기체 문자인식 기술의 현황," 한국정보과학회지, 제11권, 제5호, pp. 51-65, 1993.
  2. Amari and Mori, "Introduction to Neural Network," Treecaps WS, 1991.
  3. I. Aleksander and H. Morton, "An Introduction to Neural computing," Chapman & Hall, 1990.
  4. I. Aleksander, W. V. Thomas, and Bowden, P. A, "WISARD a radical step forward in image recognition," Sensor Review, pp. 120-124, 1984.
  5. I. Aleksander and T. J. Stonham, "Guide to pattern recongnition using random-access memories," Computers and Digital Techniques, Vol.2, pp. 29-40, 1979.
  6. J. Aleksander, T. J. W. Clarke and A. P. Braga, "Weightless Neural System: A Unified Approach to Their Analysis and Design," ICONIP '94 Tutoriel, 1994.
  7. E. C. D. B. Filho, M. C. Fairhurst, and D. L. Bisset, "Analysis of Saturation Problem in RAM-Based Neural Network," Electronics Letters, Vol.28, No.4, pp. 345-346, 1992. https://doi.org/10.1049/el:19920216
  8. S. D. Lee, Dynamics of Feedback for Artificially Intelligent Pattern Recognition, MSc. Dissertation, Brunel Univ., England, 1981.
  9. 권영철, "경험 유관이진신경망," 울산대학교, 1995.
  10. 김성진, 권영철, 이수동, "RAM을 이용한 경험 유관축적신경망모델," 대한전자공학회, 제41권, CI편, 제2호, pp. 1251-1254, 2004.
  11. 김성진, 이동형, 권영철, 이수동, "다중판별자를 가지는 동적 삼차원 뉴로 시스템," 한국정보과학회, Vol.34, No.7, pp. 585-594, 2007.
  12. E. do Valle Simoes, L.F. Uebel, Y. Ueno, and D.A Couto Barone, "The Adaptive Weight Using Ram," In: 1997 INTERNATIONAL CONFERENCE ON SYSTEML CMAN AND CIBERNETICL, 1997. PROCEEDINGS. EUA., v.5. pp. 4053-4056. 1997.
  13. T.M. Jorgensen, "A RAM-based neural net with inhibitory weights and its applicationto recognising handwritten digits," Neural Networks for Identification, Control, Robotics, and Signal/Image Processing, 1996. Proceedings., International Workshop on., pp. 228-236, 1996.
  14. Wickert, I. and Franca. F.M.G., "AUTOWISARD : Unsupervised modes for the WISARD," Proc of IWANN 2001, Granada, Spain, Lecture Notes in Computer Science, Vol.2084, pp. 435-441, 2001.
  15. Yann LeCun, NEC Research Institute, http://yann.lecun.com/exdb/mnist/index.html.
  16. W. W. Bledsoe and I. Browning, "Pattern Recognition and Reading by Machine," Proc. Eastern Joint Computer Conference, Boston, pp. 232-255, 1959.
  17. W. W. Bledsoe and C.L. Bisson, "Improved memory matrices for the N-tuple pattern recognition method," IRE Trans. Electronic Computers, Vol.EC-11, pp. 414-415, 1962. https://doi.org/10.1109/IRETELC.1962.5407930