The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지

Regression Model With High Reliability by Using Neural Networks

신경망을 이용한 고신뢰성의 회귀분석 모델

  • 조용현 (대구가톨릭대학교 컴퓨터정보통신공학부)
  • Published : 2001.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 기울기하강과 동적터널링이 조합된 학습알고리즘의 다층신경망을 이용한 고신회성의 회귀분석 모델을 제안하였다. 기울기하강은 빠른 수렴속도의 최적화가 가능하도록 하기 위함이고, 동적터널링은 국소최적해를 만났을 때 이를 벗어난 새로운 연결가중치를 설정하여 전역최적해로 수렴되도록 하기 위함이다. 또한 대용량의 입력 데이터를 통계적으로 독립인 특징들의 집합으로 변환시키는 주요성분분석 기법의 속성을 살려 학습데이터의 차원을 감소시킴으로서 고차원의 학습데이터에 따른 회귀분석 모델의 제약도 동시에 해결하였다. 제안된 기법의 신경망을 3개의 독립변수 패턴을 가진 암모니아 제조공정문제와 10개의 독립변수 패턴을 가진 자동차 연비문제에 각각 적용하여 시뮬레이션한 결과, 기존의 역전과 알고리즘의 신경망이나 주요성분분석에 의한 차원을 감소시키지 않은 학습패턴을 이용한 신경망보다 각각 더욱 우수한 학습성능과 회귀성능이 있음을 확인할 수 있었다. 또한 학습패턴의 영평균 정규화로 회귀용 신경망의 성능을 더욱 더 개선하였다.

Keywords

References

  1. 허명회 외 1, 'SAS 회귀분석', 자유아카데미, 1996
  2. 강명욱 외3, '회귀분석: 모형개발과 진단', 율곡출판사, 1997
  3. S. Haykin, 'Neural Networks : A Comprehensive Founda-tion,' Prentice-Hall, London, 1999
  4. T. Masters, 'Advanced Algorithms for Neural Networks : A C++ Sourcebook,' John Wiley & Sons, Inc., New York, 1995
  5. D. F. Specht, 'A General Regression Neural Network,' IEEE Trans. on Neural Networks, Vol.2, No.6, pp.568-576, Nov. 1991 https://doi.org/10.1109/72.97934
  6. M.Catasus, W.Branagh, and E.D.Salin, 'Improved Calibration for Inductively Coupled Plasma-Atomic Emission Spectrometry Using Generalized Regression Neural Netwoks,' Applied Spectroscopy, Vol.49, No.6, pp.798-807, 1995 https://doi.org/10.1366/0003702953964444
  7. J. A. Freeman and D. M. Skapura, 'Neural Networks : Al-gorithms, Applications, and Programming Techniques,' Ad-dison Wesley, London, 1991
  8. A. Cichock and R.Unbehaun, 'Neural Networks for Optimi-zation and Signal Processing,' John Wiley & Sons., New York, 1993
  9. P. Foldiak, 'Adaptive Network for Optimal Linear Feature Extraction,' Internation Joint Conference on Neural Net-works, Washington D.C., Vol.1, pp.401-406, June, 1989 https://doi.org/10.1109/IJCNN.1989.118615
  10. S. Bannour, A. Mahmood and A.Sadjadi, 'Principal Com-ponent Extraction Using Recursive Least Squares Lear-ning,' IEEE Trans. on Neural Networks, Vol.6, No.2, pp. 457-469, Mar. 1995 https://doi.org/10.1109/72.363480
  11. K. I. Diamantaras and S. Y. Kung, 'Principal Component Neural Networks : Theory and Applications, Adaptive and Learning Systems for Signal Processing, Communications, and Control,' John Wiley & Sons, Inc., 1996
  12. Y. Yao, 'Dynamic Tunneling Algorithm for Global Optimi-zation,' IEEE Trans. on Systems, Man, and Cybernetics, Vol.19, No.5, pp.1222-1230, Sept/Oct. 1989 https://doi.org/10.1109/21.44040
  13. 조용현, 윤중환, 박용수, '조합형 학습알고리즘의 신경망을 이용한 데이터의 효율적인 특징추출', 정보처리학회논문지, 제8-B권 제2호, pp.130-136, April, 2001
  14. A. Hyvarinen and E. Oja, 'Independent Component Anal-ysis: Algorithms and Applications,' Neural Networks, Vol.13, No.4-5, pp.411-430, 2000 https://doi.org/10.1016/S0893-6080(00)00026-5