한국컴퓨터정보학회논문지 (Journal of the Korea Society of Computer and Information)

  • 제15권4호
  • /
  • Pages.57-63
  • /
  • 2010
  • /
  • 1598-849X(pISSN)
  • /
  • 2383-9945(eISSN)
한국컴퓨터정보학회 (Korean Society of Computer Information)
권호 표지
DOI QR코드

DOI QR Code

가변 감쇠 파라미터를 이용한 Levenberg-Marquardt 알고리즘의 학습 속도 향상

Accelerating Levenberg-Marquardt Algorithm using Variable Damping Parameter

  • 곽영태 (전북대학교 IT정보공학부)
  • 투고 : 2010.03.10
  • 심사 : 2010.04.01
  • 발행 : 2010.04.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

Levenberg-Marquardt 알고리즘에서 감쇠 파라미터는 오류역전파 학습과 Gauss-Newton 학습의 스위치 역할을 하며 학습 속도에 영향을 준다. 이런 감쇠 파라미터를 고정시키는 것은 오차 함수의 진동을 유발하고 학습 속도를 감소시킨다. 따라서 본 논문은 오차 함수의 변화 과정을 참조하여 감쇠 파라미터를 가변적으로 적용하는 방법을 제안한다. 제안된 방법은 오차의 변화량이 크면 감쇠 파라미터를 크게, 오차의 변화량이 작으면 감쇠 파라미터를 작게 조정한다. 이것은 모멘텀과 유사한 역할을 하여 학습 속도를 향상시킨다. 제안된 방법의 검증을 위한 실험으로는 iris 분류 문제와 wine 분류 문제를 사용하였다. 제안된 방법은 iris 분류 문제에서는 67% 학습에서, wine 분류 문제에서는 78% 학습에서 학습 속도가 향상되었으며 기존 방법과 비교하여 오차의 진동도 적은 것을 확인할 수 있었다.

The damping parameter of Levenberg-Marquardt algorithm switches between error backpropagation and Gauss-Newton learning and affects learning speed. Fixing the damping parameter induces some oscillation of error and decreases learning speed. Therefore, we propose the way of a variable damping parameter with referring to the alternation of error. The proposed method makes the damping parameter increase if error rate is large and makes it decrease if error rate is small. This method so plays the role of momentum that it can improve learning speed. We tested both iris recognition and wine recognition for this paper. We found out that this method improved learning speed in 67% cases on iris recognition and in 78% cases on wine recognition. It was also showed that the oscillation of error by the proposed way was less than those of other algorithms.

키워드

참고문헌

  1. D. E. Rumelhart and J. L. McClelland, "Parallel Distributed Processing," MIT Press, Cambridge, MA, pp. 318-362, 1986.
  2. 김광백, 조재현, "퍼지 신경망을 이용한 자동차 번호판 인식 시스템," 한국컴퓨터정보학회 논문지, 제 12권 제 5호, 313-319쪽, 2007년 11월.
  3. John Moody and Christian J. Darken, "Fast Learning in Networks of Locally-Tuned Processing Units," Neural Computation, Vol. 1, pp. 281-294, 1989. https://doi.org/10.1162/neco.1989.1.2.281
  4. T. P. Vogal, J. K. Mangis, A. K. Zigler, W. T. Zink and D. L. Alkon, "Accelerating the convergence of the backpropagation method," Biological Cybernetics, Vol. 59, pp. 256-264, Sept. 1988.
  5. T. Tollenaere, "SuperSAB: Fast adaptive back propagation with good scaling properties," Neural Networks, Vol. 3, No. 5, pp. 561-573, 1990. https://doi.org/10.1016/0893-6080(90)90006-7
  6. M. Kordos and W. Duch, "Variable step search algorithm for feedforward networks," Neurocomputing, Vol. 71, pp. 2470-2480, 2008. https://doi.org/10.1016/j.neucom.2008.02.019
  7. C. Charalambous, "Conjugate gradient algorithm for efficient training of artificial neural networks," IEEE Proceedings, Vol. 139, No. 3, pp. 301-310, 1992.
  8. Wei Chu, Chong Jin Ong and Keerthi S.S., "An improved conjugate gradient scheme to the solution of least squares SVM," IEEE Transactions on Neural Networks, Vol. 16, No. 2, pp. 498-501, 2005. https://doi.org/10.1109/TNN.2004.841785
  9. M. T. Hagan and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, Vol. 5, No. 6, pp. 989-993, 1994. https://doi.org/10.1109/72.329697
  10. Jorge Nocedal and Stephen Wright, Numerical Optimization, Springer, 2006.
  11. Rolnald E. Miller, "Optimization," John Wiley & Son, INC. pp. 358-362, 2000.
  12. Chen T., Han DJ., Au FTK. and Tham LG., "Acceleration of Levenberg-Marquardt training of neural networks with variable decay rate," International Joint Conference on Neural Networks Proceedings, Portland, Oregon, Vol. 3, pp. 1873-1878, July 2003.
  13. Amir Abolfazl Suratgar, Mohammad Bagher Tavakoli and Abbas Hoseinabadi, "Modified Levenberg-Marquardt Method for Neural Networks Training," Proceedings of world academy of science, engineering and technology, Vol. 6, pp. 46-48, June 2005.
  14. 곽영태, 신정훈, "Jacobian 행렬의 주부분 행렬을 이용한 Levenberg-Marquardt 알고리즘의 개선," 한국컴퓨터정보학회 논문지, 제 14권, 제 8호, 11-18쪽, 2009년 8월.
  15. Machine Learning Repository http://archive.ics.uci.edu/ml/

피인용 문헌

  1. Turbojet Engine Control Using Artificial Neural Network PID Controller With High Gain Observer vol.22, pp.1, 2014, https://doi.org/10.12985/ksaa.2014.22.1.001