The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Global Optimization Method of Radial Basis Function Networks for Function Approximation

함수 근사화를 위한 방사 기저함수 네트워크의 전역 최적화 기법

  • 이종석 (한국과학기술원 전자전산학부) ;
  • 박철훈 (한국과학기술원 전자전산학부)
  • Published : 2007.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a training algorithm for global optimization of the parameters of radial basis function networks. Since conventional training algorithms usually perform only local optimization, the performance of the network is limited and the final network significantly depends on the initial network parameters. The proposed hybrid simulated annealing algorithm performs global optimization of the network parameters by combining global search capability of simulated annealing and local optimization capability of gradient-based algorithms. Via experiments for function approximation problems, we demonstrate that the proposed algorithm can find networks showing better training and test performance and reduce effects of the initial network parameters on the final results.

본 논문에서는 방사 기저함수 네트워크의 파라미터를 전 영역에서 최적화하는 학습 알고리즘을 제안한다. 기존의 학습 알고리즘들은 지역 최적화만을 수행하기 때문에 성능의 한계가 있고 최종 결과가 초기 네트워크 파라미터 값에 크게 의존하는 단점이 있다. 본 논문에서 제안하는 하이브리드 모의 담금질 기법은 모의 담금질 기법의 전 영역 탐색 능력과 경사 기반 학습 알고리즘의 지역 최적화 능력을 조합하여 전 파라미터 영역에서 해를 찾을 수 있도록 한다. 제안하는 기법을 함수 근사화 문제에 적용하여 기존의 학습 알고리즘에 비해 더 좋은 학습 및 일반화 성능을 보이는 네트워크 파라미터를 찾을 수 있으며, 초기 파라미터 값의 영향을 크게 줄일 수 있음을 보인다.

Keywords

References

  1. L. Rabiner and B.-H. Juang, 'Fundamentals of Speech Recognition,' Englewood Cliffs, Prentice Hall, 1993
  2. T. Piggio and F. Girosi, 'Regularization algorithms for learning that are equivalent to multilayer networks,' Science, Vol. 2247, pp. 978-982, 1990 https://doi.org/10.1126/science.247.4945.978
  3. F. Schwenker, H. A. Kestler, and G. Palm, 'Three learning phases for radial-basis-function networks,' Neural Networks, Vol. 14, No. 4-5, pp. 439-458, 2001 https://doi.org/10.1016/S0893-6080(01)00027-2
  4. J.-S. Lee and C. H. Park, 'Training hidden Markov models by hybrid simulated annealing for visual speech recognition,' in Proc. IEEE Int. Conf. Systems, Man, and Cybernetics, pp. 198-202, Taipei, Taiwan, Oct. 2006 https://doi.org/10.1109/ICSMC.2006.384382
  5. D. Wettschereck and T. Dietterich, 'Improving the performance of radial basis function networks by learning center locations,' in J. E. Moody, S. J. Hanson, and R. P. Lippman, eds., Advances in Neural Information Processing Systems, Vol. 4, Morgan Kaufmann, Loas Altos, CA, pp. 1133-1140, 1992
  6. D. S. Broomhead and D. Lowe, 'Multivariable functional interpolation and adaptive networks,' Complex Systems, Vol. 2, pp. 321-355, 1988
  7. J. Moody and C. Darken, 'Fast learning in networks of locally-tuned processing units,' Neural Computation, Vol. 1, No.2, pp. 291-294, 1989 https://doi.org/10.1162/neco.1989.1.2.281
  8. S. Kirkpatrick, C. D. Gerlatt, and M. P. Vecchi, 'Optimization by simulated annealing,' Science, Vol. 220, pp. 671-600, May 1983 https://doi.org/10.1126/science.220.4598.671
  9. P. J. M. V. Laarhoven and E. H. L. Aarts, 'Simulated Annealing: Theory and Applications,' Kluwer Academic Publishers, Dordrecht, The Netherlands, 1987
  10. H. Szu and R. Hartley, 'Fast simulated annealing,' Phys. Lett. A, Vol. 122, No. 3-4, pp. 157-162, Jun. 1987 https://doi.org/10.1016/0375-9601(87)90796-1
  11. D. Nam, J.-S. Lee, and C. H. Park, 'n-dimensional Cauchy neighbor generation for the fast simulated annealing,' IEICE Trans. Information and Systems, Vol. E87-D, No. 11, pp. 2499-2502, 2004
  12. C. Bishop, 'Neural Networks for Pattern Recognition,' Oxford Univ, Press Inc., New York, 1995
  13. N. Metropolis, A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller, and E. Teller, 'Equation of state calculations by fast computing machines,' J. Chem. Phys., Vol. 21, No.6, pp. 1087-1092, 1953 https://doi.org/10.1063/1.1699114
  14. L. Breiman, 'The II method for estimating multivariate functions from noisy data,' Technometrics, Vol. 3, No.2, pp.125-160, 1991 https://doi.org/10.2307/1269038
  15. J.-N. Hwang, S.-R. Lay, M. R. D. Martin, and J. Schimert, 'Regression modeling in back-propagation and project pursuit learning,' IEEE Trans. Neural Networks, Vol. 5, No. 3, pp. 342-353, 1994 https://doi.org/10.1109/72.286906
  16. J.-S. Lee, H. Lee, J.-Y. Kim, D. Nam, and C. H. Park, 'Self-organizing neural networks by construction and pruning,' IEICE Trans. Information and Systems, Vol. E87-D, No. 11, pp. 2489-2498, Nov. 2004
  17. 이종석, 김재영, 정승범, 박철훈, '다층 신경회로망을 위한 자기구성 알고리즘,' 전자공학회논문지, 제41권 CI편 제3호, pp. 55-66, 2004년 5월