The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지

On-line Vector Quantizer Design Using Simulated Annealing Method

Simulated Annealing 방법을 이용한 온라인 벡터 양자화기 설계

  • Published : 2001.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

백터 양자화기 설계는 다차원의 목적함수를 최소화하는 학습 알고리즘을 필요로 한다. 일반화된 Lloyd 방법(GLA)은 벡터 양자화기 설계를 위해 오늘날 가장 널리 사용되는 알고리즘이다. GLA 는 일괄처리(batch) 방식으로 코드북을 생성하며 목적함수를 단조 감소시키는 강하법(descent algorithm)의 일종이다. 한편 Kohonen 학습법(KLA)은 학습벡터가 입력되는 동안 코드북이 갱신되는 온라인 벡터 양자화기 설계 알고리즘 이다. KLA는 원래 신경망 학습을 위해 Kohonen에 의해 제안되었다. KLA 역시 GLA와 마찬가지로 강하법의 일종이라 할 수 있다. 따라서 이들 두 알고리즘은, 비록 사용하기 편리하고 안정적으로 동작을 하지만, 극소(local minimum) 점으로 수렴하는 문제를 안고 있다. 우리는 이 문제와 관련하여 simulated annealing(SA) 방법의 응용을 논하고자 한다. SA는 현재까지 극소에 빠지지 않고 최소(global minimum)로 수렴하면서, 해의 수렴이 (통계적으로) 보장되는 유일한 방법이라 할 수 있다. 우리는 먼저 GLA에 SA를 응용한 그 동안의 연구를 개괄한다. 다음으로 온라인 방식의 벡터 양자화가 설계에 SA 방법을 응용함으로써 SA 방법에 기초한 새로운 온라인 학습 알고리즘을 제안한다. 우리는 이 알고리즘을 OLVQ-SA 알고리즘이라 부르기로 한다. 가우스-마코프 소스와 음성데이터에 대한 벡터양자화 실험 결과 제안된 방법이 KLA 보다 일관되게 우수한 코드북을 생성함을 보인다.

Keywords

References

  1. Y. Linde, A. Buzo, and R. M. Gray, 'An algorithm for vector quantizer design,' IEEE Trans. Commun., Vol. COM-28, pp.84-95, Jan. 1980
  2. T. Kohonen, Self-Organizing Maps, Springer-Verlag, 1995
  3. N. M. Nasrabadi and Y. Feng, 'Vector quantization of images based upon the Kohonen self-organization feature maps,' in Proc. 2nd ICNN Conf., Vol.I, pp.101-105, 1988 https://doi.org/10.1109/ICNN.1988.23837
  4. B. Widrow and S. D. Sterns, Adaptive Signal Processing, Englewood Cliffs, NJ, Prentice-Hall, 1985
  5. Eyal Yair, Kenneth Zeger and Allen Gersho, 'Conjugate Gradient Methods For Designing Vector Quantizers,' in Proc. IEEE Int. Conf. Acoust. Speech, Signal Processing, Vol.1, pp.245-248, 1990 https://doi.org/10.1109/ICASSP.1990.115584
  6. P. -C. Chang and R. M. Gray, 'Gradient algorithms for de-signing predictive vector quantizers,' IEEE Trans. Acoust., Speech, Signal Processing, Vol.ASSP-34, pp.679-690, Aug. 1986
  7. P. J. M. van Laarhoven and E. H. L. Aarts, Simmulated Annealing : Theory and Applications, Boston : D. Reidel Publishing, 1987
  8. V. Cerny, 'A thermodynamical approach to the traveling salesman problem : an efficient simulation algorithm,' pre-print, Inst. Phys. & Biophys., Comenius Univ., Bra-tislava, 1982
  9. S. Kirkpatrick, C. D.;Gellatt, Jr., and M. P. Vecchi, 'Opti-mization by simulated annealing,' Science, Vol.220, pp.671-680, May 1983 https://doi.org/10.1126/science.220.4598.671
  10. N. Metropolis, A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller, and E.Teller, 'Equations of state calculations by fast computing machines', J. Chem. Phys., Vol.21, pp.1087-1091, 1953 https://doi.org/10.1063/1.1699114
  11. S. Geman and D. Geman, 'Stochastic relaxation, Gibbs dis-tributions, and the Baysien restoration of images,' IEEE Trans. Patt. Anal. Machine Intell., Vol.PAMI-6, pp.721-741, Nov. 1984
  12. J. Vaisey and A. Gersho, 'Simulated annealing and codebook design,' in Proc. IEEE Int. Conf. Acoust. Speech, Signal Processing, pp.1176-1179, Apr. 1988 https://doi.org/10.1109/ICASSP.1988.196808
  13. J. K. Flanagan, D. R. Morrell, R. L. Frost, C. J. Read, and B. E. Nelson,' Vector quantization codebook generation using simulated annealing,' in Proc. IEEE Int. Conf. Acoust. Speech, Signal Processing, pp.1759-1763, May. 1989 https://doi.org/10.1109/ICASSP.1989.266790
  14. A. E. Cetin and V. Weerackody, 'Design vector quantizers using simulated anneaing,' IEEE Trans. Circuit Syst., Vol.CAS-35, Dec. 1988 https://doi.org/10.1109/31.9921
  15. K. Zeger and A. Gersho, 'A stochastic relaxation algorithm for improved vector quantizer design,' Electron. Lett., Vol.25, No.14, pp.896-898, July. 1989 https://doi.org/10.1049/el:19890601
  16. K. Zeger, J. Vaisey and A. Gersho, 'Globally optimal vector quantizer design by stochastic relaxation,' IEEE Trans. Signal Proc., Vol.40, No.2, Feb. 1992 https://doi.org/10.1109/78.124941
  17. S. P. Lioyd, 'Least squares quantization in PCM,'IEEE Trans. Inform. Theory, Vol.21, pp.129-137, Mar. 1982
  18. P. D. Wasserman, Neural Computing, NY : Van Nostrand Reinhold, 1989
  19. D. DeSieno, 'Adding a conscience to competitive learning,' in Proc 2nd ICNN Conf., Vol.1, pp.117-124, 1988 https://doi.org/10.1109/ICNN.1988.23839
  20. H. Ritter and K. Shulten, 'Kohonen's self-organizing maps : Explorering their computational capabilities,' in Proc 2nd ICNN Conf., Vol.1, pp.109-116, 1988 https://doi.org/10.1109/ICNN.1988.23838
  21. E. Yair, K. Zeger and A. Gersho, 'Competitive Learning and soft competition for vector quantizer design,' IEEE Trans. Signal Proc., Vol.40, No.2, Feb. 1992 https://doi.org/10.1109/78.124940