DOI QR코드

DOI QR Code

Improved Expectation and Maximization via a New Method for Initial Values

새로운 초기치 선정 방법을 이용한 향상된 EM 알고리즘

  • 김성수 (충북대학교 전기전자 및 컴퓨터 공학부) ;
  • 강지혜 (충북대학교 전기전자 및 컴퓨터 공학부)
  • Published : 2003.08.01

Abstract

In this paper we propose a new method for choosing the initial values of Expectation-Maximization(EM) algorithm that has been used in various applications for clustering. Conventionally, the initial values were chosen randomly, which sometimes yields undesired local convergence. Later, K-means clustering method was employed to choose better initial values, which is currently widely used. However the method using K-means still has the same problem of converging to local points. In order to resolve this problem, a new method of initializing values for the EM process. The proposed method not only strengthens the characteristics of EM such that the number of iteration is reduced in great amount but also removes the possibility of falling into local convergence.

본 논문은 시스템 공학의 인식에 관련된 여러 분야에서 널리 쓰이는 클러스터링 기법인 Expectation-Maximization의 초기값 설정문제에 관하여 새로운 방법을 제안한다. 기존의 임의로 지정하는 랜덤한 초기치 선정 문제점을 지적하고, 새로이 제안하는 균등 영역 분할과 분할 된 데이터의 통계적 특성을 이용한 초기치 설정 방법을 사용한 새로운 EM 알고리즘을 제안한다. 일반적으로 EM에서 초기값 설정 방법으로 랜덤한 설정 방식의 약점을 보완하기 위하여 K-means 방법을 많이 사용하고 있다. 하지만, K-means 초기치 설정 방법도 근본적인 문제는 해결하지 못하고 있다. 이러한 문제의 하나의 해결 방안으로 논문이 제안한 균등 분할 및 통계적 특성을 이용한 초기치 선정의 방법을 EM 알고리즘에 적용하였다. 제안된 방법은 기존보다 EM 알고리즘의 특성을 극대화하는 방향으로 더 좋은 결과를 가져온다. 본 논문에서 제안된 알고리즘의 우수성을 제안한 초기치 선정 방법을 적용한 EM과 기존 EM의 시뮬레이션 결과를 비교 분석하여 그 우수성을 제시하였다.

Keywords

References

  1. Wong Ching-Chang and Chen Chia-Chong, "K-means-based fuzzy classifier design," IEEE Fuzzy Systems International Conference, vol. 1, pp. 48-52, May 2000
  2. K. K. Paliwal and V. Ramasubramainan, "Modified K-means algorithm for vector quantizer design," IEEE Image Processing Trans, vol. 9 pp. 1964-1967, Nov 2000 https://doi.org/10.1109/83.877216
  3. A. P. Dempster, N.M. Laird, and D.B. Rubin, "Maximum likelihood from incomplete data via the EM algorithm," J. Royal Statisticla Soc., Set. B, vol. 39, no. 1, pp.1-38, 1977.
  4. For an extensive list of references to papers describing applications of the EM-algorithm, see, http://www. engineering/usu. edu/Departments/ece/Publications/Moon
  5. R. Redner and H. F. Walker, "Mixture densities, maximum-likelihood estimation and the EM algorithm (review)," SIAM Rev., vol. 26, no. 2, pp. 195-237, 1984. https://doi.org/10.1137/1026034
  6. S. Zabin and H. Poor, "Efficient estimation of class- A noise parameters via the EM algorithm," IEEE Trans. Info T., vol. 37, no. 1, pp. 60-72, 1991. https://doi.org/10.1109/18.61127
  7. H. Chen, R. Perry, and K. Buckley, "Direct and EM-based map sequence estimation with unknown time-varying channels," Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, vol. 4, pp. 2129-2132, 2001.
  8. R. A. Boyles, "On the convergence of the EM algorithm," J. Roy. Sta B., vol. 45, no. 1, pp. 47-50, 1983.
  9. C. Wu, "On the convergence properties of the EM algorithm," Ann. Statist., vol. 11. 1, pp. 95-103, 1983. https://doi.org/10.1214/aos/1176346060
  10. R. J. Kozick, B. M. Sadler, "Maximum-likelihood array processing in non -Gaussian noise with Gaussian mixtures," IEEE Trans. on Signal Processing, vol. 48, No. 12, pp. 3520-3535, 2000.. https://doi.org/10.1109/78.887045
  11. H. Takagi and M. Sugeno, "Fuzzy Identification of Systems and Its Application to Modeling and Control," IEEE Trans. on Sys. Man and Cybern., Vol. 15, pp. 116-132, 1985.
  12. J. H. Holland, "Genetic Algorithms in Search, Optimization and Machine Learning," Addison-Wesley, Reading, MA, 1989.

Cited by

  1. Incremental EM algorithm with multiresolution kd-trees and cluster validation and its application to image segmentation vol.25, pp.6, 2015, https://doi.org/10.5391/JKIIS.2015.25.6.523