DOI QR코드

DOI QR Code

Independent Component Analysis Based on Neural Networks Using Hybrid Fixed-Point Algorithm

조합형 고정점 알고리즘에 의한 신경망 기반 독립성분분석

  • 조용현 (대구가톨릭대학교 컴퓨터정보통신공학부)
  • Published : 2002.10.01

Abstract

This paper proposes an efficient hybrid fixed-point (FP) algorithm for improving performances of the independent component analysis (ICA) based on neural networks. The proposed algorithm is the FP algorithm based on secant method and momentum for ICA. Secant method is applied to improve the separation performance by simplifying the computation process for estimating the root of objective function, which is to minimize the mutual informations of the independent components. The momentum is applied for high-speed convergence by restraining the oscillation if the process of converging to the optimal solution. It can simultaneously achieve a superior properties of the secant method and the momentum. The proposed algorithm has been applied to the composite fingerprints and the images generated by random mixing matrix in the 8 fingerprints of $256\times{256}$-pixel and the 10 images of $512\times{512}$-pixel, respectively. The simulation results show that the proposed algorithm has better performances of the separation speed and rate than those using the FP algorithm based on Newton and secant method. Especially, the secant FP algorithm can be solved the separating performances depending on initial points settings and the nonrealistic learning time for separating the large size images by using the Newton FP algorithm.

본 연구에서는 신경망 기반 독립성분분석의 분리성능을 개선하기 위해 할선법과 모멘트의 조합형 고정점 알고리즘을 제안하였다. 할선법은 독립성분 상호간의 정보를 최소화하는 목적함수의 근을 근사적으로 구함으로써 계산과정을 단순화하여 좀 더 개선된 분리성능을 얻기 위함이고, 모멘트는 계산과정에서 발생하는 발진을 억제하여 보다 빠른 분리속도를 얻기 위함이다. 이렇게 하면 할선법이 가지는 근사성에 따른 우수성과 과거의 속성을 반영하여 발진을 억제하는 모멘트의 우수성을 동시에 살릴 수 있다. 제안된 알고리즘을 $256\times{256}$ 픽셀의 8개 지문과 $512\times{512}$ 픽셀의 10개 영상으로부터 임의의 혼합행렬에 따라 생성된 복합지문과 복합영상을 각각 대상으로 시뮬레이션 한 결과, 뉴우턴법에 기초한 기존의 알고리즘과 할선법만에 기초한 알고리즘보다 각각 우수한 분리률과 빠른 분리속도가 있음을 확인하였다. 또한 할선법의 이용은 뉴우턴법을 이용한 고정점 알고리즘보다 초기값에도 덜 의존하며, 문제의 규모가 커짐에 따른 비현실적인 분리시간도 해결할 수 있음을 확인하였다.

Keywords

References

  1. K. I. Diamantaras and S. Y. Kung, 'Principal Component Neural Networks : Theory and Applications, Adaptive and learning Systems for Signal Processing, Communications, and Control' John Wiley & Sons, Inc., 1996
  2. S. Haykin, 'Neural Networks : A Comprehensive Foundation,' Prentice-Hall, 2ed, London, 1999
  3. 조용현, 윤중환, 박용수, '조합형 학습알고리즘의 신경망을 이용한 데이터의 효율적인 특징추출', 정보처리학화논문지 B, 제8-B권 제2호, pp.130-136, 2001
  4. J. Karhunen and J. Joutsensalo, 'Generation of Principal Component Analysis, Optimization Problems, and Neural Networks,' Neural Networks, Vol.8, No.4, pp.549-562,1995 https://doi.org/10.1016/0893-6080(94)00098-7
  5. P. Comon, 'Independent Component Analysis-A New Concept?,' Signal Processing, Vol.36, No.3, pp.287-314, Apr., 1994 https://doi.org/10.1016/0165-1684(94)90029-9
  6. A. Hyvaerinen and E. Oja, 'A Fast Fixed Point Algorithms for Independent Component Analysis,' Neural Computation, 9(7), pp.1483-1492, Oct., 1997 https://doi.org/10.1162/neco.1997.9.7.1483
  7. J. Karhunen, 'Neural Approaches to Independent Component Analysis and Source Separation,' 4th European Symp., Artificial Neural Network, ESANN96, Burges, Belgium, pp.249-266, Apr., 1996
  8. A. Hyvarian, J. Karhunen, and E. Oja, 'Independent Component Analysis,' John Wiley & Sons, Inc., New York, 2001
  9. T. W. Lee, Independent Component Analysis : Theory and Applications, Kluwer Academic Pub., Boston, 1998
  10. S. Roberts and R. Everson, 'Independent Component Analysis : Principles and Practice,' Cambridge Univ. 2001
  11. K. Atkinson, 'Elementary Numerical Analysis,' John Wiley & Sons, Inc., New York, 1993