Abstract
The purpose of this study is to propose a new on-line nonlinear PCA(OL-NPCA) method for a nonlinear feature extraction from the incremental data. Kernel PCA(KPCA) is widely used for nonlinear feature extraction, however, it has been pointed out that KPCA has the following problems. First, applying KPCA to N patterns requires storing and finding the eigenvectors of a N${\times}$N kernel matrix, which is infeasible for a large number of data N. Second problem is that in order to update the eigenvectors with an another data, the whole eigenspace should be recomputed. OL-NPCA overcomes these problems by incremental eigenspace update method with a feature mapping function. According to the experimental results, which comes from applying OL-NPCA to a toy and a large data problem, OL-NPCA shows following advantages. First, OL-NPCA is more efficient in memory requirement than KPCA. Second advantage is that OL-NPCA is comparable in performance to KPCA. Furthermore, performance of OL-NPCA can be easily improved by re-learning the data.
본 논문에서는 온라인 학습 자료의 비선형 특징(feature) 추출을 위한 새로운 온라인 비선형 주성분분석(OL-NPCA : On-line Nonlinear Principal Component Analysis) 기법을 제안한다. 비선형 특징 추출을 위한 대표적인 방법으로 커널 주성분방법(Kernel PCA)이 사용되고 있는데 기존의 커널 주성분 분석 방법은 다음과 같은 단점이 있다. 첫째 커널 주성분 분석 방법을 N 개의 학습 자료에 적용할 때 N${\times}$N크기의 커널 행렬의 저장 및 고유벡터를 계산하여야 하는데, N의 크기가 큰 경우에는 수행에 문제가 된다. 두 번째 문제는 새로운 학습 자료의 추가에 의한 고유공간을 새로 계산해야 하는 단점이 있다. OL-NPCA는 이러한 문제점들을 점진적인 고유공간 갱신 기법과 특징 사상 함수에 의해 해결하였다. Toy 데이타와 대용량 데이타에 대한 실험을 통해 OL-NPCA는 다음과 같은 장점을 나타낸다. 첫째 메모리 요구량에 있어 기존의 커널 주성분분석 방법에 비해 상당히 효율적이다. 두 번째 수행 성능에 있어 커널 주성분 분석과 유사한 성능을 나타내었다. 또한 제안된 OL-NPCA 방법은 재학습에 의해 쉽게 성능이 항상 되는 장점을 가지고 있다.
