Elimination of Redundant Input Information and Parameters during Neural Network Training

신경망 학습 과정중 불필요한 입력 정보 및 파라미터들의 제거

Extraction and selection of the informative features play a central role in pattern recognition. This paper describes a modified back-propagation algorithm that performs selection of the informative features and trains a neural network simultaneously. The algorithm is mainly composed of three repetitive steps : training, connection pruning, and input unit elimination. Afer initial training, the connections that have small magnitude are first pruned. Any unit that has a small number of connections to the hidden units is deleted,which is equivalent to excluding the feature corresponding to that unit.If the error increases,the network is retraned,again followed by connection pruning and input unit elimination.As a result,the algorithm selects the most im-portant features in the measurement space without a transformation to another space.Also,the selected features are the most-informative ones for the classification,because feature selection is tightly coupled with the classifi-cation performance.This algorithm helps avoid measurement of redundant or less informative features,which may be expensive.Furthermore,the final network does not include redundant parameters,i.e.,weights and biases,that may cause degradation of classification performance.In applications,the algorithm preserves the most informative features and significantly reduces the dimension of the feature vectors whiout performance degradation.

형태 인식에서 유익한 특징정보의 선정 및 추출이 대단히 중요한 역할을 한다. 본 논문은 유익한 특징정보의 선정과 신경망의 학습을 동시에 수행할 수 있는 알고리 즘을 기술한다. 알고리즘은 근본적으로 반복적으로 수행되는 세 단계로 구성되어 있는데, 이들은 학습, 연결자 제거, 그리고 입력 신경세포 제거이다. 초기 학습을 실행한후, 먼저 적은 절대값을 갖는 연결자들이 제거 된다. 그런 후, 내부 계층 신경 세포들과 은 숫자의 결자들을 갖는 입력 신경세포들이 제거된다. 이 과정은 제거된 입력 신경세포들에 상응하는 특징정보들을 제외시키는 것과 동일하다. 만약, 에러값이 증가 하면, 연결자 제거 및 입력 신경세포 제거 과정의 반복으로 구성된 신경망의 재학습을 실행한다. 그 결과, 알고리즘은 다른 공간계로의 변환없이 특징정보 추출 공간내에서 중요한 특징들을 선정하게 된다. 또한, 즉징정보 선정인 형태 분류 관점에서의 성능과 긴밀하게 연결되어 수행되므로, 선정 된 특징정보들은 형태 분류에 가장 좋은 정보를 제공한다. 이 알고리즘은 불필요 또는 그다지 중요하지 않은 정보의 추출로 인한 경제 적 손실을 피할수 있게 한다. 더구나, 마지막에 얻어진 신경망은 인식 성능에 저해 요인이 될 수있는 불필요한 파라미터들, 즉 가중 연결자 및 바이어스를 포함하지 않는다. 응용결과,, 본 알고리즘은 가장 좋은 정보를 갖는 특징들만을 남기며, 성능 저하를 일으 키지 않으면서도 특징 벡터의 차원을 현저하게 줄였다.