A Self Organization of Wavelet Network Structure by Generation and Extinction of Hidden Nodes

은닉노드의 생성 ${\cdot}$ 소멸에 의한 웨이블릿 신경망 구조의 자기 조직화

Previous wavelet network structures are determined by considering the relationship between wavelet windows distribution of training patterns that are transformed into time-frequency space. Because it is separated two algorithms that determines wavelet network structure and that modifies parameters of network, learning process that minimizes output error of network is executed after the network structure is determined. But this method has some weakness that training patterns must be transformed into time-frequency space by additional preprocessing and the network structure should be fixed during learning process. In this paper, we propose a new constructing method for wavelet network structure by using differences between the output and the desired response without preprocessing. Because the algorithm perform network construction and error minimizing process simultaneously, it can determine the number of hidden nodes adaptively as with the complexity of problems. In addition, the network structure is optimized by inserting new hidden nodes in the area that has maximum error and extracting hidden nodes that has no effect to the output of network. This algorithm has no constraint condition that all training patterns must be known, because it removes preprocessing procedure for training patterns and it can be applied effectively to systems that has time varying outputs.

기존의 웨이블릿 신경망들의 구조는 주로 주파수-시간 공간으로 변환된 훈련 패턴의 분포와 웨이블릿 윈도우와의 관계를 고려하여 결정한다. 또한 신경망 구조 결정 알고리즘과 네트워크 파라메터 학습 알고리즘을 분리하여, 우선 신경망 구조를 결정한 후, 출력 에러를 최소화하기 위한 학습을 수행한다. 그러나 이러한 방법은 학습을 시작하기 전에 훈련 패턴을 변환해야 하는 부가적인 전처리 과정이 필요하고, 초기에 구성된 신경망 구조는 변경되지 않는다는 단점을 가지고 있다. 본 논문에서는 별도의 처리 과정 없이 신경망의 출력과 교사 신호의 차이를 이용하여 웨이블릿 신경망 구조를 결정하는 방법을 제안한다. 제안하는 알고리즘은 네트워크 구조의 결정과 에러 최소화 학습을 동시에 수행하기 때문에 문제의 복잡도에 따라 적응적으로 은닉 노드의 수를 결정한다. 또한 학습에 의해 가장 큰 에러가 발생하는 영역에 은닉 노드를 추가하고 출력에 영향을 미치지 않는 노드를 제거하는 방법을 사용하여 네트워크의 구조를 최적화한다. 본 알고리즘은 훈련 패턴에 대한 전처리 과정을 없앰으로써 학습하기 전에 모든 훈련 패턴을 알고 있어야 한다는 제약 조건을 없애고 시간의 변화에 따라 출력이 바뀌는 시스템에도 효과적인 적용이 가능하다.