다층신경망에서 하이브리드 학습 규칙의 구현에 관한 연구

A Study on the Implementation of Hybrid Learning Rule for Neural Network

본 논문에서는 다층구조 순방향 신경회로망에 적용될 수 있는 것으로 입력의 특징 추출기능(Feature Extractor)이 우수한 Hebb 학습 규칙과 패턴 분류 기능(Classifier)이 우수한 BP 알고리듬을 결합한 Hybrid학습 규칙을 제안하고자 한다. 오차역전파 학습법칙을 적용한 다층구조퍼셉트론(MLP)과는 달리, 다층구조에 오차역전파 학습법칙과 Hebb학습법칙이 동시에 적용될 수 있는 Hybrid(Hebbian+BP)학습법칙은 학습시에 출력층의 연결강도를 제외한 모든 연결강도 계산에 적용되며 출력층에는 기존의 오차역전파법칙만이 적용된다. 출력층에 Hebb 학습법칙을 제외시킨것은 다층구조학습시에 학습의 수렴성에 대한 보장이 주어져 있지 않기 때문이다. 제안된 Hybrid 학습법칙의 성능평가를 위해 몇가지의 영역구분 문제에 적용한 결과 제안된 학습법이 기존의 BP보다 우수함을 보였다. 학습속도면에서는 기존의 BP법칙에 비해 훨씬 빠른 수렴속도를 보여 주었는데, 그중 한가지 예를 보면 제안된 Hybrid법칙에 의한 학습은 기존의 BP의 학습회수의 2/10만으로도 가능함을 보여주었다. 인식률에서도 제안된 법칙에 의한 결과가 BP에 의한 결과보다 최고 약 $0.77\%$ 우수하다.

In this paper we propose a new Hybrid learning rule applied to multilayer feedforward neural networks, which is constructed by combining Hebbian learning rule that is a good feature extractor and Back-Propagation(BP) learning rule that is an excellent classifier. Unlike the BP rule used in multi-layer perceptron(MLP), the proposed Hybrid learning rule is used for uptate of all connection weights except for output connection weigths becase the Hebbian learning in output layer does not guarantee learning convergence. To evaluate the performance, the proposed hybrid rule is applied to classifier problems in two dimensional space and shows better performance than the one applied only by the BP rule. In terms of learning speed the proposed rule converges faster than the conventional BP. For example, the learning of the proposed Hybrid can be done in 2/10 of the iterations that are required for BP, while the recognition rate of the proposed Hybrid is improved by about $0.778\%$ at the peak.