분산학습알고리듬의 이론적 분석

Theoretical Analysis on the Variance Learning Algorithm

분산은 확률모델을 표현하는 유용한 변수중 하나이다. 입력변수에 대한 함수로 표현되는 조건부 분산을 학습하는 신경회로망에 대한 많은 연구가 있어왔다. VALEAN이라는 신경회로망 역시 이러한 많은 연구중 하나인데 이것은 기본적으로 feedforward 다층 퍼셉트론 구조를 가지며 새롭게 제시된 에너지 함수를 사용하고 있다. 이 논문에서는 이 에너지 모델에 의해 결정되는 피드백에러(델타)가 신경망의 transient, steady state에서 미치는 영향을 다루었다. 과도 상태 분석에서는 델타와 수렴성, 안정성에 관한 내용을 다루고 모의 실험을 하였으며 정상 상태 분석에서는 신경회로망의 정상상태 에러의 크기와 델타의 크기사이의 상관관계에 대하여 다루었다. 학습 알고 리듬이 확률적이므로 정상상태 역시 확률적인 상태를 나타낸다. 따라서 델타의 크기에 따른 정상 상태 에러의 최대치는 확률적인 모델을 가지게 된다. 여기서는 이 확률 관계를 분석적으로 규명하고 이에 따라 원하는 신뢰도로 정상 상태 에러를 제어하기 위해 필요한 델타의 크기를 예측할 수 있는 이론적 배경을 마련하게 된다.