Abstract
Neural networks we increasingly being seen as an addition to the statistics toolkit which should be considered alongside both classical and modern statistical methods. Neural networks are usually useful for classification and function estimation. In this paper we concentrate on function estimation using neural networks with weight decay factor The use of weight decay seems both to help the optimization process and to avoid overfitting. In this type of neural networks, the problem to decide the number of hidden nodes, weight decay parameter and iteration number of learning is very important. It is called the optimization of weight decay neural networks. In this paper we propose a automatic optimization based on genetic algorithms. Moreover, we compare the weight decay neural network automatically learned according to automatic optimization with ordinary neural network, projection pursuit regression and support vector machines.
신경망은 점차 분류 및 함수추정을 위한 현대 통계적 방법론으로 부각되고 있다. 신경망은 특히 선형 회귀함수를 일반화시키는 유연한(flexible) 방법을 제공하며 일반적 비선형 함수를 모수화하는 방법으로 간주된다. 본 논문에서는 함수추정을 위한 신경망을 생각한다. 신경망이 훈련자료를 과대적합하는 것을 피할 수 있도록 하는 간단한 방법은 정칙화(regularization)이다. 신경망에서는 정칙화를 위해 주로 가중치 감소법(weight decay method)을 사용한다. 함수추정을 위해 가중치감소 신경망을 사용할 때 은닉노드수, 가중치모수, 학습률 및 학습반복회수가 중요한 모수이다. 본 논문에서는 유전자 알고리즘을 사용하여 가중치감소 신경망의 중요한 모수들을 자동으로 최적화하는 방법을 제안하고 결과적으로 가중치감소 신경망을 자동학습하는 방법을 설명한다. 그리고 다른 함수추정방법들과 자동학습된 가중치감소 신경망을 비교분석한다.