DOI QR코드

DOI QR Code

The Capacity of Multi-Valued Single Layer CoreNet(Neural Network) and Precalculation of its Weight Values

단층 코어넷 다단입력 인공신경망회로의 처리용량과 사전 무게값 계산에 관한 연구

  • Park, Jong-Joon (Computer Science, College of Natural Science & Engineering, Seokyeong University)
  • 박종준 (서경대학교 이공대학 컴퓨터과학과)
  • Received : 2011.12.05
  • Accepted : 2011.12.26
  • Published : 2011.12.30

Abstract

One of the unsolved problems in Artificial Neural Networks is related to the capacity of a neural network. This paper presents a CoreNet which has a multi-leveled input and a multi-leveled output as a 2-layered artificial neural network. I have suggested an equation for calculating the capacity of the CoreNet, which has a p-leveled input and a q-leveled output, as $a_{p,q}=\frac{1}{2}p(p-1)q^2-\frac{1}{2}(p-2)(3p-1)q+(p-1)(p-2)$. With an odd value of p and an even value of q, (p-1)(p-2)(q-2)/2 needs to be subtracted further from the above equation. The simulation model 1(3)-1(6) has 3 levels of an input and 6 levels of an output with no hidden layer. The simulation result of this model gives, out of 216 possible functions, 80 convergences for the number of implementable function using the cot(x) input leveling method. I have also shown that, from the simulation result, the two diverged functions become implementable by precalculating the weight values. The simulation result and the precalculation of the weight values give the same result as the above equation in the total number of implementable functions.

인공신경망회로에서 아직도 안 풀리는 문제 중 하나는 회로의 처리용량에 관한 것이다. 본 논문은 인공신경망회로의 가장 기본이 되는 하나의 입력과 하나의 출력을 갖은 단층 다단 코어넷을 제안하고 그 처리 용량에 관한 수식을 유도하였다. 제안된 코어넷의 처리 용량으로 p단 입력과 q단 출력을 갖는 코어넷의 처리용량(구현 가능한 함수의 수)은 $a_{p,q}=\frac{1}{2}p(p-1)q^2-\frac{1}{2}(p-2)(3p-1)q+(p-1)(p-2)$ 이며, 입력단 p 값이 짝수이고, 출력단 q가 홀수값이면 추가로 (p-1)(p-2)(q-2)/2 만큼 감해진다. 입력 값으로 3단(level), 출력 값으로 6단을 갖는 1(3)-1(6) 모델을 시뮬레이션하여 분석한 결과, 총 216가지의 함수 조합에서 입력 레벨링 방법으로 cot(x)를 이용하여 82가지의 함수가 구현가능 함을 보였다. 이 모델의 시뮬레이션 결과 80개의 함수가 수렴(구현 가능)하였고, 나머지 수렴되지 않은 함수 중에서 2개의 함수는 무게값 공간에서 무게값 좌표를 미리 계산하여 구현 가능함으로 나와, 총 82개의 구현 가능한 함수가 있음을 보였으며, 이는 위 코어넷 처리용량에 의한 계산 값과 일치하였다.

Keywords

References

  1. Bishop, C.M. "Neural Networks for Pattern Recognition", Oxford: Oxford University Press, pp.121-126, 1995.
  2. Ripley, B.D. "Pattern Recognition and Neural Networks", Cambridge:Cambridge University Press, pp.173-180, 1996.
  3. Igor Aizenberg, Shane Alexander, and Jacob Jackson "Recognition of Blurred Images Using Multilayer Neural Network Based on Multi-valued Neurons", 2011 41st IEEE International Symposium on Multiple-Valued Logic. 2011
  4. Igor Aizenberg, Claudio Moraga, and Dmitry Paliy, "A Feedforward Neural Network based on Multi-Valued Neurons", Computational Intelligence, Theory and Applications. Advances in Soft Computing, XIV, Springer, 2005
  5. Igor Aizenberg and Claudio Moraga, "Multilayer feedforward neural network based on multi-valued neurons(MLMVN) and a backpropagation learning algorithm", Soft Comput 11, pp.160-183, 2007
  6. 박종준, "코어넷(3단 2층 신경망회로)의 구현 가능 함수에 관한 연구", 서경대학교 산업기술연구소 논문집, 25, pp.1-11, 2010
  7. Park, Jong Joon, Kandel, Abraham, Langholz, G. and L. Hawkes, "Neural Network Processing of Linguistic Symbols, Fuzzy Sets, Neural Networks, and Soft Computing", Ed. by R.R. Yager and L.A.Zadeh, Van Nostrand Reinhold, pp.265-284, 1994.
  8. Park, Jong Joon, "The Capacity of CoreNet: Multi-Level 2-Layer Neural Networks", 한국정보처리학회 논문지 제6권 제8호, pp.2098-2105, 1999
  9. Harding, E.F., "The number of partitions of a set of N points in k dimensions induced. by hyperplanes", Proceedings of the Edinburgh Mathematical Society, Series II15, 285-289, 1967.7
  10. Takahisa. Toda, On Partitioning Colored Points, http://arxiv.org/abs/1011.3451v1, http://arxiv.org/PS_cache/arxiv/pdf/1011/1011.3451v1.pdf, pp.2, 2010,10
  11. 박종준, "2층 코어넷 다단입력 인공신경망회로에서 입력값 레벨링에 관한 연구", 서경대학교 산업기술연구소 논문집, 26, pp.69-80, 2011.06
  12. Takahiro Haga, "An application of the (p,q)-logic to the synthesis of the p-valued logical networks and the s-(p,q)-logical completeness" Information Sciences 115, pp.165-185, 1999 https://doi.org/10.1016/S0020-0255(98)10075-0
  13. Hirose, Yoshio, Yamashita, Koichi, and Hijiya, Shimpei, "Back-Propagation Algorithm Which Varies the Number of Hidden Units, Neural Networks", Vol.4, pp.61-66, 1991 https://doi.org/10.1016/0893-6080(91)90032-Z