DOI QR코드

DOI QR Code

Real-time Handwriting Recognizer based on Partial Learning Applicable to Embedded Devices

임베디드 디바이스에 적용 가능한 부분학습 기반의 실시간 손글씨 인식기

  • Kim, Young-Joo (Electronics and Telecommunications Research Institute) ;
  • Kim, Taeho (Electronics and Telecommunications Research Institute)
  • Received : 2020.02.20
  • Accepted : 2020.03.13
  • Published : 2020.05.31

Abstract

Deep learning is widely utilized to classify or recognize objects of real-world. An abundance of data is trained on high-performance computers and a trained model is generated, and then the model is loaded in an inferencer. The inferencer is used in various environments, so that it may cause unrecognized objects or low-accuracy objects. To solve this problem, real-world objects are collected and they are trained periodically. However, not only is it difficult to immediately improve the recognition rate, but is not easy to learn an inferencer on embedded devices. We propose a real-time handwriting recognizer based on partial learning on embedded devices. The recognizer provides a training environment which partially learn on embedded devices at every user request, and its trained model is updated in real time. As this can improve intelligence of the recognizer automatically, recognition rate of unrecognized handwriting increases. We experimentally prove that learning and reasoning are possible for 22 numbers and letters on RK3399 devices.

딥러닝 기술은 실세계의 객체를 분류하거나 인식하기 위해서 사용된다. 이를 위해서 준비된 많은 데이터를 고성능 컴퓨터에서 학습한 후에, 그 학습모델을 인식기에 탑재하여 각종 객체들을 인식한다. 이러한 인식기는 다양한 환경에서 사용되면서 인식하지 못하는 객체들이나 인식률이 낮은 객체들이 발생할 수 있다. 이런 문제를 해결하기 위해서 실세계 객체들을 주기적으로 학습하여 인식률을 높인다. 하지만, 즉각적인 인식률 향상이 어려울 뿐만 아니라, 임베디드 디바이스 등에 탑재되어 있는 인식기에서 학습하는 것이 쉽지 않다. 따라서, 본 논문에서는 임베디드 디바이스에 적용 가능한 부분 학습 기반의 실시간 손글씨 인식기를 제안한다. 제안된 인식기는 사용자 요청 시마다 임베디드 디바이스에서 부분 학습을 할 수 있는 환경을 제공하고, 실시간으로 인식기의 학습모델이 갱신된다. 이로 인해서 인식기의 지능이 지속적으로 향상됨으로 최초에 인식하지 못했던 손글씨에 대해 인식이 가능해진다. 이렇게 제안된 인식기는 RK3399 임베디드 디바이스에서 22개의 숫자와 글자에 대해서 학습과 추론이 가능하다는 것을 실험을 통하여 사람 손으로 쓴 은행 계좌명과 계좌번호를 인식할 수 있는 개인화된 지능을 가진 스마트 기기에 활용 가능할 것으로 기대된다.

Keywords

References

  1. B. Zhao, J. Feng, X. Wu, and S. Yan, "A survey on deep learning-based fine-grained object classification and semantic segmentation," International Journal of Automation and Computing, vol. 14, pp. 119-135, Springer, Jan. 2017. https://doi.org/10.1007/s11633-017-1053-3
  2. J. Deng, W. Dong, R. Socher, L. J. Li, K. Li, and F. F. Li, "ImageNet: A large-scale hierarchical image database," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, IEEE, Miami, USA, pp. 248-255, 2009.
  3. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural Computation, vol 1, no. 4, pp. 541-551, IEEE, 1989. https://doi.org/10.1162/neco.1989.1.4.541
  4. S. Park, S. Choi, H. Lee, and J. Kim, "Spatial analysis using R based Deep Learning," Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol.6, no.4, pp. 1-8, Apr. 2016. https://doi.org/10.14257/AJMAHS.2016.04.08
  5. Firefly Team, Weclome to Firefly-RK3399 Manual, 2018.
  6. Hardkernel, ODROID-XU4 USER MANUAL, 2017.
  7. Micro Vision, MV8890-R Solution, Aug. 2016.
  8. Google Developers Tensorflow [Internet]. Available: https://www.tensorflow.org/.
  9. Berkeley AI Research (BAIR) [Internet]. Available: https://caffe.berkeleyvision.org/.
  10. Theano Development Team [Internet]. Available: http://deeplearning.net/software/theano/.
  11. Facebook AI Research [Internet]. Available: https://pytorch.org/.
  12. Preferred Networks, Inc. [Internet]. Available: https://chainer.org/.
  13. Y. Lecun, L. Bottou, and Y. Bengio, "Reading checks with graph transformer networks," In International Conference on Acoustics, Speech, and Signal Processing, vol. 1, pp. 151-154, Munich, IEEE, 1997.
  14. K. Simonyan, and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Visual Recognition," International Conference on Learning Representations, 2015.
  15. K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Dec. 2016.
  16. C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going Deeper with Convolutions," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Jun. 2015.
  17. Berkeley AI Research (BAIR) [Internet]. Available: https://caffe.berkeleyvision.org/model_zoo.html.