Design & Implementation of Lipreading System using the Articulatory Controls Analysis of the Korean 5 Vowels

<<한국어 5모음의 조음적 제어 분석을 이용한 자동 독화에 관한 연구>>

In this paper, we set 6 interesting points around lips. Analyzed and characterized is the distance change of these 6 interesting points when people pronounces 5 vowels of Korean language. 450 data are gathered and analyzed. Based on this analysis, the system is constructed and the recognition experiments are performed. In this system, we used the camera connected to computer to measure the distance vector between 6 interesting points. In the experiment, 80 normal persons were sampled. The observational error between samples was corrected using normalization method. We analyzed with 30 persons and experimented with 50 persons. We constructed three recognition systems and of those the neural net system gave the best recognition result of 87.44 %.

이 논문에서 우리는 입주위에 6개의 관찰 점을 설정하고, 한국어 중 '아/에/이/오/우' 5 모음을 발음할 때 생기는 관찰 점간의 거리 변화를 계수화 하였다. 약 450개의 자료를 모아 분석하고 이 분석을 바탕으로 시스템을 구축하여 실험하였다. 우리 시스템에서는 컴퓨터에 연결된 카메라를 사용하였으며, 6개의 영역간의 변화를 계수로 하였다. 이 실험에 정상인 80명이 동원되었고, 사람들 사이에 있는 관찰 오차를 정규화를 통하여 수정하였다. 30명으로 분석하였고, 50명으로 인식 실험을 하였다. 3개의 시스템을 구축하였는데 신경망이 가장 좋은 결과를 보였다. 신경망의 인식 결과는 87.44%였다.