The design of Multi-modal system for the realization of DARC system controller

DARC 시스템 제어기 구현을 위한 멀티모달 시스템 설계

  • 최광국 (동신대학교 정보통신공학과) ;
  • 곽상훈 (동신대학교 정보통신공학과) ;
  • 하얀돌이 (동신대학교 정보통신공학과) ;
  • 김유진 (동신대학교 정보통신공학과) ;
  • 김철 (동신대학교 정보통신공학과) ;
  • 최승호 (동신대학교 정보통신공학과)
  • Published : 2000.09.01

Abstract

본 논문은 DARC 시스템 제어기를 구현하기 위해 음성인식기와 입술인식기를 결합하여 멀티모달 시스템을 설계하였다. DARC 시스템에서 사용하고 있는 22개 단어를 DB로 구축하고, HMM을 적용하여 인식기를 설계하였다. 두 모달간 인식 확률 결합방법은 음성인식기가 입술인식기에 비해 높은 인식률을 가지고 있다는 가정 하에 8:2 비율의 가중치로 결합하였고, 결합시점은 인식 후 확률을 결합하는 방법을 적용하였다. 시스템간 인터페이스에서는 인터넷 프로토콜인 TCP/IP의 소켓을 통신모듈로 설계/구현하고, 인식실험은 테스트 DB를 이용한 방법과 5명의 화자가 실시간 실험을 통해 그 성능 평가를 하였다.

Keywords