Character Identification on Multiparty Dialogues using Multimodal Features

멀티모달 자질을 활용한 다중 화자 대화 속 인물 식별

  • 한기종 (한국과학기술원, 시맨틱웹첨단연구센터) ;
  • 최성호 (서울대학교, 바이오지능 연구실) ;
  • 신기연 (한국과학기술원, 시맨틱웹첨단연구센터) ;
  • 장병탁 (서울대학교, 바이오지능 연구실) ;
  • 최기선 (한국과학기술원, 시맨틱웹첨단연구센터)
  • Published : 2018.10.12

Abstract

다중 화자 대화 속 인물 식별이란 여러 등장인물이 나오는 대본에서 '그녀', '아버지' 등 인물을 지칭하는 명사 또는 명사구가 실제 어떤 인물을 나타내는지 파악하는 문제이다. 대본 자연어 데이터만을 입력으로 하는 대화 속 인물 식별 문제는 드라마 대본에 대해서 데이터가 구축 되었고 이를 기반으로 여러 연구가 진행되었다. 그러나, 사람도 다중 화자 대화의 문장만 보고는 인물을 지칭하는 명사 또는 명사구가 실제 어떤 인물인지 파악하기 어려운 경우가 있다. 이에 본 논문에서는 발화가 되는 시점의 영상 장면 정보를 추가적으로 활용하여 인물 식별의 성능을 높이는 방법을 제시한다. 또한 기존 대화 속 인물 식별 연구들은 미리 정의된 인물을 대상으로 분류하는 형태로 접근해왔다. 이는 학습에 사용되지 않았던 인물이 나오는 임의의 다른 드라마 대본이나 대화 등에 바로 적용될 수 없다. 이에 본 논문에서는 영상 정보는 활용하되, 한번 학습하면 임의의 대본에 적용될 수 있도록 사전 인물 정보를 사용하지 않는 상호참조해결 기반의 인물 식별 방법도 제시한다.

Acknowledgement

Grant : 비디오 이해를 위한 이벤트-상황 지식체계 학습 및 이벤트인식/관계추론 기술 개발

Supported by : 정보통신기술진흥센터