Korean Dependency Parsing using Multi-head Attention and Pointer Network

멀티헤드 어텐션과 포인터 네트워크를 이용한 한국어 의존 구문 분석

  • Park, Seongsik (Kangwon National University Computer and Communication Engineering) ;
  • Oh, Shinhyeok (Kangwon National University Computer and Communication Engineering) ;
  • Kim, Hongjin (Kangwon National University Computer and Communication Engineering) ;
  • Kim, Harksoo (Kangwon National University Computer and Communication Engineering)
  • 박성식 (강원대학교 컴퓨터정보통신공학과) ;
  • 오신혁 (강원대학교 컴퓨터정보통신공학과) ;
  • 김홍진 (강원대학교 컴퓨터정보통신공학과) ;
  • 김학수 (강원대학교 컴퓨터정보통신공학과)
  • Published : 2018.10.12

Abstract

구문 분석은 문장을 구성하는 단어들 간의 관계를 알아내 문장의 구조를 분석하는 작업이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어지는데 한국어처럼 어순이 자유로운 언어는 의존 구문 분석이 적합하다. 최근 구문 분석은 심층 신경망을 적용한 방식이 중점적으로 연구되고 있으며, 포인터 네트워크를 사용하는 모델이 가장 좋은 성능을 보였다. 그러나 포인터 네트워크만으로 구문적인 정보를 학습하기에는 한계가 있다. 본 논문에서는 멀티헤드 어텐션을 함께 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

Acknowledgement

Grant : 빅데이터 자동 태깅 및 태그 기반 DaaS 시스템 개발

Supported by : 한국연구재단, 정보통신기술진흥센터