DOI QR코드

DOI QR Code

Korean Unknown-noun Recognition using Strings Following Nouns in Words

명사후문자열을 이용한 미등록어 인식

  • 박기탁 (충북대학교 컴퓨터공학과) ;
  • 서영훈 (충북대학교 컴퓨터공학과)
  • Received : 2016.12.23
  • Accepted : 2017.02.06
  • Published : 2017.04.28

Abstract

Unknown nouns which are not in a dictionary make problems not only morphological analysis but also almost all natural language processing area. This paper describes a recognition method for Korean unknown nouns using strings following nouns such as postposition, suffix and postposition, suffix and eomi, etc. We collect and sort words including nouns from documents and divide a word including unknown noun into two parts, candidate noun and string following the noun, by finding same prefix morphemes from more than two unknown words. We use information of strings following nouns extracted from Sejong corpus and decide unknown noun finally. We obtain 99.64% precision and 99.46% recall for unknown nouns occurred more than two forms in news of two portal sites.

Keywords

Unknown-noun Recognition;Noun-following Strings;Korean Processing;Sejong Corpus;Similarity Eojeol Comparison

References

  1. Aastha Gupta, Rachna Rajput, Richa Gupta, and Monika Arora, "Improved POS Tagging for Unknown Words," International Journal of Soft Computing and Engineering (IJSCE), Vol.4, Issue.ICCIN-2K14, pp.2231-2307, 2014(3).
  2. 김형철, 서형원, 김재훈, "접사 정보를 이용한 영어 미등록어의 품사부착 성능개선," 한국마린엔 지니어링학회 공동학술대회 논문집, pp.375-376, 2009.
  3. Giorgos S. Orphanos and Dimitris N. Christodoulalds, "POS Disambiguation and Unknown Word Guessing with Decision Trees," Proceedings of EACL '99, 1999.
  4. 강승식, 음절 정보와 복수어 단위 정보를 이용한 한국어 형태소 분석, 서울대학교 컴퓨터공학과, 박사학위논문, 1993.
  5. 박봉래, 황영숙, 임해창, "유사어절의 TAIL 패턴 분석에 기반한 미등록 명사 추정," 한국정보과학회 봄 학술발표논문집, pp.907-910, 1996.
  6. 양장모, 김민정, 권혁철, "언어정보를 이용한 한국어 미등록어 추정," 한국정보과학회 봄 학술발표 논문집, pp.957-960, 1996.
  7. 박봉래, 황영숙, 임해창, "확장 정의된 유사어절의 분석에 근거한 실시간 미등록어 인식," 한글 및 한국어 정보 처리 학술 발표 논문집, pp.222-228, 1996.
  8. 차정원, 이원일, 이근배, 이종혁, "미등록어 추정을 이용한 TAKTAG의 개선," 제8회 한글 및 한국어 정보처리 학술대회, pp.203-206, 1996.
  9. 박봉래, 황영숙, 임해창, "용례 분석에 기반한 미등록어의 인식," 정보과학회논문지(B), 제25권, 제2호, pp.397-407, 1998.
  10. 김선호, 윤준태, 송만석, "한국어 문서 처리를 위한 동적 생성 로컬 사전 기반 미등록어 분석," 정보과학회논문지 : 소프트웨어 및 응용, 제29권, 제6호, pp.407-416, 2002.
  11. 이도길, 이상주, 임해창, "명사 출현 특성을 이용한 효율적인 한국어 명사 추출 방법," 정보과학회 논문지 : 소프트웨어 및 응용, 제30권, 제2호, pp.173-183, 2003.
  12. 박소영, "웹문서를 이용한 단계별 한국어 미등록어 인식 모델," 한국해양정보통신학회논문지, 제13권, 제9호, pp.1898-1904, 2009.
  13. 박용현, 황재원, 고영중, "한국어 명사 출현 특성과 후절어를 이용한 명사 추출기," 정보과학회논문지: 소프트웨어 및 응용, 제37권, 제12호, pp.919-927, 2010.
  14. 최맹식, 김학수, "기계학습에 기반한 한국어 미등록 형태소 인식 및 품사 태깅," 정보과학회논문지(B), 제18권, 제1호, pp.45-49, 2011.
  15. 김보겸, 이재성, "확률 기반 미등록 단어 분리 및 태깅," 정보과학회논문지, 제43권, 제4호, pp.430-436, 2016.
  16. https://ithub.korean.go.kr/