• Title, Summary, Keyword: 자연어처리

Search Result 604, Processing Time 0.036 seconds

Korean Dependency Parsing Using Deep Bi-affine Network and Stack Pointer Network (Deep Bi-affine Network와 스택 포인터 네트워크를 이용한 한국어 의존 구문 분석 시스템)

  • Ahn, Hwijeen;Park, Chanmin;Seo, Minyoung;Lee, Jaeha;Son, Jeongyeon;Kim, Juae;Seo, Jeongyeon
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.689-691
    • /
    • 2018
  • 의존 구문 분석은 자연어 이해 영역의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구분 분석의 성능 향상을 위해 Deep Bi-affine Network 와 스택 포인터 네트워크의 앙상블 모델을 제안한다. Bi-affine 모델은 그래프 기반 방식, 스택 포인터 네트워크의 경우 그래프 기반과 전이 기반의 장점을 모두 사용하는 모델로 서로 다른 모델의 앙상블을 통해 성능 향상을 기대할 수 있다. 두 모델 모두 한국어 어절의 특성을 고려한 자질을 사용하였으며 세종 의존 구문 분석 데이터에 대해 UAS 90.60 / LAS 88.26(Deep Bi-affine Network), UAS 92.17 / LAS 90.08(스택 포인터 네트워크) 성능을 얻었다. 두 모델에 대한 앙상블 기법 적용시 추가적인 성능 향상을 얻을 수 있었다.

  • PDF

Design and Implementation of a Multimedia Information Retrieval System based on Internet (인터넷기반 멀티미디어 정보검색시스템 : 옥서'95의 색인 및 검색)

  • Kang, Hyun-Kyu;Jang, Ho-Wook;Jun, Mi-Seon;Park, Se-Young
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.85-92
    • /
    • 1996
  • 본 논문은 인터넷 기반의 멀티미디어 정보 검색 시스템인 옥서 '95의 정보 색인 및 검색에 대한 설계 및 구현에 대하여 논한다. 정보 구축시 키워드의 확장 개념으로서의 키팩트 추출과 모호성 해소 그리고 키팩트, 하이퍼 문서 및 멀티미디어 데이타의 색인을 한다. 또한 검색시 자연언어 질의에 대한 키팩트의 추출, 확장 및 서열처리를 통하여 사용자가 원하는 정보를 검색하게 한다. 검색대상의 문서로서 백과사전, 신문기사, 기술문서를 다루었으며 여러가지 검색 기능을 설계 및 구현하였다. 전문을 대상으로 색인 및 검색을 하였으며 앞으로 전자도서관이나 정보통신 서비스에 활용할 예정이다.

  • PDF

Generating Korean Sentences Using Word2Vec (Word2Vec 모델을 활용한 한국어 문장 생성)

  • Nam, Hyun-Gyu;Lee, Young-Seok
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.209-212
    • /
    • 2017
  • 고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

  • PDF

Utilization of A Data Base for Query Processing of natural language on the Repository of natural language (자연어 저장소에 기반을 둔 자연어 질의처리를 위한 데이터베이스 활용 방안에 관한 연구)

  • Jeon, Danny;LEE, Byeong Rae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.1058-1061
    • /
    • 2012
  • 최근 웹을 기반으로 한 계속적인 기술 발전에 따라 의사결정에 필요한 데이터의 요구는 점점 다양해지고 있으며 다양한 요구를 효과적으로 대응하기 위해 데이터 추출 방법에 대한 연구도 지속적으로 이루어지고 있다. 이에 본 논문에서는 자연어를 통해 사용자가 쉽게 원하는 자료를 추출 할 수 있는 방법론을 연구 하였다. 자연어 처리 기술에 대한 연구는 여러 방면에서 이루어지고 있는데 그 중에서도 본 논문에서는 기존의 자연어 처리 연구를 바탕으로 크게 3가지 형태로 연구 진행 하였다. 사용자가 입력한 정보를 바탕으로 유추하여 자연어를 처리하거나 이후 진행될 검색을 선 예측 하는 방법과 사용자 별로 검색되는 자연어를 통해 연관 관계를 설정하여 사용자에게 예측검색을 유도하는 방법 그리고 의사 결정을 위해 구축된 데이터베이스 스키마 정보를 이용하여 사용자가 쉽게 질의 문을 생성할 수 있도록 하는 방법론 연구이다. 본 논문을 통해 연구된 내용은 실제 구축하여 진행 하였고, 연구결과로 생성된 질의 문이 효과적으로 시스템에서 처리 되는 과정에 대한 연구도 함께 진행하고 검증하였다.

  • PDF

Generating Korean Sentences Using Word2Vec (Word2Vec 모델을 활용한 한국어 문장 생성)

  • Nam, Hyun-Gyu;Lee, Young-Seok
    • 한국어정보학회:학술대회논문집
    • /
    • /
    • pp.209-212
    • /
    • 2017
  • 고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

  • PDF

Construction of Korean acronym dictionary by considering ways of making acronym from definition (약어 생성 유형을 고려한 한국어 약어 사전 자동 구축)

  • Yoon, Yeo-Chan;Song, Young-In;Lee, Joo-Young;Lim, Hae-Chang
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • /
    • pp.81-85
    • /
    • 2006
  • 본 논문에서는 한국어 고유명사 약어 사전을 자동으로 구축하기 위한 방법론을 제안한다. 본 논문은 원어로부터 약어가 생성되는 방식을 네 가지 유형으로 분류 한 후 각 유형에 따라 가능한 약어의 후보들을 생성하여 원어, 약어 후보 쌍을 수집하고, 수집 된 각 쌍에 대하여 확률적모형에 근거, 실제 사용되는 원어, 약어 쌍을 선별하여 사전에 등재함으로써 자동으로 사전을 구축 할 수 있도록 한다.

  • PDF

Analysis of digital artifacts based on natural language processing and machine learning (자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석방안에 대한 연구)

  • Park, Dohyeon;Jang, Seongmin;Jang, Raeseung;Kim, Mintae;Jang, Wonyoung;Lee, Sun-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.388-390
    • /
    • 2019
  • 운영체제는 해당 시스템이 운영되면서 생기는 흔적을 남길 수 있게 설계되었다. 디지털 포렌식에서 아티팩트는 보관증거 또는 데이터의 정보를 확증하는데 사용된다. 디지털 정보는 사용자의 생활방식에 따라 사용자의 습관, 사상, 감정에 영향을 받아 저장될 수 있다. 디지털 증거의 경우, 한 저장매체에 많은 데이터가 함께 저장되어 있을 뿐만 아니라 대형 서버 시스템의 경우에는 수많은 사람들의 정보도 저장되어 특정의 데이터만을 찾아내기가 쉽지 않다. 이러한 문제를 해결하기 위해 자연어 처리와 머신러닝 기술이 활용될 수 있다. 자연어 처리기술은 인간과 컴퓨터 간 인터페이스를 쉽고 편하게 하고, 자연어로 기록되어 있는 아티팩트를 머신러닝을 이용하여 빠른 분석을 가능하게 한다. 본 논문은 자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석 방안을 제안한다. 자연어 처리와 머신러닝을 이용하여 아티팩트에서 사용자의 의도를 파악할 수 있음을 실험을 통하여 확인하였다.

SERI Test Suites '97 : Test Sentences for Korean Syntactic Analyser (SERI Test Suites '97 : 한국어 구문분석기 성능 평가용 문장 모음)

  • Sung, Won-Kyung;Jang, Myung-Gil;Park, Jae-Deuk;Ryu, Pum-Mo;Lee, Hyun-A;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.320-326
    • /
    • 1997
  • 자연어 정보처리 분야의 거듭된 발전은 다양한 언어처리 도구들의 출현을 가져왔다. 그러나 객관적인 성능 평가 기준의 부재로 인해, 개발된 도구들은 임의의 기준에 따라 평가될 수 밖에 없었다. 그 결과 성능 평가 결과는 평가자와 평가자가 제안한 기준에 따라 다를 수 밖에 없었고 따라서 평가 결과 자체 역시 설득력을 갖을 수가 없었다. 이와 같은 문제에 대한 해결책을 찾고자 하는 노력의 일환으로, 본 연구에서는 한국어처리 도구들 중 특히 구문분석기의 체계적이고도 객관적인 성능 평가를 목적으로 제작된 문장들과 관련 주석 정보들로 구성된 SERI Test Suites '97을 소개한다.

  • PDF

A Preprocessor for Practical English-to-Korean Machine Translation (실용적인 영한 기계번역을 위한 전처리기의 설계 및 구현)

  • Yuh, Sang-Hwa;Jung, Han-Min;Chae, Young-Soog;Kim, Tae-Wan;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.313-321
    • /
    • 1996
  • 본 논문에서는 실용적인 기계번역 시스템을 위하여 다양한 입력 형태에서 나타나는 여러 현상을 전처리하는 기법을 설명한다. 전처리기는 문장 분리, Title 및 나열문 인식, HTML Tag의 처리, 하이픈처리, 숫자 표현 처리, 대소문자의 정규화, 고유명사 인식, 복합단위 인식 등을 수행하여 형태소 분석기의 처리 부담을 줄인다.

  • PDF