• 제목/요약/키워드: sentence similarity measurement method

검색결과 4건 처리시간 0.019초

집합 기반 POI 검색을 이용한 문장 유사도 측정 기법 (Sentence Similarity Measurement Method Using a Set-based POI Data Search)

  • 고은별;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권12호
    • /
    • pp.711-716
    • /
    • 2014
  • 최근 논문 표절 논란과 지능형 텍스트 검색서비스에 대한 관심이 증가하면서 문장 유사도 측정의 필요성이 증가하고 있다. n-gram, 편집거리, LSA 등 기존의 다양한 방향으로 선행 연구가 있었지만 각 기법마다 장단점이 존재한다. 본 논문에서는 집합 기반 POI 검색 기법을 이용한 새로운 방향의 문장 유사도 측정 기법을 제안한다. 집합 기반 POI 검색 기법은 하드매칭에 비해 단어의 도치, 누락, 삽입, 변경에 현저한 성능 향상을 보인다. 이 기법을 이용하면 보다 정확하고 빠른 문장 유사도 측정이 가능하다. 제안하는 기법은 기존 집합 기반 POI 검색 기법의 데이터 로딩 알고리즘과 텍스트 검색 알고리즘을 변형하고 어절 연산 알고리즘을 추가하여 두 문장의 유사도를 백분율로 표현한다. 실험을 통해 본 논문에서 제시하는 기법이 정확도와 속도에서 n-gram과 기존 집합 기반 POI 검색 기법에 비해 우수함을 확인하였다.

문장 및 어절 유사도를 이용한 표절 탐지 시스템 구현 (Implementation of A Plagiarism Detecting System with Sentence and Syntactic Word Similarities)

  • 맹주수;박지수;손진곤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.109-114
    • /
    • 2019
  • 기존 표절 탐지 시스템은 형태소 분석을 기반으로 공통 단어의 빈도수를 이용해 문서의 유사도를 측정한다. 그러나 주제가 같아 유사 단어가 많이 쓰인 경우, 문장 단위로 일부만 발췌 표절한 경우, 그리고 조사와 어미의 유사성이 있는 경우는 공통 단어의 빈도수만으로는 정확한 유사도를 측정하는데 한계가 있다. 따라서 본 논문에서는 공통 단어 빈도수 기반의 유사도 측정 외에 문장 유사도와 어절 유사도를 추가적으로 측정해 유사도의 정확성을 높일 수 있는 표절 탐지 시스템을 설계하고 구현하였다. 실험 결과, 문장 유사도를 측정함으로써 문장 단위로 표절이 이루어진 경우를 발견할 수 있었고, 어절 유사도를 추가로 측정함으로써 부분표절이 일어난 경우라도 조사나 어미까지 그대로 사용한 표절의 경우 등을 발견할 수 있었다.

문장유사도 측정 기법을 통한 스팸 필터링 시스템 구현 (Implementation of a Spam Message Filtering System using Sentence Similarity Measurements)

  • 우수빈;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권1호
    • /
    • pp.57-64
    • /
    • 2017
  • 문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

『황제내경소문(黃帝內經素問)·칠편대론(七篇大論)』 왕빙 주본(注本)을 통(通)한 운기학설(運氣學說) 관(關)한 연구(硏究)

  • 김기욱;박현국
    • 동국한의학연구소논문집
    • /
    • 제4권
    • /
    • pp.109-140
    • /
    • 1995
  • As we considered in the main subjects, investigations on the theory of 'Doctrine on five elements' motion and six kinds of natural factors(運氣學說)' through 'Wang Bing's Commentary(王氷 注本)' of 'The seven great chapters in The Yellow Emperor's Internal Classic Su Wen' ("黃帝內經素問 七篇大論") are as follows. (1) In The seven great chapters("七篇大論")' Wang Bing supplement theory and in the academic aspects as a interpreter, judging from 'forget(亡)' character. expressed in the 'The missing chapters("素問遺篇")', 'Bonbyung-ron("本病論")' and 'Jabeob-ron(刺法論)', 'The seven great chapters("七篇大論")' must be supplementary work by Wang Bing. Besides, he quoted such forty books as medical books, taoist books, confucianist books, miscellaneous books, etc in the commentary and the contents quoted in the 'Su Wen(素問)' and 'Ling Shu("靈樞")' scripture nearly occupy in the book. As a method of interpreting scripiure as scripture, he edited the order of 'Internal Classic("內經")' ascended from the ancient time and when he compensated for commentary, with exhaustive scholarly mind and by observing the natural phenomena practically and writing the pathology and the methods of treatment. We knew that the book is combined with the study of 'Doctrine on five elements motion and six kinds of natural factors(運氣學說)' (2) When we compare, analyze the similar phrase of 'The seven great chapters in The Yellow Emperor's Internal Classic Su Wen'("黃帝內經素問ㆍ七篇大論") through 'Wang Bing's Commentary(王氷 注本)', he tells abouts organized 'five elements(五行)' and 'heaven's regularly movement(天道運行)' rather than 'Emyangengsangdae-ron("陰陽應象大論")' in 'The seven great chapters("七篇大論")'. Also the 'Ohanunhangdae-ron("五運行大論")' because the repeated sentences with 'Emyangengsangdae-ron("陰陽應象大論")' is long they are omitted. And in the 'Youkmijidae-ron("六微旨大論")', 'Cheonjin ideology(天眞四象)' based on the 'Sanggocheonjin- ron("上古天眞論")', 'Sagijosindae-ron("四氣調神大論")' is written and in the 'Gigoupyondae-ron("氣交變大論")', the syndrome and symptom are explained in detail rather than 'Janggibeobsi-ron("藏氣法時論")', 'Okgijinjang-ron ("玉機眞藏論")' and in the 'Osangieongdae-ron("五常政大論")', the concept of 'five element(五行)' of the 'Gemgwejineon-ron("金櫃眞言論")' is expanded to 'the five elements' motion concept(五運槪念)' and in the 'Youkwonjeonggidae-ron("六元正紀大論")', explanations of 'The five elements' motion and six kinds of natural factors(運氣)' function are mentioned mainly and instead systematic pathology is not revealed rather than 'Emyangengsangdae-ron("陰陽應象大論")'. And in the 'Jijinyodae-ron("至眞要大論")', explanations of the change of atmosphere which correspond to treatment principle by 'The three Yin and Yang(三陰三陽)' as a progressed concepts are revealed. Therefore there are much similarity between the phrase of 'Emyangengsangdae-ron("陰陽應象大論")' and 'chapters of addition(補缺之篇)'. Generally, the doctrine which 'The seven great chapters("七篇大論")' are added by Wang Bing(王氷) is supported because there are more profound concepts rather than the other chapter in 'The seven great chapters("七篇大論")'. (3) When we study Wang Bing's(王氷) 'Pattern on five elements motion and six kinds of natural factors(運氣格局)' in 'The seven great chapter("七篇大論")', in the 'Cheonwongi-dae-ron("天元紀大論")', With 'Cheonjin ideology(天眞思想)' and the concepts of 'Owang(旺)'${\cdot}$'Sang(相)'${\cdot}$'Sa(死)'${\cdot}$'Su(囚)'${\cdot}$'Hu(休)' and 'Cheonbu(天符)'${\cdot}$'Sehwoi(歲會)' are measured time-spacially to the concept of 'Three Sum(三合)' the concept of 'Taeulcheonbu(太乙天符)' is explained. In the 'Ounhangdae-ron("五運行大論")', 'The calender Signs five Sum(天干五合)' is compared to the concepts of 'couples(夫婦)', 'weak-strong(柔强)' and in the 'Youkmijidae-ron("六微旨大論")', 'the relationship of obedience and disobedience(順逆關係)' which conform to the 'energy status(氣位)' change and 'monarch-minister(君相)' position is mentioned. In the 'Gikyobyeondae-ron("氣交變大論")', the concept of 'Sang-duk(相得)', 'Pyungsang(平常)' is emphasized but concrete measurement is mentioned. In the 'Osangieongdae-ron("五常政大論")', the detailed explanation with twenty three 'systemic of the five elements' motion(五運體系)' form and 'rountine-contrary treatment(正治. 反治)' with 'chill-fever-warm-cold(寒${\cdot}$${\cdot}$${\cdot}$凉)' are mentioned according to the 'analyse and differentiate pathological conditions in accordance with the eight principal syndromes(八綱辨證)'. In the 'Youkwonjeonggidae-ron("六元正紀大論")', Wang Bing of doesn't mention the concepts of 'Jungwun(中運)' that is seen in the original classic. In the new corrective edition, as the concepts of 'Jungwun, Dongcheonbu, Dongsehae and Taeulcheonbu(中運, 同天符, 同歲會, 太乙天符)' is appeared, Wang Bing seems to only use the concepts of 'Daewun, Juwun, and Gaekwun(大運, 主運, 客運)'. In the 'Jijinyodaeron("至眞要大論")', Wang Bing added detailed commentary to pathology and treatment doctrine by explaining the numerous appearances of 'Sebo, sufficiency, deficiency(歲步, 有餘, 不足)' and in the relation of 'victory-defeat(勝復)', he argued clearly that it is not mechanical estimation. (4) When we observe the Wang Bing's originality on the study of 'the theory of Doctrine on five elements' motion and six kinds of natural factors(運氣學說)', he emphasized 'The idea of Jeongindogi and Health preserving(全眞導氣${\cdot}$養生思想)' by adding 'Wang Bing's Commentary(王氷 注本)' of 'The seven great chapters("七篇大論")' and explained clearly 'The theory of Doctrine on five elements' motion and six kinds of natural factors(運氣學說)' and simpled and expanded the meaning of 'man, as a microcosm, is connected with the macrocosm(天人相應)' and with 'Atmosphere theory(大氣論)' also explained the meaning of 'rising and falling mechanism(升降氣機)'. In the sentence of 'By examining the pathology, take care of your health(審察病機 無失氣宜)'. he explained the meaning of pathology of 'heart-kidney-water-fire(心腎水火)' and suggested the doctrine and management of prescription. In the estimation and treatment, by suggesting 'asthenia and sthenia(虛實)' two method's estimation, 'contrary treatment(反治)' and treatment principals of 'falling heart fire tonifyng kidney water(降心火益腎水)', 'two class of chill and fever(寒熱二綱)' were demonstrated. There are 'inside and outside in the illness and so inner and outer in the treatment(病有中外 治有表囊)'. This sentence suggests concertedly. 'two class of superfies and interior(表囊二綱)' conforming to the position of disease. Therefore Wang Bing as an excellent theorist and introduced 'Cheoniin ideology(天眞思想)' as a clinician and realized the medical science. With these accomplishes mainly written in 'The theory of Doctrine on five elements' motion and six kinds of natural factors(運氣學說)' of 'The seven great chapters("七篇大論")', he interpreted the ancient medical scriptures and expanded the meaning of scriptures and conclusively contributed to the development of the study 'Korean Oriental Medicine(韓醫學)'.

  • PDF