Journal of Information Technology Services (한국IT서비스학회지)

Korea Society of IT Services (한국IT서비스학회)
권호 표지
DOI QR코드

DOI QR Code

Risk Prediction Model of Legal Contract Based on Korean Machine Reading Comprehension

한국어 기계독해 기반 법률계약서 리스크 예측 모델

  • 이치훈 (티쓰리큐(주) 인공지능연구소) ;
  • 노지우 (티쓰리큐(주) 인공지능연구소) ;
  • 정재훈 ((주)리걸인사이트) ;
  • 주경식 ((주)리걸인사이트) ;
  • 이동희 (국민대학교 경영학부)
  • Received : 2020.11.12
  • Accepted : 2021.02.19
  • Published : 2021.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Commercial transactions, one of the pillars of the capitalist economy, are occurring countless times every day, especially small and medium-sized businesses. However, small and medium-sized enterprises are bound to be the legal underdogs in contracts for commercial transactions and do not receive legal support for contracts for fair and legitimate commercial transactions. When subcontracting contracts are concluded among small and medium-sized enterprises, 58.2% of them do not apply standard contracts and sign contracts that have not undergone legal review. In order to support small and medium-sized enterprises' fair and legitimate contracts, small and medium-sized enterprises can be protected from legal threats if they can reduce the risk of signing contracts by analyzing various risks in the contract and analyzing and informing them of toxic clauses and omitted contracts in advance. We propose a risk prediction model for the machine reading-based legal contract to minimize legal damage to small and medium-sized business owners in the legal blind spots. We have established our own set of legal questions and answers based on the legal data disclosed for the purpose of building a model specialized in legal contracts. Quantitative verification was carried out through indicators such as EM and F1 Score by applying pine tuning and hostile learning to pre-learned machine reading models. The highest F1 score was 87.93, with an EM value of 72.41.

Keywords

References

  1. 국정모니터링지표, "중소기업 일반현황", 2020. Available at http://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=1181 (Accessed December 30. 2020).
  2. 김미영, "리걸테크(Legal Tech) 분야의 기술 현황 및 실제 이용 사례 연구", 한국과학기술정보연구원, 2019. doi:10.22800/KISTI.KOSENEXPERT.2019.265.
  3. 김민호, 조상현, 박덕근, 권혁철, "안전기준의 검색과 분석을 위한 기계독해 기반 질의응답 시스템", 멀티미디어학회논문지, 제23권, 제2호, 2020, 351-360.
  4. 민재옥, 박진우, 조유정, 이봉건, "BERT를 이용한 한국어 특허상담 기계독해", 한국정보처리학회지, 제4권, 제9호, 2020, 145-152.
  5. 박광현, 나승훈, 최윤수, 장두성, "BERT와 Multi-level Co-Attention Fusion을 이용한 한국어 기계독해", 한국정보과학회 학술발표논문집, 2019, 643-645.
  6. 심경보, 박운상, "R-NET 기반 한국어 금융 데이터 질의응답 시스템", 대한전기학회 정보및제어논문집, 2019, 272-273.
  7. 이동헌, 박천음, 이창기, 박소윤, 임승영, 김명지, 이주열, "BERT를 이용한 한국어 기계독해", 한국정보과학회 학술발표논문집, 2019, 557-559.
  8. 이영훈, 나승훈, 최윤수, 이혜우, 장두성, "ALBERT를 이용한 한국어 자연어처리 : 감성분석, 개체명 인식, 기계독해", 한국정보과학회 학술발표논문집, 2020, 332-334.
  9. 이치훈, 이연지, 이동희, "사전 학습된 한국어 BERT의 전이학습을 통한 한국어 기계독해 성능개선에 관한 연구", 한국IT서비스학회지, 제19권, 제5호, 2020, 83-91. https://doi.org/10.9716/KITS.2020.19.5.083
  10. 인공지능신문 기사, "인라이플, LG CNS와 1억개 NLP모델 오픈 소스 공개...", 최광민, 2020. Available at http://www.aitimes.kr/news/articleView.html?idxno=16636 (Accessed December 30. 2020).
  11. 임승영, 김명지, 이주열, "KorQuAD : 기계독해를 위한 한국어 질의응답 데이터셋", 한국정보과학회 2018 한국소프트웨어종합학술대회 논문집, 2018, 539-541.
  12. 조영주, 배강민, 박종열, "GAN 적대적 생성 신경망과 이미지 생성 및 변환 기술 동향", 한국전자통신연구원 전자통신동향분석, 제35권, 제4호, 2020, 91-102.
  13. 중소기업중앙회 보도자료, "하도급거래시 표준계약서 사용.어음결제기일 준수 절실", 홍정호, 박성우, 2017. 11. 26.
  14. 중소기업중앙회, "2017년 중소기업 하도급거래 실태조사 결과 보고서", 2017.
  15. Christian, V., B. Michael, H. Michael, W. Hariolf, H. Markus, and H. Dirk, "How Legal Technology Will Change the Business of Law", The Boston Consulting Group & Bucerius Law School, 2016. 01.
  16. Dai, Q., X. Shen, L. Zhang, Q. Li, and D. Wang, "Adversarial Training Methods for Network Embedding", The World Wide Web Conference 2019, 2019.
  17. Devlin, J., M.W. Chang, K. Lee, and K. Toutanova, "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv preprint arXiv:1810.04805, 2018.
  18. Enliple Github, 2020. Available at https://github.com/enlipleai/kor_pretrain_LM (Accessed December 30. 2020).
  19. Goodfellow, J., J. Shlens, and C. Szegedy, "Explaining and Harnessing Adversarial Examples", arXiv preprint arXiv:1412.6572, 2015.
  20. Kurakin, A., I. Goodfellow, and S. Bengio, "Adversarial Machine Learning at Scale", arXiv preprint arXiv: 1611.01236, 2017.
  21. Lan, Z., M. Chen, S. Goodman, K. Gimpel, P. Sharma, and R. Soricut, "ALBERT : A lite bert for self-supervised learning of language representations", arXiv preprint arXiv: 1909.11942, 2019.
  22. Liu et al., "Roberta : A robustly optimized bert-pretraining approach", arXiv preprint arXiv: 1907.11692, 2019.
  23. Rajpurkar, P., J. Zhang, K. Lopyrev, and P. Liang, "Squad : 100,000+ questions for machine comprehension of text", arXiv preprint arXiv: 1606.05250, 2016.
  24. Vaswani et al., "Attention is all you need", In Advances in Neural Information Processing Systems, arXiv preprint arXiv:1706.03762, 2017.