DOI QR코드

DOI QR Code

High-performance and Highly Scalable Big Data Analysis Platform

고성능, 고확장성 빅데이터 분석 플랫폼

  • Park, Kyongseok (Korea Institute of Science and Technology Information) ;
  • Yu, Chan Hee (Korea Institute of Science and Technology Information) ;
  • Kim, Yuseon (Korea Institute of Science and Technology Information) ;
  • Um, Jung-Ho (Korea Institute of Science and Technology Information)
  • 박경석 (한국과학기술정보연구원) ;
  • 유찬희 (한국과학기술정보연구원) ;
  • 김유선 (한국과학기술정보연구원) ;
  • 엄정호 (한국과학기술정보연구원)
  • Published : 2021.11.04

Abstract

빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

Keywords

Acknowledgement

이 논문은 산업통상자원부의 재원으로 한국에너지기술평가원(KETEP)의 지원을 받아 수행한 연구입니다. (No. 20181110100420) 이 논문은 중소벤처기업부의 재원으로 중소기업기술정보진흥원(TIPA)의 지원을 받아 수행한 연구입니다. (S3126610)