DOI QR코드

DOI QR Code

Suggestion of BigData Processing System for Enhanced Data Processing on ETL

ETL 상에서 처리속도 향상을 위한 빅데이터 처리 시스템 제안

  • 이정빈 (가천대학교 일반대학원 모바일소프트웨어학과) ;
  • 박석천 (컴퓨터공학과) ;
  • 길기범 (데이터스트림즈 기술연구소) ;
  • 천승태 (데이터스트림즈 기술연구소)
  • Published : 2015.04.22

Abstract

최근 디지털 정보량의 기하급수적인 증가에 따라 대규모 데이터인 빅데이터가 등장하였다. 빅데이터는 데이터가 실시간으로 매우 빠르게 생성되며 다양한 형태의 데이터를 가지며 이 데이터를 수집, 처리, 분석을 통해 새로운 지식을 창출한다. 그러나 기존의 ETL(Exact/Transform/Load) 연구에서 이러한 빅데이터를 처리 하는데 성능 저하가 발생되고 있으며 비정형 데이터를 관리할 수 없다. 따라서 본 논문에서는 기존의 ETL 처리의 한계를 극복하기 위해서 하둡을 이용하여 ETL 상에서 처리 속도를 높이고 비정형 데이터를 처리할 수 있는 빅데이터 처리 시스템을 제안하고자 한다.

Keywords