Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)
- 2020.07a
- /
- Pages.545-546
- /
- 2020
Real-time data analysis technique using large data compression based spark
스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법
- Park, Soo-Yong (Dept. of Computer Science, Soongsil University) ;
-
Shin, Yong-Tae
(Dept. of Computer Science, Soongsil University)
- Published : 2020.07.15
Abstract
스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.