Design and Implementation of a Real -Time Analytics System for Network Packet Trend Analysis

네트워크 패킷 트랜드 분석을 위한 실시간 스트림 데이터 분석 시스템 설계 및 구현

스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.