DOI QR코드

DOI QR Code

A Study for Improving MapReduce Performance using Solid State Drive

SSD를 사용한 맵리듀스 정렬 성능개선

  • Kang, Seok-Hoon (Dept of Computer Engineering, SungKyunkwan University) ;
  • Kang, Woon-Hak (Dept of Computer Engineering, SungKyunkwan University) ;
  • Lee, Sang-Won (Dept of Computer Engineering, SungKyunkwan University)
  • 강석훈 (성균관대학교 전자전기컴퓨터공학과) ;
  • 강운학 (성균관대학교 전자전기컴퓨터공학과) ;
  • 이상원 (성균관대학교 전자전기컴퓨터공학과)
  • Published : 2012.04.26

Abstract

컴퓨터 메모리의 용량이 커지고 기술이 발전하며 메모리와 저장장치의 데이터 처리속도 차이는 나날이 커지고 있다. 이를 보완하고자 데이터 처리를 가급적 메모리에서 해결하여 처리속도를 높이고자 하는 연구가 많이 있다. 그 중 MapReduce에 대한 연구는 현재 주목이 되고 있는 분야이다. MapReduce는 빅데이터를 클러스터 환경에서 처리하기에 대중적인 프로그래밍 모델이다. 본 논문은 MapReduce 기반의 Hadoop을 SSD를 적용하여 실행속도를 증진시키려 한다. 전통적인 MapReduce 모델은 데이터를 정렬하는데에 I/O가 크게 발생하는데, MapRedce가 사용하는 병합정렬의 I/O 병목현상을 개선하고자 SSD를 사용하였다.

Keywords