Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2012.04a
  • /
  • Pages.130-133
  • /
  • 2012
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Effects of Intermediate Data on the Performance of the MapReduce Framework

맵리듀스 프레임워크의 중간 데이터가 성능에 미치는 영향에 관한 연구

  • Kim, Shin-gyu (School of Computer Science and Engineering, Seoul National University) ;
  • Eom, Hyeonsang (School of Computer Science and Engineering, Seoul National University) ;
  • Yeom, Heon Y. (School of Computer Science and Engineering, Seoul National University)
  • 김신규 (서울대학교 컴퓨터공학부) ;
  • 엄현상 (서울대학교 컴퓨터공학부) ;
  • 염헌영 (서울대학교 컴퓨터공학부)
  • Published : 2012.04.26
Download PDF
⟨ Previous Next ⟩

Abstract

맵리듀스 프레임워크는 개발의 편의성, 높은 확장성, 결함 내성 기능을 제공하며 다양한 대용량 데이터 처리에 사용되고 있다. 또한, 최근의 데이터의 폭발적 증가는 높은 확장성을 제공하는 맵리듀스 프레임워크의 도입의 필요성을 더욱 증가시키고 있다. 이 경우 하나의 단일 클러스터에서 처리할 수 있는 계산 용량을 넘어설 수 있으며, 이를 위하여 클라우드 컴퓨팅 서비스 등에서 계산자원을 빌려오게 된다. 하지만 현재의 맵리듀스 프레임워크는 단일 클러스터 환경을 가정하고 설계되었기에 여러 개의 클러스터로 이루어진 환경에서 수행시킬 경우 전체 계산자원의 이용률이 떨어져서 투입된 자원에 비해 전체적인 성능이 낮아지는 경우가 발생하게 된다. 본 연구에서는 이의 원인이 맵과 리듀스 단계 사이에 존재하는 중간결과의 전송에 있음을 밝히고, 이의 전체 맵리듀스 프레임웍의 성능에 미치는 영향에 대하여 분석해보았다.

Keywords