이미지 빅데이터를 고려한 하둡 플랫폼 환경에서 GPU 기반의 얼굴 검출 시스템

DOI QR코드

DOI QR Code

배유석;박종열
Bae, Yuseok;Park, Jongyoul

  • 투고 : 2015.09.04
  • 심사 : 2015.11.12
  • 발행 : 2016.01.15

초록

디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

키워드

빅데이터;하둡;얼굴 검출

참고문헌

  1. J. F. Gantz and D. Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East," IDC IVIEW, Dec. 2012.
  2. J. R. Smith and L. Cao, "Massive-Scale Multimedia Semantic Modeling," 21st ACM International Conference on Multimedia, pp. 1113-1114, Oct. 2013.
  3. B. Dong, et al., "An optimized approach for storing and accessing small files on cloud storage," Journal of Network and Computer Applications, Vol. 35, No. 6, pp. 1847-1862, 2012. https://doi.org/10.1016/j.jnca.2012.07.009
  4. J. Zhu, et al., "Embedding GPU Computation in Hadoop," International Journal of Networked and Distributed Computing, Vol. 2, No. 4, pp. 211-220, Oct. 2014. https://doi.org/10.2991/ijndc.2014.2.4.2
  5. K. Shirahata, H. Sato, and S. Matsuoka, "Hybrid map task scheduling for GPU-based heterogeneous clusters," 2010 IEEE 2nd International Conference on Cloud Computing Technology and Science (Cloud-Com), 2010.
  6. M. Grossman, M. Breternitz, and V. Sarkar, "HadoopCL: MapReduce on Distributed Heterogeneous Platforms through Seamless Integration of Hadoop and OpenCL," 2013 IEEE 27th International Symposium on Parallel and Distributed Processing Workshops & PhD Forum (IPDPSW), pp. 1918-1927, 2013.
  7. G. Frost, "Aparapi in AMD Developer Central," http://developer.amd.com/tools-and-sdks/opencl-zone/aparapi.
  8. W. Fang, B. He, Q. Luo, and N. K. Govindaraju, "Mars: Accelerating MapReduce with Graphics Processors," IEEE Transactions on Parallel and Distributed Systems, Vol. 22, No. 4, pp. 608-620, 2011. https://doi.org/10.1109/TPDS.2010.158
  9. P. I. Wilson and J. Fernandez, "Facial feature detection using Haar classifiers," Journal of Computing Sciences in Colleges, Vol. 21, No. 4 pp. 127-133, 2006.
  10. P. Viola and M. Jones, "Rapid object detection using boosted cascade of simple features," Proc. of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001), Vol. 1, pp. I-511-I-518, 2001.

과제정보

연구 과제번호 : 실시간 대규모 영상 데이터 이해.예측을 위한 고성능 비주얼 디스커버리 플랫폼 개발

연구 과제 주관 기관 : 정보통신기술진흥센터