A Study on Collaborative Filtering Recommendation Algorithm base on Hadoop and Spark

하둡 및 스파크 기반의 협력 필터링 추천 알고리즘 연구

  • Jung, Young Gyo (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Kim, Sang Young (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Lee, Jung-June (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Youn, Hee Yong (Dept. of Electrical and Computer Engineering, Sungkyunkwan University)
  • 정영교 (성균관대학교 정보통신대학) ;
  • 김상영 (성균관대학교 정보통신대학) ;
  • 이정준 (성균관대학교 정보통신대학) ;
  • 윤희용 (성균관대학교 정보통신대학)
  • Published : 2016.01.12

Abstract

최근 사용자들의 추천 서비스를 위해 다른 사용자들의 평가값을 이용하여 특정 사용자에게 서비스를 추천해주는 추천 시스템은 협력 필터링 방법을 널리 사용되고 있다. 하지만 이러한 추천 시스템은 클러스터링 과정에서 이미 분류된 그룹에 특정 사용자가 분류되어 정확히 분류되지 못하고, 사용자들의 평가값 오차가 클 경우 정확하지 못한 결과를 추천하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 협력 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천의 효과를 최적화 하는 기법을 제안하며 하둡 및 스파크 기반으로 시스템을 구성하여 협력 필터링 추천 알고리즘을 비교 하였다.

Keywords