Proceedings of the Korean Institute of Information and Commucation Sciences Conference (한국정보통신학회:학술대회논문집)

The Korea Institute of Information and Commucation Engineering (한국정보통신학회)
권호 표지

Web crawler designed utilizing server overhead optimization system

웹크롤러의 서버 오버헤드 최적화 시스템 설계

  • Lee, Jong-Won (Department of Computer Engineering, PaiChai University) ;
  • Kim, Min-Ji (Department of Computer Engineering, PaiChai University) ;
  • Kim, A-Yong (Department of Computer Engineering, PaiChai University) ;
  • Ban, Tae-Hak (Department of Computer Engineering, PaiChai University) ;
  • Jung, Hoe-Kyung (Department of Computer Engineering, PaiChai University)
  • 이종원 (배재대학교 컴퓨터공학과) ;
  • 김민지 (배재대학교 컴퓨터공학과) ;
  • 김아용 (배재대학교 컴퓨터공학과) ;
  • 반태학 (배재대학교 컴퓨터공학과) ;
  • 정회경 (배재대학교 컴퓨터공학과)
  • Published : 2014.05.28
Download PDF
⟨ Previous Next ⟩

Abstract

Conventional Web crawlers are reducing overhead burden on the server to ensure the integrity of data optimization measures have been continuously developed. The amount of data growing exponentially faster among those data, then the data needs to be collected should be used to the modern web crawler is the indispensable presence. In this paper, suggested that the existing Web crawler and Web crawler approach efficiency comparison and analysis. In addition, based on the results, compared to suggest an optimized technique, Web crawlers, data collection cycle dynamically reduces the overhead of the server system was designed for. This is a Web crawler approach will be utilized in the field of the search system.

기존의 웹크롤러들은 서버의 오버헤드 부담을 줄이면서 데이터의 무결성을 보장하기 위해 최적화 방안에 대해 지속적으로 발전해왔다. 기하급수적으로 빠르게 늘어가는 데이터의 양과 그 데이터들 중에서 필요한 데이터를 수집해서 사용해야 하는 현대인들에게 웹크롤러는 필수불가결의 존재이다. 본 논문에서는 기존의 웹크롤러 방식과 제안된 웹크롤러 방식의 효율성을 비교 및 분석하였다. 또한, 비교된 결과를 바탕으로 최적화된 기법을 제안하고, 웹크롤러의 데이터 수집 주기를 동적으로 조절하여 서버 오버헤드를 감소시키는 시스템에 대해 설계하였다. 이는 웹크롤러 방식을 사용하는 검색 시스템 분야에 활용될 것이다.

Keywords