분산 캐시를 적용한 실시간 검색 시스템

Real-Time Search System using Distributed Cache

  • 임건길 (동아대학교 컴퓨터공학과) ;
  • 이재기 (동아대학교 컴퓨터공학과)
  • 투고 : 2009.12.24
  • 심사 : 2010.01.28
  • 발행 : 2010.04.15

초록

최근 주요 검색 엔진들의 인덱스들이 굉장한 비율로 성장하는 것처럼, 수직형 검색 서비스들은 사용자가 원하는 것을 찾을 수 있도록 지원할 수 있다. 실시간 검색은 주어진 주제를 쉽게 찾아낼 수 있기 때문에 매우 유용하다. 본 논문에서는 고성능 실시간 검색 시스템을 구현하기 위한 새로운 구조를 설계하였다. 전체적인 시스템은 실시간 검색의 특징을 기반으로, 크게 수집 시스템과 검색 시스템의 두 부분으로 나뉘어진다. 본 논문의 평가 결과에서 제안한 구조가 Replication Overhead 값을 유지하면서 실시간 검색에 있어 투명한 확장성을 제공할 수 있음을 확인하였다.

Nowadays, as the indices of the major search engines grow to a tremendous proportion, vertical search services can help customers to find what they need. Real time search is valuable because it lets you know what's happening right now on any given topic. In this paper, we designed a new architecture to implement a high performance real time search system. Based on the real time search's characters, we divided the whole system to two parts which are collection system and search system. The evaluation results showed that our design has the potential to provide the real time search transparent scalability while maintaining the replication overhead costs in check.

키워드

참고문헌

  1. http://jaiku.com/.
  2. http://friendfeed.com/.
  3. Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber, "Bigtable: A distributed storage system for structured data," In Proceedings of OSDI'06: the 7th USENIX Symposium on Operating Systems Design and Implementation, vol.7, pp.205- 218, Nov. 2006.
  4. http://search.twitter.com/.
  5. http://digg.com/.
  6. http://delicious.com/.
  7. Jeffrey Dean and Sanjay Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters," Communications of the ACM, vol.51, no.1, pp.107-113, Jan. 2008. https://doi.org/10.1145/1327452.1327492
  8. http://rubyonrails.org/.
  9. http://www.scala-lang.org/.
  10. http://www.danga.com/memcached/.
  11. http://devzone.zend.com/article/1258/.
  12. http://couchdb.apache.org/.
  13. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall and Werner Vogels, "Dynamo: Amazon's Highly Available Key-value Store," In Proceedings of SOSP'07, pp.205-220, Oct. 2007.
  14. Bernardo A. Huberman, Daniel M. Romero, and Fang Wu, "Social networks that matter: Twitter under the microscope," Peer Reviewed journal on the Internet, vol.14, no.1-5, Jan 2009.