DOI QR코드

DOI QR Code

An Embedded Text Index System for Mass Flash Memory

대용량 플래시 메모리를 위한 임베디드 텍스트 인덱스 시스템

  • 윤상훈 (영남대학교 컴퓨터공학과) ;
  • 조행래 (영남대학교 전자정보공학부)
  • Published : 2009.06.30

Abstract

Flash memory has the advantages of nonvolatile, low power consumption, light weight, and high endurance. This enables the flash memory to be utilized as a storage of mobile computing device such as PMP(Portable Multimedia Player). Potable device with a mass flash memory can store various multimedia data such as video, audio, or image. Typical index systems for mobile computer are inefficient to search a form of text like lyric or title. In this paper, we propose a new text index system, named EMTEX(Embedded Text Index). EMTEX has the following salient features. First, it uses a compression algorithm for embedded system. Second, if a new insert or delete operation is executed on the base table. EMTEX updates the text index immediately. Third, EMTEX considers the characteristics of flash memory to design insert, delete, and rebuild operations on the text index. Finally, EMTEX is executed as an upper layer of DBMS. Therefore, it is independent of the underlying DBMS. We evaluate the performance of EMTEX. The Experiment results show that EMTEX can outperform th conventional index systems such as Oracle Text and FT3.

플래시 메모리는 비휘발성이고 저전력으로 동작하며 가볍고 내구성이 강하다. 이러한 특성으로 휴대용 멀티미디어 재생기(PMP)와 같은 모바일 컴퓨팅 환경에서의 저장 장치로 많이 사용되고 있다. 대용량의 플래시 메모리를 저장 장치로 가진 모바일 기기들은 비디오/오디오/사진등과 같은 다양한 종류의 멀티미디어 데이터를 저장하고 재생한다. 모바일 컴퓨팅 장치를 위한 기존의 인덱스 시스템은 노래 가사와 같은 텍스트 형태의 정보 검색에 비효육적이다. 본 논문에서는 대용량 플래시 메모리 기반 임베디드 텍스트 인덱스(Embedded Text Index: EMTEX) 시스템을 제안한다. EMTEX는 먼저 임베디드 시스템을 고려한 압축 알고리즘을 사용하며, 텍스트 인덱스가 구성된 필드에 삽입 및 삭제시 인덱스에 즉시 반영된다. 뿐만 아니라, 플래시 메모리의 특성을 고려한 효율적인 삽입, 삭제, 재구성 기능을 수행하며, DBMS의 상위 계층에서 독립적으로 동작한다는 장점을 갖는다. 제안한 시스템의 성능 평가를 위해 다양한 환경에서 실험을 수행하였다. 그 결과 EMTEX는 임베디드 환경에서 Oracle Text나 FT3와 같은 기존의 인덱스 시스템보다 더 좋은 성능을 보여주었다.

Keywords

References

  1. F. Douglis, R. Caceres, F. Kaashoek, K. Li, B. Marsh, and J. A. Tauber, "Storage alternatives for mobile computers," In First Symposium on Operating Systems Design and Implementation, pages 25-37, Monterey, California, November 1994
  2. New Samsung Notebook Replaces Hard Drive With Flash. http://www.extremetech.com
  3. SF Chang, T Sikora, A Purl, "Overview of the MPEG-7 Standard," IEEE Transactions Circuits and Systems for Video Technology, Vol. 11, pp. 988-695, Jun 2001
  4. MPEG-7 Overview, http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm
  5. Nack, F., Lindsay, A.T., "Everything you wanted to know about MPEG-7. 1." Multimedia, IEEE, vol.6, no.3, pp.65-77, Jul-Sep 1999 https://doi.org/10.1109/93.790612
  6. FT3: a full text indexer and search engine, http://ft3.sourceforge.net
  7. Oracle Press, "Oracle${\circledR}$ Text Reference 10g Release 2 (10.2)," June, 2005
  8. E Bertino, KL Tan, BC Ooi, R Sacks-Davis, J Zobel, "Indexing Techniques for Advanced Database Systems," Kluwer Academic Publishers Norwell, MA, USA, 1997
  9. V. N. Anh, and A. Moffat, "Inverted index Compression using word-aligned binary codes" Information Retrieval, Vol 8, pages 151-166, 2005. https://doi.org/10.1023/B:INRT.0000048490.99518.5c
  10. P. Boldi and S.Vigna, "Compressed Perfect Embedded Skiplists for Quick Inverted-Index Lookups," String Processing and Information Retrieval 2005, page25-28, Oct.2005.
  11. A. Moffat and J. Zobel, "Self-Indexing Inverted Files for Fast Text Retrieval," ACM Transactions on Information Systems. Vol. 14, Issue 4, pages 349-379, Oct. 1996. https://doi.org/10.1145/237496.237497
  12. A. Trotman and V. Subramanya, "Sigma Encoded Inverted Files," Proceedings of the 16th ACM Conference on Information and Knowledge Management, pages 983-986, Nov. 2007.
  13. J. Zobel, A. Moffat, and R. Sacks-Davis, "An Efficient Indexing Technique for Full-Text Database Systems, Proceedings of the 18th VLDB Conferencce Vancouver, British Columbia, Canada 1992.
  14. Oralcle Technology Network, "How interMedia Processes Text DML," March, 2000
  15. Oralcle, "The World's Largest Enterprise Software Company," http://www.oracle.com
  16. SQLite Home Page, http://www,sqlite.org
  17. MobileLite - Inervit Product, http://inervit.com/main /product/02_01.jsp
  18. Home Page for 20 Newsgroups Data Set, http://people.csail.mit,edu/jrennie/20Newsgroups/