The KIPS Transactions:PartA (정보처리학회논문지A)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Hyper-Text Compression Method Based on LZW Dictionary Entry Management

개선된 LZW 사전 관리 기법에 기반한 효과적인 Hyper-Text 문서 압축 방안

  • Sin, Gwang-Cheol (Dept.of Computer Engineering, Graduate School of Chungang University) ;
  • Han, Sang-Yong (Dept.of Computer Engineering, Chungang University)
  • 신광철 (중앙대학교 대학원 컴퓨터공학과) ;
  • 한상용 (중앙대학교 컴퓨터공학과)
  • Published : 2002.09.01
Download PDF
⟨ Previous Next ⟩

Abstract

LZW is a popular variant of LZ78 to compress text documents. LZW yields a high compression rate and is widely used by many commercial programs. Its core idea is to assign most probably used character group an entry in a dictionary. If a group of character which is already positioned in a dictionary appears in the streaming data, then an index of a dictionary is replaced in the position of character group. In this paper, we propose a new efficient method to find least used entries in a dictionary using counter. We also achieve higher compression rate by preassigning widely used tags in hyper-text documents. Experimental results show that the proposed method is more effective than V.42bis and Unix compression method. It gives 3∼8％ better in the standard Calgary Corpus and 23∼24％ better in HTML documents.

LZW 알고리즘은 사전(dictionary) 방식의 압축 알고리즘인 LZ78의 변형된 형태로써 높은 압축률을 제공하기 때문에 많은 상업용 압축 프로그램에서 사용되고 있다. LZW의 핵심은 가장 빈번하게 사용되는 문자열을 사전에 저장하면서, 저장된 것과 동일한 입력 데이터의 문자열을 해당 사전 인덱스로 대체하는 것이다. 본 논문에서는 자주 사용되지 않는 사전의 엔트리를 찾기 위해 카운터를 이용하는 새로운 사전 관리 방법을 제안한다. 또한 하이퍼텍스트 문서를 효율적으로 압축하기 위해 태그와 같은 자주 사용되는 용어들을 코드화하여 사전에 저장한 후 압축을 시도하는 방안을 제안한다. 실험결과 기존의 V.42bis와 UNIX의 compress에 비해 상대적으로 일반문서는 3∼8％, HTML 문서는 23∼24％의 향상된 압축효과를 보여준다.

Keywords

References

  1. Saloman D., 'Data Compression -the complete reference,' Springer, 1997
  2. Baeza-Yates R, Riebeiro-Neto B, 'Modern Information Retrieval,' Addison Wesley, 1999
  3. Ziv, J. and Lempel A., 'A Universal Algorithm for Sequential Data Compression,' IEEE Transaction on Information Theory IT-23(3) : pp.337-343, 1977 https://doi.org/10.1109/TIT.1977.1055714
  4. Ziv, J. and Lempel A., 'Compression of Individual Sequences via Variable-Rate Coding,' IEEE Transaction on Information Theory IT-24(5) : pp.530-536, 1978
  5. Welch T, 'A Technique for High Performance Data Compression,' IEEE Computer, Vol.17, No.6, pp.8-19, 1984 https://doi.org/10.1109/MC.1984.1659158
  6. Phillips and Dwayne, 'LZW Data Compression,' The Computer Application Journal Circuit Cellar Inc., 27, pp.36-48, June/July
  7. Horspool, N. R, 'Improving LZW,' in Proceedings of the 1991 Data Compression Conference, J. Storer Ed., Los Alamitos, CA, IEEE Computer Society Press, pp.332-341, 1991 https://doi.org/10.1109/DCC.1991.213347
  8. Thomborson and Clark, 'The V.42bis Standard for Data-Compressing Modems,' IEEE Micro, pp.41-53, October, 1992 https://doi.org/10.1109/40.166712
  9. Available at ftp.cpsc.ucalgary.ca/pub/projects/text.compression.corups