DOI QR코드

DOI QR Code

Development of Multimedia Annotation and Retrieval System using MPEG-7 based Semantic Metadata Model

MPEG-7 기반 의미적 메타데이터 모델을 이용한 멀티미디어 주석 및 검색 시스템의 개발

  • 안형근 (울산대학교 컴퓨터정보통신공학부) ;
  • 고재진 (울산대학교 컴퓨터정보통신공학부)
  • Published : 2007.10.31

Abstract

As multimedia information recently increases fast, various types of retrieval of multimedia data are becoming issues of great importance. For the efficient multimedia data processing, semantics based retrieval techniques are required that can extract the meaning contents of multimedia data. Existing retrieval methods of multimedia data are annotation-based retrieval, feature-based retrieval and annotation and feature integration based retrieval. These systems take annotator a lot of efforts and time and we should perform complicated calculation for feature extraction. In addition. created data have shortcomings that we should go through static search that do not change. Also, user-friendly and semantic searching techniques are not supported. This paper proposes to develop S-MARS(Semantic Metadata-based Multimedia Annotation and Retrieval System) which can represent and extract multimedia data efficiently using MPEG-7. The system provides a graphical user interface for annotating, searching, and browsing multimedia data. It is implemented on the basis of the semantic metadata model to represent multimedia information. The semantic metadata about multimedia data is organized on the basis of multimedia description schema using XML schema that basically comply with the MPEG-7 standard. In conclusion. the proposed scheme can be easily implemented on any multimedia platforms supporting XML technology. It can be utilized to enable efficient semantic metadata sharing between systems, and it will contribute to improving the retrieval correctness and the user's satisfaction on embedding based multimedia retrieval algorithm method.

최근 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 멀티미디어 데이터에 대한 다양한 검색은 매우 중요한 이슈가 되고 있다. 멀티미디어 데이터를 효율적으로 처리하기 위해서는 멀티미디어 데이터가 가지고 있는 의미 내용을 추출할 수 있는 의미 기반 검색 기법이 필요하다. 기존 연구되어온 멀티미디어 데이터의 검색은 주석 기반 검색, 특징 기반 검색, 주석과 특징 기반 검색의 통합 검색시스템이 있다. 이러한 시스템들은 검색 데이터의 생성을 위해 주석자의 많은 노력과 시간을 요구하고 특징 추출을 위한 복잡한 계산을 요구하며, 생성된 데이터는 변화되지 않는 정적인 검색을 수행하는 단점이 있다. 또한, 인간에게 좀 더 친숙하고 의미적인 형태의 검색 방법을 제공하지 못하고 있는 실정이다. 본 논문에서는 MPEG-7을 이용하여 멀티미디어 데이터를 구조적으로 표현하고 효율적으로 추출하기 위한 의미적 메타데이터 기반의 멀티미디어 주석 및 검색시스템(S-MARS)을 구현 제안한다. 본 시스템은 멀티미디어 데이터에 대한 주석이나 검색, 브라우징을 위한 그래픽 인터페이스를 제공하며 멀티미디어 정보를 표현하기 위해 의미적 메타데이터 모델을 기반으로 구현하였다. 멀티미디어 데이터에 대한 의미적 메타데이터 모델은 MPEG-7 표준에 정의되어 있는 멀티미디어 묘사 스키마를 기반으로 XML 스키마를 이용하여 작성하였다. 결론적으로, 제시한 멀티미디어 데이터에 대한 의미적 메타데이터를 XML 형태로 표현하고, XML을 지원하는 데이터베이스 시스템을 이용하여 표준적인 데이터의 상호 교환이 용이하게 이루어질 수 있으며, 의미적 메타데이터를 활용하여 삽입 기반 검색 알고리즘 방법을 제공함으로써 검색에 대한 정확성과 사용자의 검색 만족도를 극대화 시킬 수 있다. 마그마 저장소로의 유입과 마그마 저장소 아래에서 공급되는 모마그마의 성분변화에 의해서 미량원소 함량이 급격하게 변한 것으로 해석된다./^4He$ 비와 $^4He/^{20}Ne$ 비는 $0.0143{\times}10^{-6}{\sim}0.407{\times}10^{-6}$ 범위와 $6.49{\sim}584{\times}10^{-6}$ 범위를 각각 보여주어 대기와 지각성분의 혼합선상에 도시된다. 이는 온천수내 헬륨가스의 대부분이 지각기원임을 의미한다. 죽림온천(JR1)의 경우 맨틀기원의 헬륨가스의 혼합율이 다른 온천에 비해 다소 높은 비율을 보여준다. 이들 동위원소비와 온천수의 pH와는 대체적으로 정의 상관관계가 확인되었다. 아울러 $^{40}Ar/^{36}Ar$비가 $292.3{\times}10^{-6}{\sim}304.1{\times}10^{-6}$ 범위로 대기기원임을 지시한다. Gram 양성, Gram 음성 균주는 Escherichia coli KCCM 11591를 제외하고는 0.8 - 0.95 cm로 항균력이 강했으며, Gram negitive의 Pseudomonas aeruginosa KCTC 1750 에서는 43% 발효주에는 0.95 cm, 45% 고은 발효주에는 0.95 cm의 항균성을 나타냈으며 관능평가에서도 가장 높게 났다. 관능평가에서는 45% 고온 발효주가 가장 높게 나타났으며, 항산화성 실험에 나타난 저온 45%의 갈색도의 측정과는 항산화성에서는 좀 다른 결과를 나타낸다. 그러나 항균성이 가장 높게 나타난 43-45%와 관능평가에서 가장 높게 나타난 45% 고온 발효주를 볼 때 본 연구에서는 고온 발효주 45%가

Keywords

References

  1. Dongge Li, Ishwar K. Sethi, Nevenka, Thomas McGee, 'Classification of general audio data for content-based retrieval,' Pattern Recognition Letters, Vol.22, No.5, pp.533-544, 2001 https://doi.org/10.1016/S0167-8655(00)00119-7
  2. Sibel Adali, Kasim S. Candan, Su-Shing Chen, Kutluhan Erol, and VS Subrahmanian, 'The Advanced Video Information System: data structure and query processing,' Multimedia System, pp.172-186. 1996 https://doi.org/10.1007/s005300050021
  3. Baeza-Yates and Ricardo A., 'Modem Information Retrieval,' Addison-Wesley, 1999
  4. Nevenka Dimitrova, Avideh Zakhor, and Thomas. Huang, 'Applications of video-content analysis and retrieval,' IEEE Multimedia, Vol.9 No.3 pp.42-55, 2002 https://doi.org/10.1109/MMUL.2002.1022858
  5. M. Flickner et al., 'Query by Image and Video Content : The QBIC System,' Computer, Vol.28, No.9, pp.23-32, 1995 https://doi.org/10.1109/2.410146
  6. B. Y. Ricardo and R. N. Berthier, Modem Information Retrieval, ACM press, 1999
  7. Tsuhan Chen. Low-Level Features to High-Level Semantics: Are We Bridging the Gap? In EWIMT, London, UK, November 2004
  8. http:;/www.research.ibm.com/VideoAnnEx
  9. M. Naphade, C.-Y. Lin, J. R. Smith, B. L. Tseng, and S. Basu. Learning to annotation video database. In SPIE Electronic Imaging 2002 - Storage and Retrieval for Media Database, San Jose, CA, USA, January 2002
  10. http:/ /www.ricoh.co.jp/src/multimedia/MovieTool/in
  11. http://itswww.epfl.ch/~newuma/
  12. Flickner, Myron, et. al., 'Query by Image and Video Content : The QBIC System,' IEEE Computer, Vol.28, No.9, September, 1995 https://doi.org/10.1109/2.410146
  13. Virginia E. Ogle and Michael Stonebraker, 'Chabot: Retrieval from a Relational Database of Images,' IEEE Computer, Vol.28, No.9, pp.40-48, September, 1995 https://doi.org/10.1109/2.410150
  14. N. Kosugi, Y. Nishihara and T. Stakata, 'A Practical Query -By-Humming System for a Large Music Database,' Proc of ACM Multimedia 2000 Conference, November, 2000
  15. J. R. Smith and S. F. Chang. 'VisualSEEK : a fully automated content-based image query system,' ACM Multimedia, Boston, May, 1996 https://doi.org/10.1145/244130.244151
  16. T. S. Huang, S. Mehrotra, and K Ramchandran, 'Multimedia Analysis and Retrieval System(MARS) project,' Proc. of the 33rd Annual Clinic on Library Application of Data Processing - Digital Image Access and Retrieval, University of Illinois at Urbana-Champaign, March, 1996
  17. R. Hjelsvold, 'VideoSTAR-A Database for Video Information Sharing,' Ph. D. Thesis, Norwegian Institute of Technology, 1995
  18. Eitetsu Oomoto, Katsumi Tanaka, 'OVID : Design and. Implementation of a Video Object Database System,' IEEE TKDE, Vol.5, No.4, pp.629-643, 1993 https://doi.org/10.1109/69.234775
  19. S. Handschuh, S. Staab. A. Maedche, 'CREAM-Creating relational metadata with a component-based, ontology-driven annotation framework,' K-CAP'01, pp.76-88, Victoria, Canada, Oct. 200l https://doi.org/10.1145/500737.500752
  20. T. Schlieder and F. Nanumann, 'Approximate tree embedding for querying XML data,' In proceedings of the ACM SIGIR Workshop on XML and Information Retrieval, July 2000
  21. 안형근, 고재진, '의미적 멀티미디어 메타데이터 생성을 위한 MPEG-7 기술 기반 주석도구의 개발,' 정보처리학회 논문지, 제14-D권, 제1호, pp.35-44, 2007 https://doi.org/10.3745/KIPSTD.2007.14-D.1.035
  22. http://ghs.pasco.k12.fl.us/- Pictures