정보처리학회논문지B (The KIPS Transactions:PartB)

한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

칼라영상의 감성평가와 이를 이용한 내용기반 영상검색

Emotion from Color images and Its Application to Content-based Image Retrievals

  • 박중수 (우석대학교 전산정보학부) ;
  • 엄경배 (군산대학교 컴퓨터공학과) ;
  • 신경해 (전북대학교 대학원 영상공학과) ;
  • 이준환 (전북대학교 전자정보공학부) ;
  • 박동선 (전북대학교 전자정보공학부)
  • 발행 : 2003.04.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

내용기반 영상검색에서 질의는 영상 그 자체이며 질의와 유사한 영상을 찾는 방식으로 검색이 진행된다. 즉 사용자가 검색을 원하는 영상의 색, 형태, 질감 또는 이들의 공간적인 배치 등의 내용을 염두에 두고 있어야 검색이 가능하다. 이러한 검색방법은 사용자가 검색대상의 내용을 상당 부분 파악하고 있어야 검색이 가능하다는 제약을 수반한다. 본 논문에서는 사용자가 영상이 제공하는 감성을 이용하여 칼라영상을 검색하는 방법을 제안한다. 제안된 방법은 검색과 감성평가가 relevance feedback을 통하여 동시에 진행됨으로 기존의 내용기반 영상검색과 통합이 용이하며, 사용자의 주관적인 평가가 이루어질 수 있다는 점에서 과거의 감성기반 칼라영상 검색과 차이가 있다. 본 논문에서 제안한 검색기의 평가를 위해 영상속성으로 MPEG-7의 칼라 기술자(descriptor)를 사용하였으며 "깨끗한" "밝은" "재미있는", "포근한" 등의 감성형용사를 적용한 결과 1500개의 벽지영상을 대상으로 만족할 만한 결과를 얻을 수 있었다.과 1500개의 벽지영상을 대상으로 만족할 만한 결과를 얻을 수 있었다.

In content-based image retrieval, the query is an image itself and the retrieval process is the process that seeking the similar images to the given query image. In this way of retrieval, the user has to know the basic physical features of target images that he wants to retrieve. But it has some restriction because to retrieve the target image he has to know the basic physical feature space such as color, texture, shape and spatial relationship. In this paper, we propose an emotion-based retrieval system. It uses the emotion that color images have. It is different from past emotion-based image retrieval in point of view that it uses relevance feedback to estimate the users intend and it is easily combined with past content-based image retrieval system. To test the performance of our proposed system, we use MPEG-7 color descriptor and emotion language such as "warm", "clean", "bright" and "delight" We test about 1500 wallpaper images and get successful result.lpaper images and get successful result.

키워드

참고문헌

  1. R. K. Shirari, 'Automatic indexing and content-based retrieval of captioned images,' IEEE Computer, Vol.28, No.9, pp.49-56, 1995 https://doi.org/10.1109/2.410153
  2. P. Aigrain, H. Zhang and D. Petkovic, 'Content-based representation and retrieval of visual media : A stage-of-the art review,' Multimedia Tools and Applications, Vol.3, No.4, pp.179-202, 1996 https://doi.org/10.1007/BF00393937
  3. A. D. Bimbo, 'Visual Information Retrieval,' Morgan Kaufmann Pub. Inc., 1999
  4. Text of ISO/IEC 15938-3 Multimedia Content Description Interface-Part 3 : Final Committee Draft, ISO/IEC/JTC1/SC29/WG11, Doc., N4062, Mar., 2001
  5. MPEG-7 Visual Experimentation Model (XM), Version 10.0, ISO/IEC/JTC1/SC29/WG11, Doc., N4063, Mar., 2001
  6. B. S. Manjunath, J. R. Ohm, V. V. Vasudevan and A. Yamada, 'Color and Texture Descriptors,' IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.6, pp.703-715, 2001 https://doi.org/10.1109/76.927424
  7. B. S. Manjunath, P. Salembier and T.Sikora, Introduction to MPEG-7, Johen Wiley & Sons, Inc., 2002
  8. T. Soen, T. Shimada and M. Akita, 'Objective evaluation of color design,' Color Res. Appl., Vol.12, pp.187-194, 1987 https://doi.org/10.1002/col.5080120406
  9. N. Kawamoto and T. Soen, 'Objective evaluation of color design II,' Color Res. Appl., Vol.18, pp.260-266, 1993 https://doi.org/10.1002/col.5080180409
  10. 엄진섭, 이준환, '퍼지이론을 이용한 색채계획 시스템에 관한 연구,' 한국 퍼지 및 지능시스템학회논문지, 제7권 제3호, pp.55-64, 1997
  11. 엄진섭, 이준환, '감각 언어를 이용한 칼라패턴 검색,' 한국 퍼지 및 지능시스템학회논문지, Vol.9, No.1, pp.1-19, 1999
  12. 엄진섭, 칼라패턴의 감성 인식 및 검색에 관한 연구, 전북대 박사학위논문, 2000
  13. Y. Rui, T. S. Huang and S. Mehrotra, 'Content-based image retrieval with relevance feedback in MARS,' Proc. IEEE Int. Conf. Image Processing, pp.815-818, 1997 https://doi.org/10.1109/ICIP.1997.638621
  14. Y. Rui and T. S. Huang, 'Relevance Feedback : A power Tool for Interactive Content-based Image Retrieval,' IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, No.5, pp.644-655, 1998 https://doi.org/10.1109/76.718510
  15. S. Aksoy, R. M. Haralick, F. A. Cheikh and M. Gabbouj, 'A weighted Distance Approach to Relevance Feedback,' IEEE Proc. of 15th Int. Conf. on Pattern Recognition, Vol.4, pp.812-815, 2000 https://doi.org/10.1109/ICPR.2000.903041
  16. 이주영, 조성배, '감성기반 영상검색을 위한 대화형 유전자 알고리즘의 적용,' 정보과학회논문지(B), 제26권 제3호, pp.422-430, 1999
  17. H. Takagi, 'Interactive evolutionary computation : Cooperation of computational intelligence and human kansei,' Proc. of 5th Int. Conf. on Soft Computing, Iizuka, Japan, pp.41-50, 1998
  18. D. R. Heisterkamp, J. Peng and H. K. Dai, 'Feature relevance learning with query shift for content-based image retrieval,' IEEE Proc. of 15th Int. Conf. on Pattern Recognition, Vol.4, pp.250-253, 2000 https://doi.org/10.1109/ICPR.2000.902906
  19. Y. Ishikawa, R. Subramanya and C. Faloutsos, 'Mindreader : Query databases through multiple examples,' Proc. of 24th VLDB Conf., (New York), 1998
  20. Y. Rui and T. S. Huang, 'Optimal learning in image retrieval,' IEEE Proc. of Conf. on Computer Vision and Pattern Recognition, Vol.1, pp.236-243, 2001 https://doi.org/10.1109/CVPR.2001.990659
  21. Y. Deng, B. S. Manjunath, C. Kenney, M. S. Moore and H. Shin, 'An efficient color representation for image retrieval,' IEEE Trans. Image Processing, Vol.10, pp.140-147, Jan., 2001 https://doi.org/10.1109/83.892450

피인용 문헌

  1. Emotion-Based Music Retrieval Using Consistency Principle and Multi-Query Feedback vol.17B, pp.2, 2010, https://doi.org/10.3745/KIPSTB.2010.17B.2.099