DOI QR코드

DOI QR Code

2차원 동영상의 3차원 변환을 위한 깊이 단서의 신뢰성 기반 적응적 깊이 융합

Adaptive Depth Fusion based on Reliability of Depth Cues for 2D-to-3D Video Conversion

  • 한찬희 (한밭대학교 정보통신전문대학원) ;
  • 최해철 (한밭대학교 정보통신전문대학원) ;
  • 이시웅 (한밭대학교 정보통신전문대학원)
  • 투고 : 2012.08.22
  • 심사 : 2012.11.30
  • 발행 : 2012.12.28

초록

3차원 동영상은 다양한 응용분야들에서 차세대 콘텐츠로 큰 주목을 받고 있다. 2D-to-3D 변환은 3차원 동영상의 시대로 넘어가는 과도기 동안에 3차원 동영상 콘텐츠의 부족현상을 해결하기위한 강력한 기술로 여겨지고 있다. 일반적으로 2D-to-3D 변환을 위해서는 2차원 동영상 각 장면의 깊이영상을 추정/생성한 후 깊이 영상 기반 랜더링 (DIBR : Depth Image Based Rendering) 기술을 이용하여 스테레오 동영상을 합성한다. 본 논문은 2차원 동영상 내 존재하는 다양한 변환 단서들을 통합하는 새로운 깊이 융합 기법을 제안한다. 우선, 알맞은 깊이 융합을 위해 몇몇 단서가 현재 장면을 효과적으로 표현할 수 있는 지 아닌지 검사된다. 그 후, 신뢰성 검사의 결과를 기반으로 현재 장면은 4개의 유형 중 하나로 분류된다. 마지막으로 최종 깊이 영상을 생성하기 위해 신뢰할 수 있는 깊이 단서들을 조합하는 장면 적응적 깊이 융합이 수행된다. 실험 결과를 통해 각각의 단서가 장면 유형에 따라 타당하게 활용되었고 최종 깊이 영상이 현재 장면을 효과적으로 표현할 수 있는 단서들에 의해 생성되었음을 관찰할 수 있다.

키워드

2차원 영상의 3차원 변환;깊이 추정;깊이 영상 기반 랜더링

과제정보

연구 과제 주관 기관 : 한국연구재단

참고문헌

  1. 한찬희, 송인환, 이시웅, "세포동영상의 자동분석을 위한 효율적인 세포추적방법", 한국콘텐츠학회논문지, 제11권, 제5호, pp.32-40, 2011. https://doi.org/10.5392/JKCA.2011.11.5.032
  2. Y. Matsumoto, H. Terasaki, K. Sugimoto, and T. Arakawa, "Conversion system of monocular image sequence to stereo using motion parallax," Proc. of SPIE, Vol.3012, pp.108-115, 1997.
  3. T. Okino, H. Murata, K. Taima, T. Iinuma, and K. Oketani, "New television with 2D/3D image conversion techniques," Proc. of SPIE, Vol.2653, pp.96-103, 1995.
  4. M. T. Pourazad, P. Nasiopoulos, and R. K. Ward, "An H.264-based Scheme for 2D to 3D Video Conversion," IEEE Transactions on Consumer Electronics, Vol.55, No.2, pp.742-748, 2009(5). https://doi.org/10.1109/TCE.2009.5174448
  5. D. Kim, D. Min, and K. Sohn, "A stereoscopic video generation method using stereoscopic display characterization and motion analysis," IEEE Transactions on broadcasting, Vol.54, No.2, pp.188-197, 2008(6). https://doi.org/10.1109/TBC.2007.914714
  6. W. J. Tam, A. S. Yee, J. Ferreira, S. Tariq, and F. Speranza, "Stereoscopic image rendering based on depth maps created from blur and edge information," Proc. of SPIE, Vol.5664, pp.104-115, 2005.
  7. C. C. Cheng, C. T. Li, and L. G. Chen, "A 2D-to-3D Conversion System Using Edge Information," Digest of Technical Papers Interna tional Conference on Consumer Electronics, pp.377-378, 2010.
  8. S. Battiatoa, S. Curtib, M. L. Casciac, M. Tortorac, and E. Scordato, "Depth Map Generation by Image Classification," Proc. of SPIE, Vol.5302, pp.95-104, 2004.
  9. S. Battiato, A. Capra, S. Curti, and M. La Cascia, "3D stereoscopic image pairs by depth-map generation," Second International Symposium on 3D Data Processing, Visualization and Trans mission, pp.124-131, 2004.
  10. C. C. Cheng, C. T. Li, P. S. Huang, T. K. Lin, Y. M. Tsai, and L. G. Chen, "A Block-based 2D-to-3D Conversion System with Bilateral Filter," Digest of Technical Papers International Conference on Consumer Electronics, pp.1-2, 2009.
  11. Y. L. Chang, J. Y. Chang, Y. M. Tsai, C. L. Lee, and L. G. Chen, "Priority Depth Fusion for the 2D-to-3D Conversion System," Proc. of SPIE, Vol.6805, pp.680513.1-680513.8, 2008.
  12. S. F. Tsai, C. C. Cheng, C. T. Li, and L .G. Chen, "A real-time 1080p 2D-to-3D video conversion system," IEEE, Transactions on Consumer Electronics, Vol.57, No.2, pp.915-922, 2011(5). https://doi.org/10.1109/TCE.2011.5955240
  13. D. Comaniciu and P. Meer, "Robust Analysis of Feature Spaces: Color Image Segmentation," Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp.750-755, 1997.

피인용 문헌

  1. Parallax Map Preprocessing Algorithm for Performance Improvement of Hole-Filling vol.13, pp.10, 2013, https://doi.org/10.5392/JKCA.2013.13.10.062
  2. Vanishing Points Detection in Indoor Scene Using Line Segment Classification vol.13, pp.8, 2013, https://doi.org/10.5392/JKCA.2013.13.08.001
  3. Depth-map Preprocessing Algorithm Using Two Step Boundary Detection for Boundary Noise Removal vol.14, pp.12, 2014, https://doi.org/10.5392/JKCA.2014.14.12.555
  4. Pattern-based Depth Map Generation for Low-complexity 2D-to-3D Video Conversion vol.15, pp.2, 2015, https://doi.org/10.5392/JKCA.2015.15.02.031