스마트미디어저널 (Smart Media Journal)

  • 제12권9호
  • /
  • Pages.134-141
  • /
  • 2023
  • /
  • 2287-1322(pISSN)
  • /
  • 2288-9671(eISSN)
한국스마트미디어학회 (THE KOREAN INSTITUTE OF SMART MEDIA)
권호 표지
DOI QR코드

DOI QR Code

3차원 공간 스캔을 위한 ToF-Stereo 융합 센서 시스템 설계

Design of ToF-Stereo Fusion Sensor System for 3D Spatial Scanning

  • 이윤주 (한국전자기술연구원 콘텐츠응용연구센터) ;
  • 유선국 (연세대학교 의과대학 의학공학교실)
  • 투고 : 2023.08.29
  • 심사 : 2023.09.14
  • 발행 : 2023.10.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 3차원 객체의 인식률을 높이고 객체 검출 품질이 보장되며, 환경에 강건한 3차원 공간 스캔용 ToF-Stereo 융합 센서 시스템을 제안한다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 융합하는 방식을 사용하며, 하나의 센서가 동작하지 않더라도 다른 하나의 센서를 이용하여 계속해서 객체를 검출해 나갈 수 있다. ToF 센서와 Stereo RGB 센서의 센싱 거리, 센싱 해상도, 빛 반사도 및 조도 등에 따른 품질이 달라지므로, 신뢰도 추정에 기반하여 센서의 기능을 조절할 수 있는 모듈을 두었다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 결합하고, 신뢰도를 추정한 후 신뢰도에 따라 센서의 기능을 조절하여 두 센싱 값을 융합하므로 3차원 공간 스캔의 품질을 향상할 수 있다.

In this paper, we propose a ToF-Stereo fusion sensor system for 3D space scanning that increases the recognition rate of 3D objects, guarantees object detection quality, and is robust to the environment. The ToF-Stereo sensor fusion system uses a method of fusing the sensing values of the ToF sensor and the Stereo RGB sensor, and even if one sensor does not operate, the other sensor can be used to continuously detect an object. Since the quality of the ToF sensor and the Stereo RGB sensor varies depending on the sensing distance, sensing resolution, light reflectivity, and illuminance, a module that can adjust the function of the sensor based on reliability estimation is placed. The ToF-Stereo sensor fusion system combines the sensing values of the ToF sensor and the Stereo RGB sensor, estimates the reliability, and adjusts the function of the sensor according to the reliability to fuse the two sensing values, thereby improving the quality of the 3D space scan.

키워드

과제정보

이 논문은 2023년도 정부(중소벤처기업부)의 재원으로 중소기업기술정보진흥원의 지원을 받아 수행된 연구임 (No. RS- 2023-000270156).

참고문헌

  1. D. Kim, J. Lee, S. Jun, "Fusion System of Time-of-Flight Sensor and Stereo Cameras Considering Single Photon Avalanche Diode and Convolutional Single Photon Avalanche Diode and Korea Robotics Society, Vol. 13, No. 4, pp.230-236, 2018. https://doi.org/10.7746/jkros.2018.13.4.230
  2. Gyo-Yoon Lee, Yo-Sung Ho, "Low Resolution Depth Interpolation using High Resolution Color Image," Smart Media Journal, Vol. 2, No. 4, pp. 9-19., 2013.
  3. C. Song and S.-H. Kim, "Robust vehicle occupant detec仕on based on rgb-depth-thermal camera," Journal of Korea Robotics Society, vol. 13, No.1, pp. 31-37, Mar. 2018. https://doi.org/10.7746/jkros.2018.13.1.031
  4. R. Nair, F. Lenzen, S. Meister, H. Schafer, C. S.Garbe, and D. Kondermann, "High accuracy TOFand stereo sensor fusion at interactive rates", In Proceedings of the European conference on Computer vision(ECCV), pp. 1-11, 2012.
  5. Lee, Jongseo, Km, Mangyu, and Kim, Hakil, "Camera and LiDAR Sensor Fusion for Improving Object Detection", Journal of Broadcast Engineering, vol. 24, no. 4, pp. 580-591, 2019. https://doi.org/10.5909/JBE.2019.24.4.580
  6. H. G. Jung, Y. H. Lee, H. J. Kang, and J. Kim, "Sensor fusion-based lane detection for lks+acc system," International Journal of Automotive Technology, Vol. 10, No. 2, pp. 219-228, 2009. https://doi.org/10.1007/s12239-009-0026-0
  7. G. Agresti, L. Minto, G. Marlin, and P. Zanuttigh, "Deep learning for confidence information in stereo and TOF data fusion," 2017 IEEE International Conference on Computer Vision Workshops(ICCVW), Venice, Italy, pp. 697-705, 2017.
  8. Jung Jae Jo, Young Chui Kim, "Hand Tracking and Calibration Algorithm Using the EPIC Sensors," Smart Media Journal, Vol. 2, No. 1, pp. 27-30., 2013.
  9. Yong-Ju Chu, Soo-Young Lim, Seung-Yop Lee, ''Landslide Prediction with Angle of Repose Prediction Using 3D Spa仕al Coordinate System and Drone Image Detection/' Smart Media Journal, Vol. 12, No. 3, pp. 77-84, Apr. 2023. https://doi.org/10.30693/SMJ.2023.12.3.77
  10. S. Jung, Y-S Lee, Y. Lee, K. Lee, "3D Reconstruction Using 3D Registration-Based ToF-Stereo Fusion," Sensors 2022, vol. 22, Nov. 2022.
  11. Z. Ding, X. Han, M. Niethammer, "Votenet +: An Improved Deep Learning Label Fusion Method for Multi-Atlas Segmentation," 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI), pp. 363-367, 2020.
  12. S. Woo, J. Park, J. Lee, I. Kweon, "Cbam: Convolutional block attention module," Proceedings of the European conference on computer vision (ECCV), Germany, Jul. 2018.