Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

Physical Contact Detection for Recognizing Interactions between Person Objects

인물 객체 간 상호작용 인식을 위한 물리접촉 검출

  • Seung-bo Park (Dept. of Software Convergence Engineering, INHA University) ;
  • Eui-son Jung (Dept. of Software Convergence Engineering, INHA University) ;
  • Dong-gyun Ham (Dept. of Software Convergence Engineering, INHA University) ;
  • Yong-ho Keum (Dept. of Software Convergence Engineering, INHA University)
  • 박승보 (인하대학교 소프트웨어융합공학과) ;
  • 정의손 (인하대학교 소프트웨어융합공학과) ;
  • 함동균 (인하대학교 소프트웨어융합공학과) ;
  • 금용호 (인하대학교 소프트웨어융합공학과)
  • Published : 2023.07.12
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문은 영화의 스토리 인식을 위해 인물 간 상호작용 중 물리적 상호작용 즉, 물리접촉을 검출하는 방법을 제안한다. YOLO를 사용해 영상에서 인간객체를 탐지하고, Mediapipe를 사용해 골격 감지를 진행함으로써 인물의 뼈대를 랜드마크화 하고 타 객체 간의 랜드마크가 일정값 이하로 내려오면 Threshold를 적용해 객체 간의 물리적 접촉을 판단한다, 실험 결과, 50개 17,741 frame의 영상에서 정확도 99.66%의 정밀도 77.27%, 재현율 62.38%로 모델의 전반적인 성능을 나타내는 F1점수는 69%로 나타났다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부 정보통신창의인재양성사업의 지원을 통해 수행한 ICT멘토링 프로젝트 결과물입니다.