DOI QR코드

DOI QR Code

Design of Automation (RPA) for uploading workout videos to YouTube highlights through deep learning facial expression recognition

딥러닝 표정 인식을 통한 운동 영상 유튜브 하이라이트 업로드 자동화(RPA) 설계

  • Shin, Dong-Wook (Dept. of Convergence Engineering, Hoseo Graduate School of Venture, Hoseo Univ.) ;
  • Moon, NamMee (Dept. of Convergence Engineering, Hoseo Graduate School of Venture, Hoseo Univ.)
  • 신동욱 (호서대학교 벤처대학원 융합공학과) ;
  • 문남미 (호서대학교 벤처대학원 융합공학과)
  • Published : 2022.05.17

Abstract

본 논문은 유튜브에 업로드 된 운동 영상을 시청하는 사람의 얼굴 영역을 YoloV3을 이용하여 얼굴 영상에서 눈 및 입술영역을 검출하는 방법을 연구하여, YoloV3은 딥 러닝을 이용한 물체 검출 방법으로 기존의 특징 기반 방법에 비해 성능이 우수한 것으로 알려져 있다. 본 논문에서는 영상을 다차원적으로 분리하고 클래스 확률(Class Probability)을 적용하여 하나의 회귀 문제로 접근한다. 영상의 1 frame을 입력 이미지로 CNN을 통해 텐서(Tensor)의 그리드로 나누고, 각 구간에 따라 객체인 경계 박스와 클래스 확률을 생성해 해당 구역의 눈과 입을 검출한다. 검출된 이미지 감성 분석을 통해, 운동 영상 중 하이라이트 부분을 자동으로 선별하는 시스템을 설계하였다.

Keywords