• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.1180-1183
• /
• 2021

카메라에 촬영된 이미지를 바탕으로 Mediapipe를 활용해 손을 식별하여 키오스크를 직접 만지지 않고 제어가 가능하게 함으로써, Covid-19 Pandemic 상황에 감염원을 제거하여 사용자의 코로나 감염 확률을 최소화 시킬 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.304-307
• /
• 2021

ML(machine learning) 기술을 활용하여 실용적인 측면에서 일반 사용자들이 바라보고 사용할 수 있도록 다양한 연구 개발이 이루어지고 있다. 특히 최근 개인 사용자의 personal computer와 mobile device의 processing unit의 연산 처리 속도가 두드러지게 빨라지고 있어 ML이 더 생활에 밀접해지고 있는 추세라고 볼 수 있다. 현재 ML시장에서 다양한 솔루션 및 어플리케이션을 제공하는 툴이나 라이브러리가 대거 공개되고 있는데 그 중에서도 Google에서 개발하여 배포한 'Mediapipe'를 사용하였다. Mediapipe는 현재 'android', 'IOS', 'C++', 'Python', 'JS', 'Coral' 등의 환경에서 개발을 지원하고 있으며 더욱 다양한 환경을 지원할 예정이다. 이에 본 팀은 앞서 설명한 Mediapipe 프레임워크를 기반으로 Machine Learning을 사용한 image processing를 통해 일반 사용자들에게 편의성을 제공할 수 있는 알람 프로그램을 연구 및 개발하였다. Mediapipe에서 신체를 landmark로 검출하게 되는데 이를 scikit-learn 머신러닝 라이브러리를 사용하여 특정 자세를 학습시키고 모델화하여 알람 프로그램에 특정 기능에 조건으로 사용될 수 있게 하였다. scikit-learn은 아나콘다 등과 같은 개발환경 패키지에서 간단하게 이용 가능한데 이 아나콘다는 데이터 분석이나 그래프 그리기 등, 파이썬에 자주 사용되는 라이브러리를 포함한 개발환경이라고 할 수 있다. 하여 본 팀은 ML기반의 영상처리 알람 프로그램을 제작하는데에 있어 이러한 사항들을 파이썬 환경에서 기본적으로 포함되어 제공하는 tkinter GUI툴을 사용하고 추가적으로 인텔에서 개발한 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리 OpenCV와 여러 항목을 사용하여 환경을 구축할 수 있도록 연구·개발하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.453-454
• /
• 2022

Covid-19 및 최저임금 인상의 영향으로 무인 결제 시스템인 키오스크의 도입률이 급속히 증가하고 있다. 그러나 불특정 다수가 이용하는 키오스크의 특성상 주의를 기울이지 않으면 감염의 매개체가 될 수 있다. 따라서 본 논문에서는 Mediapipe를 활용하여 비접촉 키오스크 제어 방법을 설계 및 제안한다. 이는 카메라를 이용한 커서 제어 방식으로 키오스크뿐만 아니라 카메라와 모니터만 있으면 다양한 환경에서 커서를 제어할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.15-16
• /
• 2021

본 논문에서는 RGB 영상 데이터를 입력으로 하여 mediapipe의 손 포즈 추정 알고리즘을 적용해 손가락 관절 및 주요 부위의 위치를 얻고 이를 기반으로 딥러닝 모델에 학습 후 손동작 인식 방법을 제안한다. 연속된 프레임에서 한 손의 손가락 주요 부위 간 좌표를 얻고 차분 벡터의 x, y좌표를 저장한 후 Conv1D, Bidirectional GRU, Transformer를 결합한 딥러닝 모델에 학습 후 손동작 인식 분류를 하였다. IC4You Gesture Dataset 의 한 손 동적 데이터 9개 클래스에 적용한 결과 99.63%의 손동작 인식 정확도를 얻었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.438-439
• /
• 2022

최근 데이트 폭력 신고 건수가 급격히 증가하며 사회적 문제로 대두되고 있다. 폭력을 당하는 순간 당황하여 확실한 증거 확보가 어렵다는 점에서 착안하여 상대방이 폭력을 가하는 순간 폭력 행동을 인식하여 해당 장면을 캡처 후 저장해 증거물의 역할을 할 수 있는 시스템을 구축하였다. 시스템 구축을 위해 동작 인식 모델을 생성하였는데 데이터 수집, 가공 후 여러 모델을 비교해 가장 정확도가 높은 모델을 시스템에 적용하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.3
• /
• pp.150-159
• /
• 2022

This paper presents an implementation of detecting whether a helmet is worn and there is a fall accident through individual image analysis in real-time from extracting the image objects of several workers active in the industrial field. In order to detect image objects of workers, YOLO, a deep learning-based computer vision model, was used, and for whether a helmet is worn or not, the extracted images with 5,000 different helmet learning data images were applied. For whether a fall accident occurred, the position of the head was checked using the Pose real-time body tracking algorithm of Mediapipe, and the movement speed was calculated to determine whether the person fell. In addition, to give reliability to the result of a falling accident, a method to infer the posture of an object by obtaining the size of YOLO's bounding box was proposed and implemented. Finally, Telegram API Bot and Firebase DB server were implemented for notification service to administrators.

• International Journal of Internet, Broadcasting and Communication
• /
• v.14 no.3
• /
• pp.108-114
• /
• 2022

Autism (ASD) is a mental disorder characterized by a pronounced deficit in personal, social, speech, and other aspects of development and communication skills. Since autism is a complex developmental disorder that requires a lot of effort to recognize, this research was conducted to develop an interactive data Acquisition System and detect the first signs of ASD in children. The proposed system presents several variants of the tasks in an entertaining form, using hand tracking. Hand tracking is used to attract children's attention and interest them more to achieve more accurate results. The creation of the system is based on such libraries as OpenCV, PyGame, TensorFlow, and Mediapipe. The ultimate goal of the paper is to obtain data on the disease of autism in children for use in further diagnosis by medical experts.

• International Journal of Internet, Broadcasting and Communication
• /
• v.15 no.2
• /
• pp.31-38
• /
• 2023

This paper introduces a real-time face swapping system that enables video influencers to swap their faces with arbitrary generated face images of their choice. The system is implemented as a Django-based server that uses a REST request to communicate with the generative model,specifically the pretrained stable diffusion model. Once generated, the generated image is displayed on the front page so that the influencer can decide whether to use the generated face or not, by clicking on the accept button on the front page. If they choose to use it, both their face and the generated face are sent to the landmark extraction module to extract the landmarks, which are then used to swap the faces. To minimize the fluctuation of landmarks over time that can cause instability or jitter in the output, a temporal filtering step is added. Furthermore, to increase the processing speed the system works on a reduced set of the extracted landmarks.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.215-217
• /
• 2021

본 논문은 3D 공간에서 사용자를 추출한 뒤, 체적 정보 분석을 통한 3D 스켈레톤(skeleton) 분석 과정을 통해 정확도 높은 다수 사용자의 위치 추적 기술에 대해 연구하였다. 이를 위하여 YOLO(You Only Look Once)를 활용하여 실시간으로 객체를 검출(Real-Time Object Detection)한 뒤 Google의 Mediapipe를 활용해 스켈레톤 추출, 스켈레톤 정규화(normalization)를 통한 스켈레톤의 크기 및 상대적 비율 계산, RGB 영상 스케일링(Scaling) 후 주요 마디 인접 영역의 RGB 색상 정보를 추출하는 방법을 통해 정확도가 개선된 높은 성능의 다중 사용자 추적 기술을 연구하였다.