Acknowledgement
이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2020R1G1A1102683). 본 연구는 삼성미래기술육성센터의 지원을 받아 수행하였음 (No. SRFC-TC1603-52). 본 결과물은 교육부와 한국연구재단의 재원으로 지원을 받아 수행된 사회맞춤형 산학협력 선도대학(LINC+) 육성사업의 연구결과임.
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2021.11a
- /
- Pages.1012-1015
- /
- 2021
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Developing a mobile application serving sign-language to text translation for the deaf
청각 장애인을 위한 수어 영상-자연어 번역 서비스 및 모바일 어플리케이션 구현
- Cho, Su-Min (Dept. of Human-Centered Artificial Intelligence, Sangmyung University) ;
- Cho, Seong-Yeon (Dept. of Information Security, Seoul Women's University) ;
- Shin, So-Yeon (Dept. of Digital Media, Seoul Women's University) ;
- Lee, Jee Hang (Dept. of Human-Centered Artificial Intelligence, Sangmyung University)
- 조수민 (상명대학교 지능데이터융합학부 휴먼지능정보공학전공) ;
- 조성연 (서울여자대학교 정보보호학과) ;
- 신소연 (서울여자대학교 디지털미디어학과) ;
- 이지항 (상명대학교 지능데이터융합학부 휴먼지능정보공학전공)
- Published : 2021.11.04
Abstract
Covid-19 로 인한 마스크 착용이 청각장애인들의 소통을 더 어렵게 하는 바, 제 3 자의 도움 없이 쌍방향 소통을 가능하게 하는 서비스의 필요성이 커지고 있다. 이에 본 논문은 소통의 어려움을 겪는 청각장애인과 비청각장애인을 위한 쌍방향 소통 서비스에 대한 연구와 개발 과정, 기대 효과를 담는다. 서비스는 GRU-CNN 하이브리드 아키텍처를 사용하여 데이터셋을 영상 공간 정보와 시간 정보를 포함한 프레임으로 분할하는 영상 분류 기법과 같은 딥 러닝 알고리즘을 통해 수어 영상을 분류한다. 해당 연구는 "눈속말" 모바일 어플리케이션으로 제작 중이며 음성을 인식하여 수어영상과 텍스트로 번역결과를 제공하는 청각장애인 버전과 카메라를 통해 들어온 수어 영상을 텍스트로 변환하여 음성과 함께 제공하는 비청각장애인 버전 두 가지로 나누어 구현한다. 청각장애인과 비장애인의 쌍방향 소통을 위한 서비스는 청각장애인이 사회로 나아가기 위한 가장 기본적인 관문으로서의 역할을 할 것이며 사회 참여를 돕고 소통이라는 장벽을 넘어서는 발돋움이 될 것이라 예측된다.
Keywords