Journal of Intelligence and Information Systems (지능정보연구)

Korea Intelligent Information System Society (한국지능정보시스템학회)
권호 표지
DOI QR코드

DOI QR Code

Enhancing the performance of the facial keypoint detection model by improving the quality of low-resolution facial images

저화질 안면 이미지의 화질 개선를 통한 안면 특징점 검출 모델의 성능 향상

  • KyoungOok Lee (Department of AI, Big Data & Management, Kookmin University) ;
  • Yejin Lee (Department of AI, Big Data & Management, Kookmin University) ;
  • Jonghyuk Park (Department of AI, Big Data & Management, Kookmin University)
  • 이경욱 (국민대학교 경영대학 AI빅데이터융합경영학과) ;
  • 이예진 (국민대학교 경영대학 AI빅데이터융합경영학과) ;
  • 박종혁 (국민대학교 경영대학 AI빅데이터융합경영학과)
  • Received : 2023.04.10
  • Accepted : 2023.05.30
  • Published : 2023.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

When a person's face is recognized through a recording device such as a low-pixel surveillance camera, it is difficult to capture the face due to low image quality. In situations where it is difficult to recognize a person's face, problems such as not being able to identify a criminal suspect or a missing person may occur. Existing studies on face recognition used refined datasets, so the performance could not be measured in various environments. Therefore, to solve the problem of poor face recognition performance in low-quality images, this paper proposes a method to generate high-quality images by performing image quality improvement on low-quality facial images considering various environments, and then improve the performance of facial feature point detection. To confirm the practical applicability of the proposed architecture, an experiment was conducted by selecting a data set in which people appear relatively small in the entire image. In addition, by choosing a facial image dataset considering the mask-wearing situation, the possibility of expanding to real problems was explored. As a result of measuring the performance of the feature point detection model by improving the image quality of the face image, it was confirmed that the face detection after improvement was enhanced by an average of 3.47 times in the case of images without a mask and 9.92 times in the case of wearing a mask. It was confirmed that the RMSE for facial feature points decreased by an average of 8.49 times when wearing a mask and by an average of 2.02 times when not wearing a mask. Therefore, it was possible to verify the applicability of the proposed method by increasing the recognition rate for facial images captured in low quality through image quality improvement.

저화소의 감시카메라와 같은 촬영 장비를 통해 사람의 얼굴을 인식할 경우, 화질이 낮아 얼굴을 포착하기 어렵다는 문제점이 있다. 이렇게, 사람의 얼굴을 인식하기 어렵다면 범죄용의자나 실종자를 특정해내지 못하는 등의 문제가 발생할 수 있다. 기존 이미지 속 안면 인식에 관한 연구들에서는 정제된 데이터셋을 사용하였기 때문에 다양한 환경에서의 성능을 가늠하기 어렵다는 한계가 존재한다. 이에, 본 논문에서는 저화질 이미지에서 안면 인식 성능이 떨어지는 문제를 해결하기 위해 다양한 환경을 고려한 저화질 안면 이미지에 대해 화질 개선을 수행하여 고화질 이미지를 생성한 뒤, 안면 특징점 검출의 성능 향상시키는 방법을 제안한다. 제안 방법의 현실 적용 가능성을 확인하기 위해 전체 이미지에서 사람이 상대적으로 작게 나타나는 데이터셋을 선정하여 실험을 수행하였다. 또한 마스크 착용 상황을 고려한 안면 이미지 데이터셋을 선정하여, 현실 문제로의 확장 가능성을 탐구하였다. 안면 이미지의 화질을 개선하여 특징점 검출 모델의 성능을 측정한 결과, 개선 후 안면의 검출 여부는 마스크를 착용하지 않은 이미지의 경우 평균 3.47배, 마스크를 착용한 경우 평균 9.92배로 성능 향상을 확인할 수 있었다. 안면 특징점에 대한 RMSE는 마스크를 착용한 이미지의 경우 평균 8.49배 감소, 마스크를 착용하지 않은 경우 평균 2.02배 감소한 것을 확인할 수 있었다. 이에, 화질 개선을 통해 저화질로 포착된 안면 이미지에 대한 인식률을 높여 제안 방법의 활용 가능성을 확인할 수 있었다.

Keywords

Acknowledgement

이 연구는 과학기술정보통신부의 재원으로 한국지능정보사회진흥원의 지원을 받아 구축된 "마스크 착용 한국인 안면 이미지 데이터"를 활용하여 수행된 연구입니다.

References

  1. 권영우, 백성현, 김보순, 오성훈, 전영준, 정석찬. (2021). 저화질 공공 CCTV의 영상 화질 개선 방안 연구. 한국빅데이터학회지, 6권 제2호, 125-137.
  2. 김영국, 임채현, 손민지, 김명호. (2020). 마스크를 착용한 환경에서 얼굴 인식을 활용한 자동출석체크 시스템. 한국컴퓨터정보학회 학술발표논문집, 28(2), 23-26.
  3. 문지선, 신지태. (2022). 비지도학습 기반 저화질 CCTV 화질 개선 알고리즘. 대한전자공학회 학술대회, 1391-1394.
  4. 손현식, 김덕근, 양승환. (2022). 대기환경으로 인해 흐려진 영상에 대한 이미지 화질 개선 알고리즘 : 리뷰. 한국농업기계학회 학술발표논문집, 27(2), 79.
  5. 이승호. (2020). 출입 통제에 활용 가능한 딥러닝 기반 마스크 착용 판별. 한국산학기술학회 논문지, 21(8), 395-400.
  6. 이유호, 전동산. (2022). 압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘. 멀티미디어학회논문지, 25(5), 676-684.
  7. 이주영. (2023, 2월 2). 아시아인 마스크 계속 쓰네?... NYT "오랜 습관에다 표정 숨기려". 연합뉴스. https://www.yna.co.kr/view/AKR20230202056800009
  8. 이채원, 윤성빈, 조철우, 황현상, 이건영, 이의철. (2022). ESRGAN을 이용한 차량 번호판 화질 개선을 통한 인식률 향상. 차세대융합기술학회논문지, 6(1), 5-11.
  9. 장성민, 이정우, 박종혁. (2022). 위조번호판 부착차량 출입 방지를 위한 인공지능 기반의 주차관제시스템 개선 방안. 지능정보연구, 28(2), 57-74. https://doi.org/10.13088/JIIS.2022.28.2.057
  10. 정민혁. (2022, 11월 9). 서울시 노후 CCTV 1.3만대 육박... "교체 예산 매해 감소". 안전신문. https://www.safetynews.co.kr/news/articleView.html?idxno=216844
  11. 최남웅, 김우주. (2019). 적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법. 지능정 보연구, 25(3), 43-62.
  12. 한상욱, 안성만, 정여진. (2019). Object detection을 통한 문서내의 특정 객체 탐지 및 추출. 한국지능정보시스템학회 학술대회논문집, 29-30. 
  13. Baker. S. and T. Kanade., (2000). Hallucinating faces. Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition, 83-88.
  14. Bulat. A., G. Tzimiropoulos. (2017). Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs. arXiv, arXiv.1712.02765
  15. Cheng. M., Z. Jiang., J. Lu., J. Zhou. (2020). Deep Face Super-Resolution With iterative Collaboration Between Attentive Rexovery and Landmark Estimation. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 5568-5577.
  16. Chao. D., C. C. Loy., K. He., X. Tang., (2014) Image Super-Resolution Using Deep Convolutional Networks. arXiv, arXiv.1501.00092
  17. Davis E. King. (2009). Dlib-ml: A Machine Learning Toolkit. Journal of Machine Learning Research. 10:1755-1758.
  18. Fernandez. A., A. Farrugia., F. Julian., B. Josef. (2019). Super-Resolution for Selfie Biometrics: Introduction and Application to Face and Iris. Halmstad University, CAISR - Center for Applied Intelligent Systems Research, 77, 105-208
  19. Ledig. C., L, Theis., F. Huszar., A. Cunningham., A. Acosta., A. Aitken., A. Tejani., J. Totz., Z. Wang. And W. Shi. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 105-114.
  20. Liang. J., J. Cao., G. Sun., K. Zhang., L. V. Gool. And R. Timofte. (2021). SwinIR: Image Restoration Using Swin Transformer. 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 1833-1844.
  21. Lingbo. Y., S. Wang., S. Ma., W. Gao., C. Liu., P. Wang. and P. Ren. (2020). HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment. Proceedings of the 28th ACM International Conference on Multimedia (MM '20), 1551-1560.
  22. Liu. Z., Y. Lin., H. Hu., Y. Wei., Z. Zhang., S. Lin., B. Guo. (2021). Swin Transformer: Hierarchical Vision Trasnformer using Shifted Windows. arXiv, arXiv.2103.14030.
  23. Nguyen. K., C. Fookes, S. Sridharan, M. Tistarelli, and M. Nixon. (2018). Super-resolution for biometrics: A comprehensive survey. Pattern Recognition, 78, 23-42. https://doi.org/10.1016/j.patcog.2018.01.002
  24. Raschka. S., (2018). MLxtend: Providing machine learning and data science utilities and extensions to Python's scientific computing stack. Journal of Open Source Software, 3(24), 638.
  25. Sagonas. C., G. Tzimiropoulos., S. Zafeiriou. And M. Pantic. (2013). 300 Faces in-the-Wild Challenge: The First Facial Landmark Localization Challenge. 2013 IEEE International Conference on Computer Vision Workshops, 397-403.
  26. Taesung. P., M. Liu., J. Zhu., (2019). Semantic Image Synthesis With Spatially-Adaptive Normalization. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2332-2341.
  27. Wang. X., K. Yu., S. Wu., J. Gu., Y. Liu., C. Dong., C. C. Loy., Y. Qiao. And X. Tang. (2018). ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks. arXiv, arXiv. 1809.00219