DOI QR코드

DOI QR Code

A Facial Morphing Method Using Delaunay Triangle of Facial Landmarks

얼굴 랜드마크의 들로네 삼각망을 이용한 얼굴 모핑 기법

  • 박경남 (나사렛대학교 IT융합학부)
  • Received : 2018.01.14
  • Accepted : 2018.01.29
  • Published : 2018.01.31

Abstract

Face morphing, one of the most powerful image processing techniques that are often used in image processing and computer graphic fields, as it is a technique to change the image progressively and naturally from the original image to the target image. In this paper, we propose a method to generate Delaunay triangles using the facial landmark vertices generated by the Dlib face landmark detector and to implement morphing through warping and cross dissolving of Delaunay triangles between the original image and the target image. In this paper, we generate vertex points for face not manually but automatically, which is the major feature of the face such as eye, eyebrow, nose, and mouth, and is used to generate Delaunay triangles automatically which is the main characteristic of our face morphing method. Simulations show that we can add vertices manually and get more natural morphing results.

얼굴 모핑은 원본 이미지에서 목표 이미지로 점진적이면서 자연스럽게 영상을 변화시키는 기법으로 영상처리와 그래픽 분야에서 자주 사용되는 강력한 영상처리 기술 중의 하나이다. 본 논문에서는 Dlib 얼굴 랜드마크 검출기를 이용하여 생성된 얼굴 랜드마크 정점들을 이용하여 들로네 삼각망을 생성하고 원본 영상에서 목표영상으로의 들로네 삼각망들의 와핑과 크로스 디졸브를 통해 모핑을 구현하는 방법을 제안하였다. 본 논문에서 제안한 방법은 들로네 삼각망을 생성하기 위한 정점들을 수동으로 만들어 주는 것이 아니라, 얼굴 모핑에서 얼굴의 주요한 부분인 눈, 눈썹, 코, 입 등의 얼굴의 주요 특징점이라 할 수 있는 얼굴 랜드마크들을 이용함으로써 자동으로 들로네 삼각망을 생성할 수 있다는 것이 특징이다. 그리고 수동으로 정점을 추가할 수도 있어 더욱 자연스러운 모핑 결과를 얻을 수 있을 수 있다는 것을 시뮬레이션을 통해 확인하였다.

Keywords

References

  1. G. Wolberg, "Image morphing: a Survey," The Visual Computer, Vol. 14, No. 8-9, pp. 360-372, Dec 1998. https://doi.org/10.1007/s003710050148
  2. H. J. Lee and N. Y. Kwak, "A Field-based Morphing with Semi-automatic Control Lines Matching Using Image Segmentation," The Journal of Digital Contents Society, Vol. 5, No. 4, pp. 269-274, Dec 2004.
  3. K. T. Hwang, "Morphing and Warping using Delaunay Triangulation in Android Platform," Journal of Korea Game Society, Vol. 10, No. 6, pp. 137-146, Dec 2010.
  4. E. J. Kim, S. H. Yoon, and J. Lee, "Acceleration of Feature-Based Image Morphing Using GPU," Journal of the Korea Computer Graphics Society, Vol. 20, No. 2, pp. 13-24, May 2014.
  5. H. J. Lee, H. M. Kim, and N. Y. Kwak, "Automatic Generation of the Control Line Using Polygon based Vertex Search for Field-based Morphing," in Proceeding of the Korea Contents Society(2004), Vol. 2, No. 1, pp. 377-384, 2004.
  6. T. Beier and S. Neely, "Feature-Based Image Metamorphosis," Proceeding of SIGGRAPH'92 on Computer Graphics, Vol. 26(2), pp. 35-42, 1992.
  7. Y. K. Kim and B. R. Lee, "Field and Mesh-Based Automatic Morphing of Face Images Using Feature Points Extraction," Journal of KIISE, Vol. 38, No. 5, pp. 240-247, May 2011.
  8. OpenCV site: http://www.opencv.org
  9. Dlib C++ Library site: http://dlib.net
  10. V. Kazemi and J. Sullivan, "One Millisecond Face Alignment with an Ensemble of Regression Trees," in ECCV, pp. 679-692, 2014.
  11. S. H. Jung and J. W. Bae, Digital Image Processing and Its Application Using OpenCV, 1st ed. Life & Power Press, 2017.
  12. S. Lee, G. G. Lee, E. S. Jang, and W. Y. Kim, "Fast Affine Transform for Real-Time Machine Vision Applications," Lecture Notes in Computer Science(Springer, Berlin, Heidelberg), Vol. 4113, pp. 1180-1190, 2006.