3D 캐릭터의 얼굴 블렌드쉐입(blendshape)의 제작연구 -언리얼 엔진의 페이셜 캡처를 중심으로

A Study on the Fabrication of Facial Blend Shape of 3D Character - Focusing on the Facial Capture of the Unreal Engine

Abstract

얼굴 표정은 영화나 애니메이션에서 캐릭터의 특징을 나타내기 위한 중요한 수단이며, 페이셜 캡쳐 기술은 3D 캐릭터의 페이셜 애니메이션 제작을 보다 빠르고 효과적으로 지원할 수 있다. 블렌드쉐입(blendshape) 기법은 고품질의 3D 얼굴 애니메이션을 생성하기 위해 가장 널리 사용되는 방법이지만, 전통적인 블렌드쉐입은 제작에 시간이 오래 걸리는 경우가 많다. 따라서 블렌드쉐입의 제작 기간을 줄이기 위해 전통적인 제작의 효과에 크게 뒤지지 않는 결과를 얻으려는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입의 제작을 위해 크로스 모델(Cross-Model)로 블렌드쉐입을 전달 방법을 사용하고, 전통적인 블렌드쉐입의 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다. 이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 삼고, 각각 두 가지 블렌드쉐입 제작 기법을 사용하여 페이셜 캡처 테스트를 실시하고, 블렌드쉐입과 연동된 얼굴 표정 제작 방법의 효과를 비교 분석하였다.

Facial expression is an important means of representing characteristics in movies and animations, and facial capture technology can support the production of facial animation for 3D characters more quickly and effectively. Blendshape techniques are the most widely used methods for producing high-quality 3D face animations, but traditional blendshape often takes a long time to produce. Therefore, the purpose of this study is to achieve results that are not far behind the effectiveness of traditional production to reduce the production period of blend shape. In this paper, in order to make a blend shape, the method of using the cross-model to convey the blend shape is compared with the traditional method of making the blend shape, and the validity of the new method is verified. This study used kit boy developed by Unreal Engine as an experiment target conducted a facial capture test using two blend shape production techniques, and compared and analyzed the facial effects linked to blend shape.

Ⅰ. 서론

1. 연구 목적 및 방법

컴퓨터그래픽 기술의 빠른 발전에 따라 가상의 3D 캐릭터가 영화와 애니메이션 제작에서 꾸준히 등장하고 있다. 얼굴 표정은 영화나 애니메이션에서 캐릭터의 특징을 나타내기 위한 중요한 수단이기 때문에 더욱 사실적이고 풍부한 얼굴 애니메이션을 만들기 위한 기술이 애니메이션 실제 산업에서 사용되어 왔다 블렌드쉐입(blendshape) 기법은 고품질의 3D 얼굴 애니메이션을 생성하기 위해 널리 사용되는 방법이며, 특히 영화에 등장하는 현실적인 휴머노이드 캐릭터를 제작에 주로 사용된다[1]. 페이셜 캡처 기술은 3D 캐릭터의 페이셜 애니메이션 제작의 신속성과 효율성을 향상시킨다. 특히 페이셜 캡처 방법 중 하나인 아이폰을 활용할 경우 개인 및 작은 스튜디오 등이 페이스 애니메이션을만들 때 더욱 좋은 경험을 할 수 있다. 아이폰으로 페이셜 캡처 작업을 할 때 캐릭터 얼굴의 블렌드쉐입 제작품질이 높을수록 얼굴 표정의 표현 효과가 좋아진다. 전통적인 블렌드쉐입은 제작에 상대적으로 오랜 시간이 소요된다. 각 표정의 블렌드쉐입은 모델의 버텍스(vertex)를 이동 조정해 제작해야 하는데, 블렌드쉐입의 조정을 반복해야 더 나은 표정 표현이 가능하기 때 문이다. 따라서 블렌드쉐입 제작 기간을 줄이면서도 전통적 제작의 효과에 필적하는 수준에 도달하는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입 제작을 위해크로스 모델로 블렌드쉐입의 전달 방법을 사용하고, 전통적인 블렌드쉐입 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다.

이번 연구의 3D 제작 소프트웨어는 Unreal Engine 4.26과 Autodesk Maya2019로 구분한다. 블렌드쉐입제작은 주로 Maya에서 이루어지며, 언리얼 엔진을 통한 페이셜 캡처 테스트 결과를 블렌드쉐입 제작 효과대비 기준의 하나로 삼는다.

이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 하여, 크로스 모델로 블렌드쉐입이 전달하는 방법으로 얼굴 표정의 블렌드쉐입을 재제작한 후 기존 블렌드쉐입과 비교 분석한다. 이후 두 기법으로 얻은 모델을 언리얼 엔진에서 페이셜 캡처 테스트를 해 서로 다른 감정을 위한 표정 효과로 다시 비교했다.

2. 사례 연구

에픽(Epic)은 GDC2015에서 'The boy and his Kite'를 선보였다. 본 연구의 실험 대상으로 이 작품의 캐릭터인 키트 보이를 선택한 이유는 Epic Games의 learn에서 Face AR Sample이 사용한 캐릭터가 키트보이이기 때문이다. 해당 캐릭터의 페이셜 애니메이션 파이프라인은 매우 범용적이고 블렌드쉐입 500개 정도 사용했다. 이 블렌드쉐입의 제작은 Ekman이 1978년 제안한 Facial Action Coding System을 기반으로 하여 얼굴 표정을 제어하였다. GDC나 그 후 라이브 트레이닝 비하인드에서 제작진이 페이셜 블렌드쉐입의 구체적인 제작 시기는 밝히지 않았지만, 그가 전하는 내용에 따르면 몇 주 이상 걸릴 것으로 보인다. 이 단계에서 제작진이 페이셜 애니메이션의 질적 향상을 위해 많은 노력을 기울였음을 짐작할 수 있다. 이에 2018년 이 캐릭터를 기반으로 Face AR Sample을 개발하여 언리얼 엔진에서 애플(Apple)의 ARKit face tracking 능력을 선보였다. 이 프로젝트에서는 아이폰X와 그 이상버전의 휴대폰을 페이스 캡처 기기로 키트 보이와 연동해 보다 빠르게 양질의 페이스 애니메이션을 만들 수 있었다[2][3].

그림1. Facial anim tech

II. 전통적인 3D 캐릭터 모델의 얼굴 블렌드 쉐입 제작에 관한 고찰

블렌드쉐입 작업 관련 용어는 작업 방식에 따라 다양한 개체와 모양이 관련되어 있으며 다음과 같은 것들이 있다. 베이스 메쉬(base mesh) (일명: 기본 개체)는 변형하려는 원래 개체이다. 이것은 블렌드쉐입 디포머를 적용하는 오브젝트이다. 타깃 쉐입(target shape) (일명: 대상 개체)는 일반적으로 베이스 메시의 복제본이다. 각각을 고유한 포즈(예: 다른 표정)로 수정한다. 베이스 메쉬를 직접 수정할 수도 있으므로 대상 개체를 만들 필요가 없다. 기본 개체를 다른 포즈로 직접 수정하고 각 포즈를 타깃 쉐입으로 저장할 수도 있다. 베이스 메쉬에서 정점의 오프셋은 각 타깃 쉐입에 저장된다. 블렌드쉐입은 기본 개체에 적용되는 타깃 쉐입의 결과이다. 각 대상 개체의 가중치를 변경하여 블렌드쉐입에 미치는 영향의 양을 변경할 수 있다[4]. [그림 2]와 같이 베이스 메쉬는 변형되기 전의 원래 객체이며 표정 1. 2는 베이스 메쉬를 기반으로 버텍스의 이동을 통해 만들어진 타깃 쉐입이다. 가장 오른쪽 형상은 가운데 두 개의 타깃 쉐입을 통해 얻은 최종 표정이다. 블렌드쉐입은 무표정 베이스 쉐입(base shape)의 형상을 변형시켜 다른 표정의 타깃 쉐입을 생성하고, 두 형상간의 선형 보간을 통해 새로운 얼굴 표정을 합성하는 기술이다[1].

[그림 2]와 같이 두 개의 타깃 쉐입을 융합하는 방식으로 새로운 타깃 쉐입을 얻는다. 이 방식은 조합방식에 기초를 두기 때문에 사용자가 원하는 결과를 만들어내기까지 많은 시간과 인내를 필요로 한다. 그리고 제작된 소스를 모두 활용할 경우 다양한 형태의 얼굴 표정을 구현해 낼 수 있지만 제작된 모든 소스를 일일이 모두 블랜딩을 해서 원하는 결과를 찾아내야 한다는 단점이 있다. 또한 원하는 표정이 정확히 나오지 않을 경우도 많이 발생한다. 블랜딩 이라는 제작 방식을 쓰기 때문에 전적으로 제작된 소스에 의해 결과가 제작되기 때문에 한계성에 부딪히는 경우가 많이 발생한다[5].

그림 2. The process of creating a blendshape

III. 아이폰을 이용한 언리얼 엔진에서 페이셜 캡처의 프로세스

페이셜 캡처는 사람의 얼굴 표정 변화를 실시간으로 포착하고 복원하는 기술이며 일반적으로 페이셜 캡처는 광학식 캡처 방식을 사용한다. 이 방식은 광학식 마커(Maker)를 부착하여 표정 데이터를 얻는 방법이다. 또 한 배우의 얼굴에 부착된 마커와 캐릭터 얼굴 모델링의 조절점을 연동시켜 배우가 다양한 표정을 지음에 따라 캐릭터 모델이 변형되는 실시간 인터렉티브 기술로까지 사용되고 있다. 반면, 광학식 모션 캡처와 마커없이 카메라 등을 이용하여 촬영된 이미지로부터 얼굴애니메이션을 생성하는 방법도 최근 다양하게 연구되고 있다[6].

아이폰을 이용한 얼굴 캡처는 마커(Maker)를 사용하지 않는 방식으로 주로 뎁스 카메라(Depth Camera) 기능을 사용한다. 이 같은 페이셜 캡처 방식은 [그림 3] 과 같은 여러 프로젝트에서 활용되고 있다. 장비 가격이 저렴하고 사용이 편리하다는 장점이 있다.

그림 3. Bebylon: Battle Royale with iPhone motion capture(from digitalartsonline.co)

일반적으로 언리얼 엔진에서 아이폰을 이용한 페이셜 캡처 제작은 3단계로 구분한다. 첫 번째 단계는 캐릭터의 베이스 메시 제작 단계이다. 두 번째는 베이스메쉬를 기반으로 대상 개체(표정별)을 다르게 만드는 단계다. 애플사가 개발자에게 오픈소스를 열어주는 ARKit Face tracking 관련 51개 특유의 블렌드쉐입 (morph target)에서 따온 표정들이다. 이들 블렌드쉐입은 제작자가 얼굴 근육의 구조와 운동을 연구 분석해 표정별 얼굴 근육 형태를 창조하는 방식으로 제작된다. 이 과정은 정점을 움직이는 것이다. 제작자들이 많은 시간과 노력을 기울여야 하는 과정임은 분명하다. 마지막 단계는 완성된 머리 모델링을 언리얼 엔진에 도입해 실시간 연동 테스트를 실시하고, 완성도를 높이기 위해 블렌드쉐입을 재조정하는 과정이다. [그림 4]는 전통 블렌드쉐입 제작 기법을 사용해 언리얼 엔진에서 페이셜캡처를 위한 프로세스로 제작됐다.

그림 4. 아이폰을 이용한 언리얼 엔진에서 페이셜 캡처의 프로세스

이 과정을 보면 전통적인 표정 블렌드쉐입 제작에는 장시간이 소요되지만 섬세한 얼굴 표정을 얻을수 있음을 알 수 있다. 본 논문은 블렌드쉐입을 크로스 모델로 전달하는 기법을 전통적 블렌드쉐입 제작 방식에 대한 대안으로 제시함으로써 제작 효율성을 개선한다. 새로운 프로세스는 기존 제작 프로세스와 대부분 일치하지만 블렌드쉐입이 만들어지는 과정에서 차이가 있다. 다양한 표정 각각을 만드는 것에서 애니메이션 시퀀스를 기반으로 표정 시퀀스를 생성한다. 이를 통해 신속한 블렌드쉐입 제작과정이 가능하다. 일반적으로 몇 주일이 걸리는 제작 기간이 블렌드쉐입을 크로스 모델로 전달하는 기법을 사용하면 며칠 이내로 줄일 수 있다.

IV. 언리얼 엔진 페이셜 캡처의 블렌드쉐입을 기반으로 한 새로운 제안

1. Maya에서 크로스 모델로 블렌드쉐입을 전달의 제작 기법

이 글에서 제시한 블렌드쉐입의 크로스 모델 기법은 mask를 매개로 기존 얼굴 표정을 블렌드쉐입으로 캐릭터 베이스 메쉬에 애니메이션 시퀀스로 전달하는 방식이다. 제작 전반에 대해 자세히 설명하자면 base mesh를 기준으로 모델 흡착 기능을 켜서 해당 캐릭터에 맞는 maskA를 만든 것이 첫 단계이다. 다음으로 point on poly의 구속 관계를 통해 이 mask A를 위해 하나의 점으로 하나의 뼈에 대응하는 facial skeleton을 만드는 것이두 번째 단계이다.

이 단계까지 진행되면 mask A의 각 점의 이동에 대응하는 골격을 이동시킬 수 있다.

세 번째는 base mesh와 facial skeleton을 위한 bind skin을 진행하고 skin weights를 조정하는 단계이다. 이를 통해 mask_A의 각 점 이동으로 base mesh에 대응하는 각 영역의 이동을 제어할 수 있다. ARKit의 51개 블렌드쉐입을 mask A에 전달한다.

네 번째 단계에서는 51개의 블렌드쉐입 모델을 갖는 씬에 mask A를 도입한다. 흡착 기능을 켜고 모델을 기반으로 mask의 점을 조정하여 새로운 mask B를 생성한다.

다섯 번째 단계에서는 각 표정을 키 프레임으로 만들어 deform에 있는 wrap 명령을 적용시키면 mask_B 도 머리 모형을 따라 움직인다. mask_B는 alembic cache로 애니메이션을 베이킹한다[그림 5][그림 6].

그림 5. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계1~3)

그림 6. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계4~5)

다음은 크로스 모델로 블렌드쉐입을 전달되는 과정이다.

여섯 번째 단계로는 mask_B의 alembic 파일을 mask A와 skin weight가 있는 base mesh의 씬으로 가져온다. maskA와 maskB를 복사하고 다시 명명한다. 복사된 maskA를 maskwrap, 복사된 mask_B를 mask BS로 명명한다. 이후 mask_wrap과 mask_B를 선택하고 mask BS를 선택한 후 blendshape1을 만든다. Shape editor에서 mask_wrap 값을 1로 조정한다. 이 과정은 mask B를 mask A로 변형시키는 것이다. 그리고 maskB 값을 1로 조정한다. 이렇게 mask_BS는 애니메이션 정보를 갖게 된다. 다음으로 mask_BS를 선택하고 mask_A를 선택하여 blendshape2를 만들고 shape editor에서 mask_BS 값을 1로 조정한다. 이렇게 mask BS의 애니메이션 정보를 mask A에 전달함으로써 캐릭터의 베이스 메시는 facial skeleton의 이동을 통해 51개의 표정 블렌드쉐입을 생성할 수 있다. 마지막으로 facial skeleton의 변화를 조정해 표정 하나하나를 개선하고, shape editor에서 블렌드쉐입를 정리하는 것이다[그림 7].

그림 7. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계6~7)

크로스 모델 전달 기법을 사용해 제작 시간을 크게 줄인 점을 잘 드러내기 위해 녹화 프로그램을 통해 제작 시간을 기록하였다. 또한 정확한 기록을 위해 몇 단계로 나눠 녹화를 진행하였다. 상기 구분된 단계를 기준으로 각 단계에서 사용된 제작 시간을 기록하였다. 그러나 제작 기술 측면에서는 제작자마다 개인 기술수준과 편집된 캐릭터 메쉬의 품질 고저가 다르기 때문에 제작자마다 제작 시간이 다르다. 그러나 일반적으로 누구든지 절대적인 시간이 소요되는 과정이라는 것을 고려해야 할 것이다. 1~2단계 완성은 약 30분 정도 소요되며, 3단계 완성은 약 3~4시간 소요된다. 이 단계는가중치 배분으로 후속 블렌드쉐입의 품질에 큰 영향을 미치기 때문에 시간이 많이 걸린다. 물론 기술 수준의 차이로 인해 제작 시간이 여기에다가 줄거나 증가할 수 있다. 4~5단계 완성은 약 30분 정도 소요되며, 6단계 완성은 약 20분 정도 소요된다. 7단계는 최종 정리단계 인데, 이 단계에서는 전달이 안 되는 부분을 수정해야 한다. 그리고 이 수정 과정은 제작자의 능력에 따라, 그리고 표정 품질에 대한 요구에 따라 시간이 달라진다. 결론적으로 위의 단계 중 1,2,4, 5, 6단계는 객관적인 조작이므로 제작 기간이 짧다. 반면 3단계와 7단계는 주관적인 과정이기 때문에 소요시간을 규정하기는 어렵다[표 1].

표 1. 크로스 모델로 블렌드쉐입을 전달의 제작시간

2. 얼굴 애니메이션 표정효과 대비분석

일단 블렌드쉐입의 제작 효과 비교해보도록 하였다. 대조 대상은 기존 기법으로 제작된 블렌드쉐입, 크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입, 그리고 전자의 수정된 블렌드쉐입이다. 이 세 가지를 비교하여 두 기법의 특징을 대비 분석하였다.

비교를 통해 크로스 모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입은 대응 표정에서 정점의 이동 방향과 전통적인 기법이 일치하는 경향이 있어 표정별 효과가 유사하다는 사실이 드러난다. 하지만 51개의 ARKit 블렌드쉐입을 가진 모델의 품질에 한계가 있어 블렌드쉐입 효과가 그대로 전달되는 것도 영향을 받을 수 있다. 영향은 두 가지 측면에서 나타난다. 첫째, 두 기법은 대응 표정에서 mesh가 움직이는 점의 수가 다르다. 이렇게 하면 통제하는 얼굴 근육의 범위가 다르다는 것을 직관적으로 표현하게 되는데 [표 2]에서 볼수 있듯이 전통적인 기법으로 통제하는 점이 더 많다.

표 2. 블렌드쉐입 효과 대비

두 번째, 두 기법은 대응 표정에서 mesh가 움직이는 점의 거리가 다르고, 이 차이는 주로 안면근육의 형변 (形交) 정도를 초래한다. 따라서 페이스 sink weights 의 품질에도 영향을 미친다. 전반적으로 크로스 모델로 블렌드쉐입을 전달 기법은 준수한 페이스 블렌드쉐입을 얻을 수 있다. 기존 기법으로 만든 효과에는 미치지 못하지만 정점 위치를 조절해 품질이 가능하다.

다음으로는 두 가지 기법으로 얻은 캐릭터 파일을 언리얼 엔진에 도입해 얼굴 연동 테스트를 진행한다. 이번 테스트에서는 일치한 animation blueprint를 사용해 본인이 기존에 발표한 논문--A Study on Facial Capture Techniques of Custom Characters Based on Unreal Engine[7]과 일치한 정서를 기준으로 한 테스트 방식을 적용해 비교 분석한다.

그림 8. Animation blueprint의 AnimGraph

그림 9. Animation blueprint의 Event Graph

그림 10. Unreal engine에서 iPhone을 이용한 페이셜캡처

표 3. 언리얼 엔진에서 두 가지 블렌드쉐입 제작 기법을 이용하 여 페이셜 캡처의 표정 대비

두 기법이 연동된 표정효과를 보면 대체로 비슷하다. 모든 정서에 대해 양자는 기본적으로 효과적인 결과를 나타낸다. 기존 방식의 표정이 더 생생하고 섬세하다는 결과가 나오는데 블렌드쉐입 품질 측면에서는 전통적인 기법이 우수하기 때문이다. 특히 이마 근육과 입가 근육의 운동 표현은 기존 방식이 더욱 섬세하게 보였지만 정서적 표현 측면에서는 양쪽 방식이 모두 효과적이다. 따라서 얼굴 표정에 대한 블렌드쉐입 품질 수준에 대한 요구가 높지 않은 상황이라면 크로스 모델로 전달 기법을사용하여 블렌드쉐입을 제작한다면, 언리얼 엔진에 얼굴을 연동하는 제작 프로세스가 보다 효율적이다.

V. 결론

본문은 언리얼 엔진에 아이폰을 이용해 페이셜 캡처한 얼굴 애니메이션을 제작하는 경우 새로운 표정 블렌드쉐입 제작 방안을 제시해 얼굴 표정 애니메이션 제작의 효율성을 향상시키는 방법을 연구하였다. 먼저 블렌드쉐입의 정의와 언리얼 엔진에서 아이폰을 이용한 페이셜 캡처 프로세스를 이론적 배경으로 기술하였다. 다음으로 연구 과정에 필요한 전통적인 표정 블렌드쉐입 제작 기법의 특성에 맞춰 새로운 크로스 모델로 블렌드쉐입을 전달 기법을 제시하였다. 마지막으로 두 가지 기법을 사용해 얻은 표정 블렌드쉐입과 언리얼 엔진에서 연동된 표정 효과를 비교해 장단점을 분석하였다.

비교 분석 결과 블렌드쉐입 제작의 측면에서 기존 방식의 블렌드쉐입은 표정이 섬세하고 얼굴 근육의 움직임이 효과적이지만 제작 시간이 오래 소요된다. 크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입은 얼굴 표정은 비교적 섬세하지 못하지만 제작 기간은 현저히 줄어든다. 언리얼 엔진에서 얼굴 연동 테스트를 보면 두 기법 모두 기본적인 정서 표현에서 좋은 효과를 볼 수 있으며, 기존 블렌드쉐입 기법은 블렌드쉐입의 질이 높기 때문에 얼굴 근육의 표현에서 우월하며, 특히 이마와 입 주위의 근육이 우수하다.

캐릭터와 같은 로폴리곤 모델(Low-polygon Model) 을 사용할 경우 고도의 섬세한 표정이 필요 없는 상황에서 크로스 모델로 블렌드쉐입을 전달 기법으로 블렌드쉐입을 제작하면 제작 시간을 절감할 수 있어 작업의 효율성을 크게 높일 수 있다. 제작 인력이 부족하고 제작주기가 짧은 프로젝트 제작이나 개인 창작의 경우, 이러한 제작 프로세스는 작업 환경에 더 부합하며, 애니메이션의 품질을 크게 저하시키지 않고 작업 효율성을 높일 가능성이 높다. 물론 이 두 기법을 결합해서 사용할 수도 있다. 크로스 모델로 블렌드쉐입을 전달 기법을 사용한 후 기존 기법을 사용하여 개선하면 블렌드쉐입제작 과정에 많은 시간을 절약할 수 있다. 본 논문을 통해 캐릭터 페이셜 애니메이션을 중심으로 한 고품질 VFX영상 제작이나 게임엔진을 활용한 실시간 XR콘텐츠 개발에 도움이 되기를 희망한다.