한국음향학회지 (The Journal of the Acoustical Society of Korea)

  • 제17권8호
  • /
  • Pages.3-11
  • /
  • 1998
  • /
  • 1225-4428(pISSN)
  • /
  • 2287-3775(eISSN)
한국음향학회 (The Acoustical Society of Korea)
권호 표지

표정짓고 말하는 가상 얼굴의 실시간 합성

Realtime Synthesis of Virtual Faces with Facial Expressions and Speech

  • 발행 : 1998.11.01
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 고품질의 얼굴 동영상과 운율이 첨가된 음성을 통합하여 자연스런 가상얼굴을 실시간으로 합성하는 방법을 제안한다. 이 방법에서는 한글 텍스트를 입력하여, 텍스트에 따라 입모양과 음성을 합성하고, 얼굴 동영상과 음성의 동기를 맞추고 있다. 먼저, 텍스트를 음운 변화한 후, 문장을 분석하고 자모음사이의 지속시간을 부여한다. 자모음과 지 속시간에 따라 입모양을 변화시켜 얼굴 동영상을 생성하고 있다. 이때, 텍스트에 부합한 입 모양 변화뿐만 아니라, 두부의 3차원 동작과 다양한 표정변화를 통하여 자연스런 가상얼굴 을 실시간으로 합성하고 있다. 한편, 음성합성에서는 문장분석 결과에 따라 강세구와 억양구 를 정하고 있다. 강세구와 억양구를 이용하여 생성된 운율모델이 고품질의 음성합성에 필요 한 지속시간, 억양 및 휴지기를 제어한다. 합성단위는 무제한 어휘가 가능한 반음절과 triphone(VCV)의 조합이며, 합성방식은 TD-PSOLA를 사용한다.

키워드

참고문헌

  1. Recognizing Faces V. Bruce
  2. Unmasking Face P. Ekman;W. V. Friesen
  3. ChI+GI 1987 conf. Proc. Automated Lip_Synch and Speech Synthesis for Character Animation J. P. Lewis;F. Parke
  4. Picture Coding Symposium Semantic Bandwidth Compression; Speech-maker A.Lippman
  5. Sci. America v.251 no.3 Computer Software A. Kay
  6. IEEE ICASSP, 39M8.7 An Intelligent Facial Image Coding Dirven by Speech and Phones S. Morishima;K. Aizawa;H. Harashima
  7. IEEE JSAC v.9 no.4 A media Conversion from speech to facial image for intelligent man-machine interface S. Morishima;H. Harashima
  8. ISO/IEC/JTCI/SC29/WG11
  9. Computer Graph. v.21 no.4 A Muscle Model for Animating Three-Dimensional Facial Expression K. Waters
  10. Trans. IEICE Japan v.E72 no.5 Model-Based Analysis Synthesis coding of Videotelephone Images H. Harashima;K. Aizawa; T. Saito
  11. Signal Process. Image Com. v.1 no.2 Model-Based Analysis Synthesis Image Coding(MBASIC) System for a person's Face K. Aizawa;H. Harashima
  12. IEEE Trans. Circuit. Sys. Video Tech. v.4 no.3 Analysis and Synthesis of Facial Image Sequences in Model-Based Coding C.S.Choi;K.Aizawa;H. Harashima;T.Takebe
  13. ACM SIGGRAPH'95, Visual Proceedings Better face Communication S. Morishima
  14. Proc. ICSP MPEG-4 TTS Interface H. S. Lee;M.S. Hahn;J. C. Lee
  15. 통신학회논문지 v.19 no.4 휴먼인터페이스를 위한 한글 음절의 입모양 합성 이용동;최 창석;최 갑석
  16. Proc. ICSP Synchronized Realization of Synthetic Speech and Synthetic Facial Image Sequences for Virtual Reality K. Y. Lee;C. S. Choi
  17. 음향학회 학술대회 논문집 v.15 no.1(s) 가상현실을 위한 합성 얼굴동영상과 합성 음성의 동기구현 송경준;이기영;최창석;양광호
  18. Speech analysis, Synthesis and Perception(2nd.ed.) J.L.Flanagan
  19. Advances in Speech Signal Processing S.Furui;M.M.Sondhi
  20. Fundamentals of Speech Synthesis and Speech Recognition Eric Keller
  21. J.Acoust. Soc. Amer., suppl. v.73 no.1 Changing pitch and duration in LPC synthesized speech using multipulse excitaion B.E.Caspers;B.S.Atal
  22. the Transactions of the Institute of Electronics, Information and Communication Engineers A v.J173-A no.3 Voice quality conversion with correction of spectral distortion by pitch manipulation, and its subjective evaluation T. Takagi;T. Umeda
  23. Trans.Televison v.47 no.12 Voice quality conversion T. Takagi
  24. ICASSP 86 Diphone SynthesisUsing Overlap-add Technique for Speech Waveforms Concatination F. Charpentier;M. G. Stella
  25. Speech Communication 9 Pitch-Synchronous Waveform Processing Techniques for Text-to-Speech Synthesis Using Diphones E. Moulines;F. Charpentier
  26. EUROSPEECH 91 Voice transformation using PSOLA Technique H. Valbret;E. Moulines;J. P. Tubach
  27. Doctoral Dissertation, The Ohio State University The Phonetics and Phonology of Korean Prosody Sun-Ah Jun
  28. ICSP 97 Automatic segmentatin of Korean prosodic phrases Kiyoung Lee;Minsuck Song
  29. 1997년도 한국음향학회 정기총회 및 학술논문 발표대회 악센트구와 억양구의 운율패턴을 이용한 음성합성시스템 이기영;송민석
  30. Interactive Coumputer Graphics Edward Angel
  31. Facial Action Coding System P. Ekman;W. V. Friesen
  32. 日本電子情報通信學會論文誌 v.J73-D-Ⅱ no.3 知的インタフェ－スのため表情合成法の一檢討 森島;岡田;原島
  33. 日本テレビジョソ學會誌 v.42 no.6 知的映像符號化と知的通信 原島 博
  34. 日本 電子情報通信學會論文誌 v.J73-A no.7 顔の3次元モデルに基づく表情の記述と合成 崔昌石;原島 博;武部 幹
  35. 日本 電子情報通信學會論文誌 D-Ⅱ v.J75 no.2 テキスト情報に對應した口形形象變化する顔動畵像の合成 金子 正秀;小池;渟