Application and Technology of Voice Synthesis Engine for Music Production

음악제작을 위한 음성합성엔진의 활용과 기술

  • 박병규 (경기대학교 전자디지털음악학과)
  • Received : 2010.05.30
  • Accepted : 2010.06.26
  • Published : 2010.06.30

Abstract

Differently from instruments which synthesized sounds and tones in the past, voice synthesis engine for music production has reached to the level of creating music as if actual artists were singing. It uses the samples of human voices naturally connected to the different levels of phoneme within the frequency range. Voice synthesis engine is not simply limited to the music production but it is changing cultural paradigm through the second creations of new music type including character music concerts, media productions, albums, and mobile services. Currently, voice synthesis engine technology makes it possible that users input pitch, lyrics, and musical expression parameters through the score editor and they mix and connect voice samples brought from the database to sing. New music types derived from such a development of computer music has sparked a big impact culturally. Accordingly, this paper attempts to examine the specific case studies and the synthesis technologies for users to understand the voice synthesis engine more easily, and it will contribute to their variety of music production.

음악제작에 쓰이는 음성합성엔진은 악기 소리와 음색의 합성에 머물던 과거의 신디사이저와는 달리, 인간의 목소리를 각 음소에 따라 샘플화하여 탑재함과 동시에 각 음소의 연결을 주파수 영역 내에서 자연스럽게 처리함으로써 실제 사람이 노래하는 것과 같은 수준까지 도달하게 되었다. 사용자들은 이러한 음성합성엔진을 음악제작에 국한하여 쓰지 않고 캐릭터를 활용한 콘서트, 영상제작, 음반, 모바일 서비스 등 2차 창작물로 새로운 음악의 형태를 창조하며 문화적 패러다임을 바꾸어 나가고 있다. 현재 음성합성엔진 기술은 악보 편집기를 통하여 사용자가 원하는 음과 가사, 그리고 음악적 표현 파라미터를 입력한 뒤, 실제 가성 샘플을 데이터베이스에서 가져와 합성엔진에서 발음들을 조합, 연결하여 노래하는 것을 가능하게 한다. 이러한 컴퓨터음악 기술의 발전으로 인해 파생된 새로운 음악 형태들은 문화적으로 큰 반향을 불러일으키고 있다. 이에 따라 본 논문은 구체적 활용 사례를 살펴보고 합성기술을 탐색함으로써, 사용자들이 음성합성엔진을 이해하고 습득하는 데 기여함과 동시에 그들의 다양한 음악제작에 도움이 되고자 한다.

Keywords

References

  1. Masahiro Hamasaki, Hideaki Takeda, and Takuichi Nishimura, "Network Analysis of Massively Collaborative Creation of Multimedia Contents", uxTV'08 Silicon Valley, 2008.
  2. http://www.vocaloid.com/en/index.html
  3. Tomoyasu Nakano and Masataka Goto, "VOCALIS TENER: A SINGING-TO-SINGING SYNTHESIS SYSTEM BASED ON ITERATIVE PARAMETER ESTIMATION", 6th Sound and Music Computing Conference Porto - Portugal, pp. 343-348, 2009.
  4. Masahiro Hamasaki, Hideaki Takeda, Tom Hope, and Takuichi Nishimura, "Network Analysis of an Emergent Massively Collaborative Creation Community", ICWSM Conference, pp. 222-225, 2009.
  5. http://www.yamaha.co.jp/news/2010/10022501.html
  6. http://www.ceatec.com/2009/en/index.html
  7. F.J. Charpentier and M. G. Stella, "Diphone Synthesis Using An Overlap-Add Technique for Speech Waveforms Concatenation", Proc. ICASSP, Tokyo, pp. 2015-2018, 1986
  8. E. Moulines, and F. J. Charpentier, "Pitch-Synchronous Waveform Processing Techniques for Text-to-Speech Synthesis Using Diphones", Speech Communication, vol. 9, no. 5-6, pp.453-467, 1990 https://doi.org/10.1016/0167-6393(90)90021-Z
  9. Jordi Janer, Jordi Bonada, and Merlijn Blaauw, "PERFORMANCE-DRIVEN CONTROL FOR SAMPLE-BASED SINGING VOICE SYNTHESIS", DAFx-06 Montreal, pp. 41-44, 2006.
  10. Peter Q. Pfordresher and James T. Mantell, "Singing as a Form of Vocal Imitation: Mechanisms and Deficits", ESCOM Jyvaskyla, Finland, pp. 425-430, 2009.
  11. Hideki Kenmochi and Hayato Ohshita, "VOCALOID - Commercial singing synthesizer based on sample concatenation", INTERSPEECH 2007, 2007.
  12. http://www.soundsonline.com/Symphonic-Choirs-Virtual-Instrument-PLAY-Edition-pr-EW-182.html