The Error Pattern Analysis of the HMM-Based Automatic Phoneme Segmentation

HMM기반 자동음소분할기의 음소분할 오류 유형 분석

  • 김민제 (울산대학교 컴퓨터 정보통신 공학부) ;
  • 이정철 (울산대학교 컴퓨터 정보통신 공학부) ;
  • 김종진 (한국전자통신연구원)
  • Published : 2006.07.01

Abstract

Phone segmentation of speech waveform is especially important for concatenative text to speech synthesis which uses segmented corpora for the construction of synthetic units. because the quality of synthesized speech depends critically on the accuracy of the segmentation. In the beginning. the phone segmentation was manually performed. but it brings the huge effort and the large time delay. HMM-based approaches adopted from automatic speech recognition are most widely used for automatic segmentation in speech synthesis, providing a consistent and accurate phone labeling scheme. Even the HMM-based approach has been successful, it may locate a phone boundary at a different position than expected. In this paper. we categorized adjacent phoneme pairs and analyzed the mismatches between hand-labeled transcriptions and HMM-based labels. Then we described the dominant error patterns that must be improved for the speech synthesis. For the experiment. hand labeled standard Korean speech DB from ETRI was used as a reference DB. Time difference larger than 20ms between hand-labeled phoneme boundary and auto-aligned boundary is treated as an automatic segmentation error. Our experimental results from female speaker revealed that plosive-vowel, affricate-vowel and vowel-liquid pairs showed high accuracies, 99%, 99.5% and 99% respectively. But stop-nasal, stop-liquid and nasal-liquid pairs showed very low accuracies, 45%, 50% and 55%. And these from male speaker revealed similar tendency.

합성음의 음질을 향상시키기 위하여 분할된 corpora로부터 합성유닛을 선택하여 사용하는 연속음성합성에서 정확한 음소분할은 매우 중요하다. 일반적으로 음소분할은 사람에 의해 수행되지만 많은 작업량으로 인한 시간적 지연, 일관 성 유지 어려움 등 많은 문제가 발생한다. 이에 따라 음성인식에서 도입된 HMM 기반의 자동음소분할이 음성인식, 음성 합성에서 널리 사용되어지고 있지만 음성전문가의 수작업 결과와 비교할 때 HMM 기반 자동음소분할은 오류가 있고, 이는 합성음 품질의 열화의 주요 원인이 되고 있다. 본 논문에서는 HMM 기반의 자동음소분할기를 사용하여 나타난 자동음소분할 결과와 수작업에 의한 음소분할 결과를 비교하고 유형별로 분석함으로써 음성합성의 성능향상을 위해 개선해야 할 문제점들을 제시한다. 실험에서는 ETRI의 표준형 한국어 공통 음성 DB을 사용하였고, 오차의 범위가 20ms를 벗어난 경우를 분절 오류로 간주하였다. 실험 결과 여성화자의 경우 파열음 + 모음, 파찰음 + 모음, 모음 + 유음 음소쌍에서는 각각 약 99%, 99.5%, 99%의 높은 정확률을 보인 반면, 폐쇄음 + 비음, 폐쇄음 + 유음, 비음 + 유음 음소쌍에서는 44.89%, 50%, 55% 의 낮은 정확률을 보였으며, 남성화자에 대한 실험결과에서도 유사한 경향을 보였다.

Keywords

References

  1. 김상훈, 이정철, 강동규, 이영직, '대용량 운율 음성데이타를 이용한 자동 합성방식', 제 15회 음성통신 및 신호처리 워크샵, 15 (1) 87-92, 1998
  2. Sethv, A, Narayanan, S., 'Refined Speech Segmentation for Concatenative Speech Synthesis', Proc. ICSLP 2002, Denver, 2002, 149 -152
  3. A Komatsu, A Ichikwa, D. Nakota, Y. Asakawa, H. Matsuzaka, 'Phoneme recognition in the continuous speech', in Proc. ICASSP 1982, 883-886
  4. 박순철, 김봉완, 이용주, '문맥종속 반음소단위에 의한 음운 자동 레이블링 시스템의 성능 개선', 말소리 37 (6), 23 - 48, 1999
  5. Leung, H. C. and W. ZUE, 'A procedure for automatic alignment of phonetic transcription with continuous speech', in Proc. ICASSP 1984, Aor., 429-432
  6. Matthew J. Makashay, Colin W. Wightman, Ann K. Syrdal, and Alistair Conkle. 'Perceptual Evaluation of Automatic Segmentation in Text-to-Speech Synthesis', in Proc. ICSLP 2000, Beijing, 2000, 431-434
  7. Yeon-Jun Kim, A.Conkie, 'Automatic segmentation Combining an HMM-Based Approach and Spectral Boundary Correction', in Proc. ICSLP 2002 Sept. 145-148
  8. 박혜영, 김형순, '자동 음성 분할을 위한 음향 모델 에너지 기반 후처리', 말소리 43 (6) 대한음성학회. 137-149. 2002
  9. D.T. Toledano. 'Neural network boundary refining for automatic speech segmentation'. Porc. ICASSP 2000. 3438-3441
  10. 신지영, '우리말 소리의 이해', 대한음성학회 창립25주년기념학술대회 논문집. 15-23. 2002