교사 학생 심층신경망을 활용한 다채널 원거리 화자 인증

Multi channel far field speaker verification using teacher student deep neural networks

Abstract

원거리 발성은 화자 인증 시스템의 성능을 하락시키는 주요 요인으로 알려져 있다. 본 논문에서는 교사 학생 학습을 이용하여 원거리 발성에 의한 화자 인증 시스템의 성능 하락을 보상하는 기법을 제안한다. 교사 학생 학습은 미리 학습된 교사 심층신경망의 출력과 학생 신경망의 출력이 같아지도록 학생 신경망을 학습하는 기법이다. 여기서 교사 신경망에는 근거리 발성을, 학생 신경망에는 원거리 발성을 입력한 뒤, 두 신경망의 출력을 동일하게 만드는 과정을 통해 원거리 발성을 보상할 수 있을 것이라고 기대하였다. 하지만 원거리 발성을 보상하는 과정에서, 근거리 발성에 대한 인식률이 저하되는 현상을 실험적으로 발견하였다. 위와 같은 현상을 예방하기 위해 본 논문에서는 교사 심층신경망을 학생 심층신경망의 초깃값으로 사용하는 기법과 학생 심층신경망을 근거리 발성에 대해서도 학습하는 기법을 제안하였다. 모든 실험은 원 음성을 입력 받는 심층신경망을 활용해 수행하였다. 동일한 발성을 각각 4 채널로 근거리와 원거리에서 자체적으로 수집한 문장 종속 데이터셋을 활용하였다. 동일 오류율을 기준으로 근거리 / 원거리 발성에 대한 화자 인증 성능을 평가한 결과 교사 학생 학습을 사용하지 않을 경우 2.55 % / 2.8 %, 기존의 교사 학생 학습을 사용할 경우 9.75 % / 1.8 %, 제안한 기법들을 적용한 경우 2.5 % / 2.7 %의 오류율을 확인하였다.

Far field input utterance is one of the major causes of performance degradation of speaker verification systems. In this study, we used teacher student learning framework to compensate for the performance degradation caused by far field utterances. Teacher student learning refers to training the student deep neural network in possible performance degradation condition using the teacher deep neural network trained without such condition. In this study, we use the teacher network trained with near distance utterances to train the student network with far distance utterances. However, through experiments, it was found that performance of near distance utterances were deteriorated. To avoid such phenomenon, we proposed techniques that use trained teacher network as initialization of student network and training the student network using both near and far field utterances. Experiments were conducted using deep neural networks that input raw waveforms of 4-channel utterances recorded in both near and far distance. Results show the equal error rate of near and far-field utterances respectively, 2.55 % / 2.8 % without teacher student learning, 9.75 % / 1.8 % for conventional teacher student learning, and 2.5 % / 2.7 % with proposed techniques.

Fig. 1. General pipeline process of teacher student learning framework for far-field speaker verification.

Fig. 2. Illustration of RWCNN-residual model (offline phase, Jung et al., Interspeech 2018^[9]) and overall speaker verification pipeline (online phase). Three numbers next to convolutions each refer to the length of kernel, stride size, and the number of kernels.

Table 1. EER of the baseline and proposed teacher student based systems (near / far field evaluation). ‘ts’ means teacher student learning, ‘teacher init’ refers to initializing the student network using learned teacher network, and ‘student w near’ refers to usingnear-field utterances for student training as well.