DOI QR코드

DOI QR Code

Comparing the effects of letter-based and syllable-based speaking rates on the pronunciation assessment of Korean speakers of English

철자 기반과 음절 기반 속도가 한국인 영어 학습자의 발음 평가에 미치는 영향 비교

  • Hyunsong Chung (Department of English Education, Korea National University of Education)
  • 정현성 (한국교원대학교 영어교육과)
  • Received : 2023.10.30
  • Accepted : 2023.12.11
  • Published : 2023.12.31

Abstract

This study investigated the relative effectiveness of letter-based versus syllable-based measures of speech rate and articulation rate in predicting the articulation score, prosody fluency, and rating sum using "English speech data of Koreans for education" from AI Hub. We extracted and analyzed 900 utterances from the training data, including three balanced age groups (13, 19, and 26 years old). The study built three models that best predicted the pronunciation assessment scores using linear mixed-effects regression and compared the predicted scores with the actual scores from the validation data (n=180). The correlation coefficients between them were also calculated. The findings revealed that syllable-based measures of speech and articulation rates were more effective than letter-based measures in all three pronunciation assessment categories. The correlation coefficients between the predicted and actual scores ranged from .65 to .68, indicating the models' good predictive power. However, it remains inconclusive whether speech rate or articulation rate is more effective.

본 연구에서는 AI Hub에 구축된 '교육용 한국인의 영어 음성 데이터'에 있는 발음 평가 데이터를 활용하여 철자 기반 발화 속도 및 조음 속도와 음절 기반 발화 속도 및 조음 속도 중 발음 정확성 및 운율 유창성, 합산 점수를 예측하는 모델에 어떤 요소가 더 유의미한 영향을 미치는지 분석하였다. 이를 위해 13세, 19세, 26세 연령별, 성별, 수준별로 이 코퍼스의 훈련 데이터에서 총 900개 발화를 추출하여 데이터에 포함된 다양한 요소를 활용해 평가 점수를 예측하는 선형효과분석을 실행하였다. 선형효과분석에서 최적의 세 개 모델을 통해 예측된 평가 점수를 검증 데이터에서 추출한 총 180개 발화의 평가 점수와 얼마나 상관관계가 있는지도 분석하였다. 분석 결과 발음의 정확성과 운율의 유창성, 합산 점수 예측 모델 모두 철자 기반 발화 속도와 조음 속도보다 음절 기반 발화 속도와 조음 속도가 평가 점수를 예측하는데 더 큰 영향을 주는 것으로 밝혀졌다. 모델에서 예측한 점수와 검정 데이터의 실제 점수와의 상관계수는 .65에서 .68 사이로 각 모델의 평가 점수 예측력이 나쁘지 않았다. 발화 속도와 조음 속도 간에 어떤 요소가 더 큰 영향을 미치는지는 본 연구를 통해 밝혀내지 못하였다.

Keywords

Acknowledgement

본 연구의 분석에 사용된 음성 데이터는 한국지능정보사회진흥원에서 '지능정보산업 인프라 조성' 사업의 일환으로 구축한 사업 결과물입니다. 음성 데이터의 세부 사항에 관해 개발자이신 한국외국어대학교 한승희 교수님의 도움을 받았습니다. 하지만, 논문에 오류가 있다면 전적으로 본 연구자의 책임임을 밝혀 둡니다. 발음 평가 데이터의 json 파일을 처리하는데 사용된 Python 스크립트는 2023년 7월 8일에 진행된 한국음성학회 산하 실험음성학연구회 하계워크숍에서 성신여자대학교 윤태진 교수님께서 제공해 주신 것을 수정하여 사용한 것입니다.

References

  1. Bates, D., Machler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1-48.
  2. Chakrabarti, A., & Ghosh, J. K. (2011). AIC, BIC and recent advances in model selection. In P. S. Bandyopadhyay, & M. R. Forster (Eds.), Philosophy of statistics: Handbook of the philosophy of science (pp. 583-605). North Holland: Elsevier.
  3. Chen, L., Zechner, K., Yoon, S. Y., Evanini, K., Wang, X., Louskina, A., Tao, J., ... Gyawali, B. (2018). Automated scoring of nonnative speech using the SpeechRaterSM v. 5.0 engine. ETS Research Report Series, 2018(1), 1-31. https://doi.org/10.1002/ets2.12198
  4. Choi, N., & Jang, T. Y. (2023). Evaluation of English speaking proficiency under fixed speech rate: Focusing on utterances produced by Korean child learners of English. Phonetics and Speech Sciences, 15(1), 47-54. https://doi.org/10.13064/KSSS.2023.15.1.047
  5. Chung, H. (2022). Relationships between rhythm and fluency indices and listeners' ratings of Korean speakers' English paragraph reading. Phonetics and Speech Sciences, 14(4), 25-33. https://doi.org/10.13064/KSSS.2022.14.4.025
  6. De Jong, N., & Wempe, T. (2008). Praat script syllable nuclei. [Computer script]. Retrieved from https://github.com/FieldDB/Praat-Scripts/blob/main/praat-script-syllable-nuclei-v2file.praat/
  7. Han, S. H. (2023, June). Design and construction of Korean speech AI datasets for multilingual translation and language education. Proceedings of the 2023 Spring Conference of the Korean Society of Speech Sciences (pp. 16-27). Seoul, Korea.
  8. Ishikawa, S. (2014). Design of the ICNALE spoken: A new database for multi-modal contrastive interlanguage analysis. In S. Ishikawa (Ed.), Learner corpus studies in Asia and the world (pp. 63-76). Kobe, Japan: Kobe University.
  9. Ishikawa, S. (2019). The ICNALE spoken dialogue: A new dataset for the study of Asian learners' performance in L2 English interviews. English Teaching, 74(4), 153-177. https://doi.org/10.15858/engtea.74.4.201912.153
  10. Kang, O. (2010). Relative salience of suprasegmental features on judgments of L2 comprehensibility and accentedness. System 38(2), 301-315. https://doi.org/10.1016/j.system.2010.01.005
  11. Kim, M. S., & Jang, T. Y. (2019). Pauses and speech rates in assessing fluency of English speech. The Korean Journal of Linguistics, 44(3), 315-339. https://doi.org/10.18855/LISOKO.2019.44.3.001
  12. Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest Package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13), 1-26. https://doi.org/10.18637/jss.v082.i13
  13. Nation, I., & Beglar, D. (2007). A vocabulary size test. The Language Teacher, 31(7), 9-13.
  14. National Information Society Agency. (2023). English speech data of Koreans for education. Retrieved from https://aihub.or.kr/
  15. R Core Team. (2023). R: A language and environment for statistical computing (version 4.3.0) [Computer software]. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from https://www.R-project.org/
  16. Rhee, S. C., Lee, S. H., Kang, S. K., & Lee, Y. J. (2003). Design and construction of Korean-spoken English corpus (K-SEC). Malsori, 46, 159-174.
  17. Thomson, R. I. (2015). Fluency. In M. Reed, & J. M. Levis (Eds.), The handbook of English pronunciation (pp. 209-226). Chichester, UK: John Wiley & Sons, Inc.
  18. White, L., & Mattys, S. L. (2007). Calibrating rhythm: First language and second language studies. Journal of Phonetics, 35(4), 501-522. https://doi.org/10.1016/j.wocn.2007.02.003
  19. Yang, I. Y. (2021). Differential contribution of English suprasegmentals to L2 foreign-accentedness and speech comprehensibility: Implications for teaching EFL pronunciation, speaking, and listening. Korean Journal of English Language and Linguistics, 21, 818-836. https://doi.org/10.15738/KJELL.21..202109.818