The Impact of Speech-To-Text-based Class on Learners' Cognitive Abilities

Abstract

This research studied the cognitive impact of classes using artificial intelligence on aviation technical school students. First, we developed a class consisting of a class based on traditional presentation materials and a class composed of speech-to-text (STT)-based artificial intelligence materials. A 133 students from an aviation education institution participated in two types of classes. We measured students' cognitive load and Mind Wandering test results before and after class, and conducted an achievement evaluation. As a result of the test analysis, we confirmed that extraneous cognitive load was reduced, content concentration increased, and achievement improved. In the future, we hope that AI-based STT classes will be widely used in schools that teach technology.

본 연구는 인공지능을 활용한 수업이 항공전문학교 학생의 인지적으로 미치는 영향을 검증하였다. 먼저 프레젠테이션을 활용한 수업에서 전통적인 멀티미디어 자료 기반의 수업과 Speech-to-text(STT)기반의 인공지능 자료로 구성된 수업을 개발하였다. A 항공 전문 교육기관의 학생 133명이 두 가지 유형의 수업에 참여하였다. 수업 전후에 학생들의 인지 부하와 Mind Wandering을 측정하였고, 성취도평가를 실시하였다. 검사의 분석 결과, 외재적 인지 부하는 감소하였고 콘텐츠 집중도가 높아졌으며 성취도가 향상됨을 확인하였다. 향후 기술을 지도하는 학교에서 인공지능 기반의 STT수업이 많이 활용되기를 기대한다.

I. Introduction

미국의 항공기 제작사인 Boing은 상업, 화물 시장에 대해 1961년부터 연간 항공시장 전망을 연구하며 2023년 발표한 Pilot and Technician Outlook에 의하면 2024년까지 항공시장은 코로나19 펜데믹(Pandemic)의 정상 수준으로 회복되며 향후 20년간 항공기를 유지하기 위해 전 세계적으로 69만 명의 항공 정비 기술자 수요 증가를 전망하고 있다[1].

국내에서도 항공 수요가 코로나19 이전으로 회복되고 항공기 운항의 증가, MRO(Maintenance, Repair and Overhaul)의 산업화, 개조 정비와 엔진 정비 사업의 국내 유치, 신공항 건설 등에 따라 항공산업 인력 수요 증가에 정비 인력의 확보를 위한 항공 정비사 양성 교육기관(2023년 8월 현재 34개)을 국토교통부가 안전 감독하고 있다.

항공종사자 전문 교육 기관의 교수자는 대다수 항공 정비 현장 정비 경험을 가진 전문가들로 구성되어 있으며 대다수 활용하고 있는 멀티미디어 학습과 전통적인 강의식 수업에서 학습자의 인지 처리 프로세스를 고려하지 않은 수업 설계는 학습자들의 인지적 부하를 증가시킬 수 있다[2]. 또한 학습의 효과성을 높이기 위한 학습자의 주의집중은 필수적이다. 이를 위해, 학습은 적절한 자극을 제공해야 하며, 학습 내용을 간결하고 기억에 쉽게 남도록 구성되어야 한다.

학습자의 정보 처리의 특성을 고려한 교육은 학습 동기 부여에도 큰 역할을 하며 학생들이 학습에 대한 자신감을 가지고 학습에 참여하면서 자기효능감은 강화될 수 있다. 학습 도중 발생하는 Mind Wandering과 작동 기억의 용량 한계에 따른 인지 부하를 고려한 수업의 설계가 필요하며 인지적 능력을 고려한 수업을 통한 개선 방안을 탐색할 필요성이 있다.

따라서 본 연구는 정보 처리 과정에 대한 선행연구의 한계점을 보완하기 위한 학과 대면 수업 중 정보 제시(Speech- to-text, 이하 STT) 방법에 따른 외재적, 내재적, 본질적 인지 부하와 학습 시 비의도적으로 발생할 수 있는 Mind Wandering 등 인지적 능력에 대한 영향 요인을 탐색하고 검증하는 것을 목적으로 한다.

II. Preliminaries

1. Speech-to-Text

최근 교육현장에서 인공지능을 비롯한 정보 기술(Edu Tech)에 관한 관심이 점점 더 커지고 있다[3]. STT는 음성인식기술의 하나로 사람의 음성 인터페이스를 텍스트 데이터로 추출하는 것으로 현재 Naver Clova note, Google docs, Speech notes, Power point 등 활용 범위의 확장과 음성인식의 정확성이 향상되고 있다.

Google은 STT API를 활용하여 docs의 음성입력 기능과 Voice typing의 서비스로 활용 중이다. Google은 음성-텍스트 변환 API의 세부적인 요소와 모델 학습 방식에 대해 내부적으로 공유하고 있으며, 이를 위해 세 가지 다른 접근법을 사용하면 자체 서비스에서 수집한 오디오 음성 데이터를 활용하는데, 이 데이터 중 일부는 사람에 의해, 일부는 신경망에 의해 처리된다[4].

또한 오디오를 Google 서버에 저장하지 않고 사용자 기기에서 학습하는 Federated Learning이라는 자체 개발된 기술을 활용하며 이는 사용자의 장치에서 훈련된 다음 다른 사용자의 장치에서 훈련된 다른 모델과 결합 되어 많은 사용자의 데이터를 기반으로 완전하고 향상된 모델을 형성한다[4].

Google STT API와 관련하여 세계적으로 국가별, 기업별, 모델의 정확도, 인식률, 오류율 등을 기준으로 비교연구가 활발히 이루어지고 있다. 또한 다양한 플랫폼에서 음성인식 기능에 대한 소프트웨어 개발과 출시가 활발히 진행되고 있으며, 이로 인한 사용자들의 사용성이 향상되고 있다[5].

2. Cognitive load

인지 부하는 멀티미디어 교수 설계의 영향을 주는 요인 중 하나로, 학습자의 작동 기억의 활성화를 통한 정보 처리 정신활동의 총합이다[6]. 인지 부하 이론의 원리는 학습자가 정보를 처리시 작동 기억의 정보 처리 능력 은 제한적이고 장기기억의 양은 무제한이라는 가정을 바탕으로 제한된 단기기억의 구조를 정밀하게 이해하고 한계를 극복할 수 있는 학습전략을 찾아내는 것을 의미한다[7]. 인지 부하의 구조는 원인 요인과 측정 요인으로 이루어져 있으며, 이들은 각각 인지 부하의 영향을 주는 요소와 인지 부하에 영향을 받는 요소를 나타내며 인지 부하의 측정은 정신적 부하, 정신적 노력, 그리고 수행의 세 가지 차원에서 이루어질 수 있다[7]. '외재적 인지 부하’는 학습 환경이나 교수법 등의 원인으로 발생하는 인지적 부담을 나타내며, '본질적 인지 부하’는 학습자가 새로운 정보를 이해하고 기억을 위한 필요 인지적 노력을 나타낸다. 인지 부하를 고려한 작동 기억 용량에 기반한 인지 부하 최적화 멀티미디어 설계 전략은 외부적 인지 부하를 최소화하고 내부적인지 부하의 수준을 조절하여 스키마 생성과 자동화에 필요한 공간을 확보하는 동시에, 본질적 인지 부하를 통해 능동적인 처리 과정을 촉진하는 것을 목표로 한다[8].

MW(Mind Wandering)는 생각이 진행 중인 업무 또는 외부 환경에서의 사건에서 자연 발생적인 사고와 느낌으로 전환되는 것으로 정의된다[9]. 또한 “마음에서 갑자기 떠오르는 것(mind-popping)이라는 개념을 통해 어떠한 의지 없이도 명백하게 자연 발생적으로 떠오르는 정신적 이미지, 생각들”이라고 설명하였다[10]. 학습 상황에서 MW가 외적인 자극에 대한 주의가 낮아진 학습자는 수업에 주의집중 하지 못하는 상태가 된다[11].

3. Related Works

학습자 중심의 교육이 주요 추세가 되면서, 에듀테크는 학습자를 위한 설계가 필수적이며 데이터 폭발 시대로 불리는 현재에서는 지식의 양이 급증하고 있고 이러한 상황에서는 단순히 지식을 전달하는 강의식 수업은 학생들에게 큰 효과를 가져오지 못한다[12].

대학 성인 학습자들의 학습 저해 요인에 관한 실증적인 연구 결과로 활용도가 낮은 교육 내용, 지루한 교육 방식, 그리고 평가 기준, 평가 결과, 그리고 교수자 언어 등에 의해 발생하는 이질적인 문화가 학습을 방해하는 요인으로 확인되었고 이를 해결하기 위한 연구로 자막을 활용한 학습 실험을 하였다[13].

결과 내용 회상은 영상과 자막을 제시한 그룹과 영상, 자막, 음성을 모두 제시한 그룹에서 높았으며, 장면 회상은 영상과 음성을 제시한 그룹, 재인은 영상과 자막을 결합한 그룹에서 높은 인지적 영향을 확인하였다[14]. 또한 온라인 수업 자료 유형에 관한 연구로 멀티모달 방식을 적용한 수업의 효과성과 만족도를 검증하였다[15].

학습 상황에서 발생할 수 있는 MW에 관한 연구로 대학생들이 과제를 수행하는 동안 딴생각을 줄이고 과제 수행에 긍정적인 영향을 미칠 수 있는지, 그리고 개인의 성향이 대처 전략의 효과에 어떻게 상호작용하는지를 분석하였다[16]. 온라인 학습 환경에서 학습 과정 중 학습 내용과 관련된 평가 학습활동이 학습 과정과 학습 성취에 미치는 영향을 확인하였고 학습 단계마다 MW가 발생했는지에 대해 자기 보고식으로 응답하였고, 학습 후 제공한 수업자료에 요점을 정리하였다[17].

위와 같이 본 연구는 수업 효과에 영향 요인들을 분석하고 동영상 강의와 온라인 강의에 국한된 선행연구의 한계점을 보완하기 위해 대면 수업 중의 실시간 자막 활용이 학습자의 인지적 능력에 미치는 영향을 검증하고자 한다.

III. Research content and methods

1. Analysis target

STT를 활용한 멀티모달 대면 전공수업이 학습자의 미치는 인지적 영향을 알아보기 위해 A 항공 전문 교육 기관에 ‘항공기 기체’를 수강 중인 5개 학급, 133명을 대상으로 수업 후 연구자가 직접 설문에 대한 사항을 설명 후 설문지를 작성하도록 하고 불성실 응답 29부를 제외하고 104부를 연구의 자료로 활용하였다.

2. Experimental Design

연구 대상에게 대면 수업 중 시각(그림, PPT) 자료와 교수자의 음성과 동기화되지 않은 요약된 텍스트 시각PPT 자료, 청각(교수자의 음성) 자료를 활용한 교육을 진행 수업 종료 후 인지 부하와 성취도평가를 실시하였고 시각(그림, PPT) 자료와 시각(speech-to-text) 자료, 청각(교수자의 음성) 자료를 활용하여 수업을 진행한 후 인지 부하와 성취도평가, 학습 만족도 평가를 진행하였다. 본 연구는 단일집단 ST, STT를 적용한 수업에 대한 검증으로 실시하였다.

3. Application of the program

본 연구에서 대면 수업 중 감각 자료의 제공 방법을 조작하였고 50분 수업으로 각 실험 별 3차시로 수업을 구성하였다. 최초 3차시 수업에 제시된 감각 자료는 ST 방법으로 비교 수업 3차시에서 제시된 수업자료는 STT를 활용한 자료로 구성되어 제시하였다.

Table 1. ST and STT learning content

수업 종료 후 성취도평가를 하였다. 또한 평가종료 후 인지 부하와 MW를 묻는 문항으로 데이터를 종합하였다.

Fig. 1. STT(speech-to-text) 시각자료

Fig. 2. ST(Summarized Text) 시각자료

4. Test tool

STT를 활용한 대면 수업이 인지 부하에 미치는 영향을 알아보기 위한 류지헌 외[19]에서 개발한 인지 부하의 측정을 위한 새로운 지표의 탐색 및 그 타당성 검증에 관한 연구에서 개발된 검사지를 일부 수정하여 사용하였다[19]. 신뢰도(Cronbach's α)는 .830 (N=104)이었으며, 신체적 노력 .888 (N=104), 정신적 노력 .852(N=104), 과제 난이도 .766 (N=104), 자기평가 .892 (N=104), 자료 설계 .913(N=104)이며 높은 신뢰성이 검증되었다.

MW를 측정하기 위해 서일보 외[17]가 사용한 자기 보고형 설문 문항을 사용하였으며, 척도는 0점(콘텐츠와 완전히 무관)에서 100(콘텐츠에 온전히 집중) 사이의 단계를 입력하도록 설계한 MW 측정 도구를 사용하였으며 신뢰도(Cronbach's α)는 α=.653 (N=104)로 수용할 수 있는 신뢰도를 확인하였다[17].

학습 만족도 측정을 위하여 홍원준 외[18]가 사용한 학습 만족도 문항을 바탕으로 본 연구의 요구사항에 맞게 조정 및 개선된 문항을 사용하여 5점 척도를 적용하여 학습 만족도 측정 도구를 사용하였다[18]. 검사 도구의 신뢰도(Cronbach's α)는=.931으로 높은 신뢰성이 검증되었다.

IV. Results of the study

1. Verification of differences in cognitive ability and achievement in ST and STT classes

ST, STT 수업에 따른 인지 부하의 평균적인 차이를 대응 표본 t-검정으로 확인하였다. ST, STT 수업에 따른 인지 부하의 평균적인 차이를 대응 표본 t-검정으로 확인하였으나 ST, STT 인지 부하 요소 간에는 유의미한 차이가 없었으며 MW의 ST STT 평균 차이가 통계적으로 유의함을 확인하기 위해 대응 표본 t-검정을 하였다. 결과 STT MW(M=76.94)는 ST MW(M=74.44)보다 높은 것으로 평가되었으나 ST, STT MW 간에는 유의한 차이는 없었다.

실험 전과 후의 성취도평가가 유의한 차이를 검증하기 위해 대응 표본 t-검정을 하였다. 그 결과 ST, STT 평가점수 간에는 유의한 차이를 보이는 것으로 나타났다(t=-5.527, p<0.001). 평균 비교 결과 STT 성취도 평균(M=6.48)은 ST 성취도 평균(M=5.08)보다 높은 것으로 확인되었다.

Table 2. Achievement differences according to ST-STT

*.p< 0.05 **. p< 0.01 ***. p< 0.001

2. Analysis of SST Class

STT 수업 중 인지 부하의 요인이 MW에 미치는 영향을 확인하기 위해 다중회귀분석을 실시하였다.

MV에 영향을 주는 독립변수인 자기평가는 학습자가 문제 해결 후의 느끼는 성취감의 정도이다[19]. 자기평가는 자료 설계(=.738, < .001), 즉 외재적 인지 부하의 요인과 높은 상관관계에 있으며 효과적인 학습설계는 MW에 긍정적인 영향을 미치는 것으로 확인되었다.

Table 3. Effect of cognitive load on MW

*.p< 0.05 **. p< 0.01 ***. p< 0.001

성취도평가에 영향을 미치는 MW는 유의한 영향을 미치는 것으로 확인되었으며 어떠한 영향을 주는가를 확인하기 위해 비표준화 계수인 B값을 확인하였고 결과 MW(B=0.037)로 나타났으며 모두 정(+)의 관계인 것으로 확인되었다(p< 0.01). 성취도평가에 대한 MW의 설명력은 8.7%로 설명력이 부족함을 확인하였다.

Table 4. The impact of STT-based classes on material design

*.p< 0.05 **. p< 0.01 ***. p< 0.001

3. STT-based Class and learner cognitive abilities

학습 만족도, 인지 부하, MW, 성취도평가의 상관관계를 검증하기 위해 피어슨 상관관계를 확인하였다.

분석 결과 학습 만족도는 신체적 노력(=.555, < .01), 과제 난이도(=.422, < .01), 정신적 노력 (=.473, < .01), 자기평가 (=.581, < .01), 자료 설계 (=.618, < .01), 의 유의한 상관관계를 가지며 성취도평가는 유의한 상관관계를 확인할 수 없었다.

Table 5. Correlation between learning satisfaction, cognitive load, MW, and achievement evaluation

*.p< 0.05 **. p< 0.01 ***. p< 0.001

STT 활용 수업이 인지 부하의 신체적 노력에 영향이 있는가를 확인하기 위해 단순회귀분석을 하였고 유의한 영향을 미치는 것으로 확인되었으며 어떠한 영향을 주는가를 확인하기 위해 비표준화 계수인 B값을 확인하였고 결과 B=2.360으로 나타났으며 모두 정(+)의 관계로 나타났다. 신체적 노력에 대한 학습 만족도는 30.0%의 설명력을 갖고 있음을 확인하였다(p< 0.001).

Table 6. Effects of STT classes on physical effort

*.p< 0.05 **. p< 0.01 ***. p< 0.001

STT 활용 수업이 인지 부하의 과제 난이도에 미치는 영향이 있는가를 확인하기 위해 단순회귀분석을 하였고 유의한 영향을 미치는 것으로 확인되었으며 어떠한 영향을 주는가를 확인하기 위해 비표준화 계수인 B값을 확인하였고 결과 B=3.316으로 나타났으며 모두 정(+)의 관계로 나타났다. 과제 난이도에 대한 학습 만족도는 17.0%의 설명력을 확인하였다(p< 0.001).

Table 7. Effect of classes using STT on task difficulty

*.p< 0.05 **. p< 0.01 ***. p< 0.001

STT 활용 수업이 인지 부하의 정신적 노력에 미치는 영향이 있는가를 확인하기 위해 단순회귀분석을 하였고 유의한 영향을 미치는 것으로 확인되었고 어떠한 영향을 주는가를 확인하기 위해 비표준화 계수인 B값을 확인하였고 결과 B=2.480으로 나타났으며 모두 정(+)의 관계로 나타났다. 정신적 노력에 대한 학습 만족도는 22.0%의 설명력을 갖고 있음을 확인하였다(p< 0.001).

Table 8. The impact of STT-based classes on self-evaluation

*.p< 0.05 **. p< 0.01 ***. p< 0.001

비표준화 계수인 B값을 확인하였고 결과 B=1.300으로 나타났으며 모두 정(+)의 관계로 나타났다. 자료 설계에 대한 STT 활용 수업은 38.0%의 설명력을 갖고 있음을 확인하였다(p< 0.001).

Table 9. The impact of STT-based classes on material design

*.p< 0.05 *. p< 0.01 ***. p< 0.001

인지 부하의 요인 중 외재적 인지 부하는 자료의 구성과 설계와 영향이 있다고 알려져 있다. 박혜정[8]의 연구에 의하면 동적인 시각적 단서가 없는 자료로 학습할 때, 학습자들은 특정 부분을 설명하기가 어렵다고 느껴 시선을 자주 이동시켰고, 이러한 시선의 이동은 시선 도약 지표에서 차이로 나타났고 이는 외재적 인지 부하를 초래할 수 있다[8]. 멀티미디어 학습에서 중 시각적 단서의 제공이 학습자의 인지 부하에 미치는 영향을 확인한 결과, 단서를 제공받은 집단에서 시선을 더 자주 고정하였고, 단서가 없는 학습자 집단은 시선이 자주 이동되는 현상이 관찰됨에 따라 외부적인 부담을 줄임으로써 인지 능력을 향상시킬 수 있다"는 이전의 연구 결과를 지지한다[20].

STT 활용 수업이 MW에 미치는 영향을 검증하기 위한 단순회귀분석을 실시하였고, 유의확률이 값이 .001보다 작아 종속변수의 영향이 있는 변수로 확인되었다. 상관관계를 나타내는 R값은 0.455의 상관관계를 확인하였다.

Table 10. Impact of STT-based classes on MW

*.p< 0.05 **. p< 0.01 ***. p< 0.001

비표준화 계수인 B값을 확인하였고 결과 B=10.524로 나타났으며 모두 정(+)의 관계인 것으로 확인되었다. MW에 대한 학습 만족도는 20.0%의 설명력을 갖고 있음을 확인하였다(p< 0.001).

V. Conclusion

본 연구는 항공 전문 교육기관의 학습자를 대상으로 대면 수업 중 교수자의 음성과 동기화된 자막을 생성하기 위한 STT를 활용하여 학습자의 인지적 능력에 미치는 영향을 검증하였으며 연구의 결과는 다음과 같다.

첫째. ST와 STT 수업에서 텍스트의 제시 유형에 따라 인지 부하는 유의미한 차이를 확인할 수 없었으나 본유적 인지 부하는 증가, 외재적 인지 부하는 감소 됨을 확인하였다. MW은 유의미한 차이는 없었으나 콘텐츠의 집중도는 높아짐을 확인하였고 성취도평가는 유의미하게 향상되었음을 확인하였다.

둘째, STT 대면 수업이 학습자의 인지적 능력인 인지 부하와 MW는 유의한 영향이 있음을 검증하였다.

셋째, 학습자의 인지 부하, MW, 성취도평가는 유의한 정적 상관관계에 있었고 학습자의 인지 부하의 요인 중 MW에 유의한 영향을 주는 독립변수는 자기평가로 확인되었고, 성취도평가는 과제 난이도로 확인되었다. 또한 성취도평가에 영향을 미치는 MW는 유의한 영향을 미치는 것으로 확인되었다.

결론적으로, 항공 정비 교육 분야에 STT의 활용은 교수자와 학습자의 효과적이고 효율적인 학습 환경을 만들어 나갈 수 있을 것이며 개개인의 양식에 맞는 맞춤형 학습 경험을 제공할 수 있었다.

추가적으로 항공 정비 교육에 대한 학습자의 특성을 고려한 인지 전략, 교수 설계, 매체 활용, 학습자 세대를 고려한 교수학습 방법 등 학습자의 학습 성과를 높이고 효능감 향상을 위한 후속 연구가 필요하다.