The Artificial Intelligence Literacy Scale for Middle School Students

Abstract

Although the importance of literacy in Artificial Intelligence (AI) education is increasing, there is a lack of testing tools for measuring such competency. To address this gap, this study developed a testing tool that measures AI literacy among middle school students. This goal was achieved through the establishment of an expert group that was enlisted to determine the relevant factors and items covered by the proposed tool. To verify the reliability and validity of the developed tool, a field review, exploratory factor analysis, and confirmatory factor analysis were conducted. These procedures resulted in a testing tool comprising six domains that encompass 30 items. The domains are the social impact of AI (eight items), the understanding of AI (six items), AI execution plans (five items), problem solving with AI (five items), data literacy (four items), and AI ethics (two questions). The items are to be rated using a five-point Likert scale. The internal consistency of the tool was .970 (total), while that of the domains ranged from .861 to .939. This study can serve as reference for developing the analysis of AI literacy, teaching and learning, and evaluation in AI education.

인공지능 리터러시에 대한 중요성이 증가하고 있지만, 인공지능 리터러시를 측정하기 위한 검사 도구가 부족한 상황이다. 따라서 본 연구에서는 중학생의 인공지능 리터러시를 측정하기 위한 검사 도구를 개발하였다. 검사 도구 개발을 위하여 전문가 집단을 구성하고, 검사 도구의 요인과 문항을 개발하였다. 개발한 검사 도구의 신뢰도와 타당도를 확보하기 위하여 현장 적합성 검토, 탐색적 요인 분석, 확인적 요인 분석을 진행하였다. 이러한 연구를 통하여 6개의 하위 영역과 30개의 문항을 가진 검사 도구를 개발하였다. 검사 도구의 하위 영역은 인공지능의 사회적 영향(8문항), 인공지능의 이해(6문항), 인공지능 실행 계획(5문항), 인공지능 문제 해결(5문항), 데이터 리터러시(4문항), 인공지능 윤리(2문항)가 있다. 검사 도구는 5점 리커트 척도로 응답하게 개발되었으며, 내적 일치도 계수는 전체가 .970이며, 하위 영역은 .861~.939이었다. 본 연구는 인공지능 리터러시의 발달 과정 분석, 교수-학습, 교육과정 등의 연구에 활용될 수 있다.

I. Introduction

2016년 세계경제포럼에서는 4차 산업혁명이 진행됨에 따라 인공지능이 사회에 미치는 영향력이 증가할 것이라고 말하였다. 이에 따라 인공지능은 여러 산업에 활용되어 경제뿐만 아니라 사회, 환경, 삶의 형태까지 다양한 부분에 변화를 촉진하였다[1]. 인공지능의 중요성이 커져감에따라 세계적으로 인공지능 인재를 양성하기 위한 교육 정책을 수립하였다.

한국은 인공지능 선도국인 미국이나 중국, 영국과 달리 인공지능 선도국으로 나아가기 위한 도약 준비 국가인 상태이다[2]. 따라서 2019년 ‘인공지능 국가전략’을 시작으로 ‘정보교육 종합계획’, ‘전국민 AI·SW교육 확산 방안’, ‘인공지능 시대 교육정책방향과 핵심 과제’가 발표되면서 인공지능 인재 양성을 위한 정책을 수립하였다[3].

하지만 김성원과 이영준(2016)은 한국의 2015 개정 교육과정을 영국과 미국에 비교하였을 때, 교육과정안에 인공지능을 위한 내용이 현저히 부족하다고 말하였다[4]. 따라서 한국과학창의재단(2020)은 인공지능 교육 활성화를 위한 2015 개정 교육과정에 ‘인공지능 기초’ 과목을 새롭게 개발하였다[5]. 또한, 인공지능 관련 교과목이나 교과서, 교육 자료 개발 연구나 교사 연수 등이 활발하게 진행되었다. 이처럼 인공지능 인재의 중요성이 증가함에 따라 교육부(2021)에서 인공지능 리터러시를 강조한 2022 개정 교육과정 총론을 발표하였다[6]. 인공지능의 중요성이 증가함에 따라 인공지능 교육은 더 활발하게 연구될 것이라고 예측된다[7].

인공지능 교육 관련하여 여러 연구가 이루어지고 있지만, 학교 현장에 인공지능 교육이 성공적으로 안착하기 위해서는 인공지능 교육의 목표가 무엇인지 탐색하는 것이 필요하다. 소프트웨어 교육에서는 Wing(2006)과 이영준 외(2014)의 연구에서 정의한 컴퓨팅 사고력 (Computational Thinking, CT)이 소프트웨어 교육의 목표였다[8][9]. 인공지능 교육에서 교육 목표를 살펴보면, 교육부(2020)의 ‘정보교육 종합계획’과 관계부처 합동 (2020)의 ‘인공지능시대 교육정책방향과 핵심과제’에서는 인공지능 리터러시(Artificial Intelligence literacy)를 인공지능 교육의 목표로 제시하고 있다[10][11]. 또한, 한국과학창의재단(2020)에서 제시한 인공지능 기초 과목 시안개발 연구 보고서를 살펴보면, 인공지능 리터러시를 인공지능 교육 목표로 제시하고 있었다[5]. Long and Magerko(2020)에서는 인공지능 교육의 선행 연구에서 강조하는 역량과 교육 목표를 제시하였는데, 교육 목표로 AI literacy를 제시하였다[12]. 이러한 선행 연구를 종합하였을 때, 인공지능 교육의 목표로 인공지능 리터러시가 적합한 것을 확인할 수 있었다.

국가 교육과정에서 인공지능 교육을 강조하고 있으며, 인공지능 교육 연구가 활발하게 이루어지고 있지만, 인공지능교육 효과를 측정하기 위한 검사 도구를 부족한 현황이다. 김성원과 이영준(2020)의 연구에서 인공지능에 대한 태도를 측정하기 위한 검사 도구를 개발하였지만[13], 인공지능 교육의 정의적 영역만을 측정할 수 있다는 한계가 존재한다. 인공지능 교육을 진행하고, 교육의 효과를 분석하고, 교육을 개선하기 위해서는 인공지능 교육의 목표를 측정하기 위한 적절한 검사 도구의 개발 연구가 이루어져야 한다.

따라서 본 연구에서는 인공지능 리터러시 검사 도구를 개발하는 연구를 진행하였다. 검사 도구의 대상은 중학생으로 선정하였다. 검사 도구를 개발하기 위하여 전문가 집단을 대상으로 검사 문항을 개발하고, 검사 도구의 신뢰도와 타당도를 분석하였다. 이를 통하여 중학생의 인공지능 리터러시를 측정하기 적합한 검사 도구를 개발하는 연구를 진행하였다.

II. Literature Review

1. Related works

리터러시(literacy, 소양)는 오래전부터 교육의 목표로 연구되어 왔다[14]. 리터러시는 어원을 바탕으로 의미를 살펴보면, 인간의 기본적인 지식으로, 읽고 쓸 수 있는 능력을 의미한다[15]. 현대 사회에서는 인공지능 기술의 중요성이 증가하고 있으며, 4차 산업혁명이라는 새로운 변화를 주도하고 있다. 따라서 미래 사회에서 인공지능을 이해하고 사용할 수 있는 능력이 요구되므로 인공지능도 리터러시가 필요하다는 것을 확인할 수 있다.

인공지능 리터러시가 정의되기 전, 주로 미디어나 컴퓨터 교육 분야에서 리터러시 용어가 사용되었다. 이러한 리터러시의 변화를 살펴보면, 비주얼 리터러시(visual literacy)는 이미지를 이해하고 사용할 수 있고, 표현할 수 있는 역량이라고 정의하였으며, 텔레비전 리터러시 (television literacy)는 비판적으로 텔레비전을 보고, 수용할 수 있는 역량이었다. 컴퓨터가 등장하고 발전함에 따라 기존에 미디어 리터러시에서 컴퓨터 리터러시 (computer literacy)가 새롭게 연구되었다. 컴퓨터 리터러시는 컴퓨터의 작동 원리와 사용 방법을 이해하고, 컴퓨터가 사회에 미치는 영향을 이해하는 역량을 의미한다 [16]. 컴퓨터 리터러시 이외에도 정보 리터러시 (information literacy), ICT 리터러시, 미디어 리터러시 (media literacy)가 있었으며[17][18],

최근에 연구되고 있는 리터러시는 Glister(1997)가 정의한 디지털 리터러시(digital literacy)가 활발하게 연구되고 있다. 디지털 리터러시는 다양한 연구에서 정의가 되고 있지만, Antoninis and Montoya(2018)는 “직장, 일자리, 창업과 같은 목적을 갖고 디지털 기술을 활용하여 정보를 안정하고, 적절하게 탐색하고, 관리하고, 이해하고, 통합하고, 소통하고, 평가하고, 창조할 수 있는 능력”이라고 정의하였다. 또한, 디지털 리터러시는 컴퓨터 리터러시, ICT 리터러시, 정보 리터러시, 미디어 리터러시에서 적용된 역량을 복합적으로 포함하는 소양이라고 정의하였다 [18][19]. 디지털 리터러시는 2022 개정 교육과정에서 인공지능 리터러시와 함께 제시되어 있으며[6], OECD education 2030의 기초 기능에 새롭게 추가되었다[20].

컴퓨터 교육 분야에서는 컴퓨터·정보 소양(Computer and Information Literacy, CIL)에 대한 연구도 활발하게 이루어지고 있다. 한국은 국제 컴퓨터·정보 소양 연구 (International Computer and Information Literacy Study, ICILS) 2013을 시작으로 ICILS 2018 연구까지 지속적으로 참여하고 있다. ICILS 2013에서는 CIL에 정보수집 및 관리, 정보 생산 및 교환을 주요 영역(strand)으로 가지도록 구성하였다[21]. ICILS 2018에서는 CIL에 새롭게 CT가 추가되었다. CIL은 하위 영역으로 컴퓨터 사용의 이해, 정보 수집, 정보 생산, 디지털 의사소통이 있으며, CT의 하위 영역으로 문제의 개념화, 해결방안의 운영이 있었다[22]. 이처럼 컴퓨터나 ICT 도구와 관련된 다양한 리터러시가 연구된 것을 확인할 수 있다.

인공지능 리터러시는 4차 산업혁명에 따라 컴퓨터나 SW에서도 인공지능 기술의 중요성이 증가함에 따라 주목받기 시작하였다. 인공지능 기초 과목에서는 인공지능 리터러시를 “인공지능 기술의 발전에 따른 사회 변화를 올바르게 이해하고 인공지능 기반 지식·정보사회 구성원으로서의 윤리 의식을 함양하며, 인공지능의 기본 개념과 원리, 기술을 활용하여 실생활 및 다양한 분야의 문제를 창의적으로 해결할 수 있는 기초 소양”이라고 정의하였다[5]. Long and Magerko(2020)은 인공지능 리터러시를 “a set of competencies that enables individuals to critically evaluate AI technologies; communicate and collaborate effectively with AI; and use AI as a tool online, at home, and in the workplace“이라고말하였다[12]. 인공지능 리터러시의 중요성이 증가함에 따라 인공지능 리터러시의 정의도 연구마다 다양하게 정의되고 있었다[23].

선행 연구를 종합하면 인공지능 리터러시에 대한 중요성은 증가하고 있지만, 인공지능 리터러시를 측정하기 위한 검사 도구 개발 연구가 부족한 것을 확인할 수 있다[13]. 검사 도구가 부족함에 따라 학교 현장에서 신뢰도와 타당도가 확보되지 않은 검사 도구를 활용하여 인공지능 교육 효과를 측정하는 연구가 이루어지고 있다. 이러한 문제를 해결하기 위하여 인공지능 교육의 목표인 인공지능 리터러시 검사 도구 개발이 필요하다는 것을 확인할 수 있다.

III. Methods

1. Overview

본 연구에서는 정철영(2002)의 검사도구 개발 모형을 연구 목적에 맞게 일부 수정하여 연구를 진행하였다[24]. 검사 도구 개발 절차는 ‘검사도구 개발 계획 수립’, ‘검사 도구 문항 개발’, ‘예비 검사 실시’, ‘본 검사 실시 및 검사 요강 작성’으로 구성하였다. 연구 절차에 대한 자세한 내용은 Fig. 1과 같다.

Fig. 1. Research procedure

2. Research Procedure

2.1 Strategic planning for the development of test tool

검사도구 개발 계획 수립 단계에서는 개발하고자 하는 검사 도구의 목적을 확립하고, 인공지능 리터러시의 개념과 구성요소를 구조화하였다. 본 연구에서는 중학생의 인공지능 리터러시의 개념 모형을 구안하기 위해 국내외 인공지능 리터러시 선행 연구를 분석하여, 중학생의 인공지능 리터러시 개념모형의 구안의 이론적 근거로 활용하였다.

선행 연구 분석을 통하여 구안한 중학생의 인공지능 리터러시 개념 모형의 타당성을 검증하기 위하여 전문가 집단의 내용타당도 검증을 실시하였다. 전문가 집단은 인공지능 교육 전문가와 현장 전문가 10명으로 구성하였다. 내용 타당도 검증에서는 중학생의 인공지능 리터러시 개념의 적절성과 인공지능 리터러시의 영역의 적절성이 타당한지와 구체적으로 수정이나 보완이 필요한 부분에 대하여 검토하였다. 내용 타당도 검증과정을 통하여 선행 연구를 통하여 구안한 중학생의 인공지능 리터러시 개념모형을 타당화하였다.

2.2 Development of response item

2.2.1 Develop preliminary response item

중학생의 인공지능 리터러시 검사도구의 예비 문항은 2015 개정 교육과정에서 강조하고 있는 역량의 개념을 반영하였다. 따라서 예비 문항은 중학생이 문항을 읽고 스스로 판단할 수 있는 용어로 작성하였으며, 개인의 능력이나, 동기, 자아개념, 가치, 감정, 기능, 태도, 인식 등과 같이 개인의 내적 특성을 측정할 수 있는 행동적 용어로 표현하였다. 또한, 개인의 주관적인 생각이나 인식, 느낌 등도 측정 가능한 용어로 표현하여 예비문항을 작성하였다.

2.2.2 Determining the format of response item.

본 연구에서 개발한 검사 도구의 척도양식은 리커트 (Likert) 척도를 활용하여 검사자가 스스로 평정할 수 있도록 개발하였다. 인공지능 리터러시의 선행 연구를 종합하면 인공지능을 활용하여 문제를 해결할 수 있는 능력이나 역량으로 표현되고 있었다. 따라서 기존의 검사 도구개발 연구에서는 능력이나 역량을 객관적으로 측정하기 위한 대안으로 자기평정에 의한 측정방식을 활용하였다. 또한, 대부분의 역량 진단 선행연구에서 자기평정 방식으로 역량을 진단하는 것으로 나타났다[25]. 따라서 본 연구에서 개발하고자 하는 검사 도구의 문항 반응 양식은 리 커트 척도를 활용한 자기평정 방식이며, 인공지능 리터러시를 관찰가능한 행동표현형 검사 도구로 평가할 수 있다고 정의하였다.

2.2.3 Review the response item

개발한 예비 문항의 내용 타당도를 확보하기 위하여 인공지능 교육 전문가와 중학교 정보 교육을 담당하고 있는 현장 전문가, 교육 평가 연구 전문가를 대상으로 검토를 진행하였다. 전문가 집단을 대상으로 문항에 오류나 개선 사항을 수렴하였고, 내용 타당도 검증을 통하여 적절하지 않은 문항을 제거하거나 수정하였다.

2.3 Implementation of preliminary test tool

개발한 검사 도구의 문항을 검토하기 위하여 한국의 A 시 소재 중학교 3개교에 다니고 있는 중학생을 대상으로 예비 조사를 실시하였다. 예비 조사는 2020년 9월에 진행되었으며, 중학교 1~2학년 40명의 학생을 선별하여 조사를 실시하였다. 예비 조사의 목적은 문항의 명확성, 문항 이해도, 문항 반응 양식의 적절성 및 용이성 등을 보기 위한 것이다.

예비 조사에서 중학생은 문항을 읽은 후, 문항 이해를 묻는 문항에 5점 리커트 척도로 응답하였다. 이를 통하여 평균 점수가 2점 이하인 문항을 선별하였다. 또한, 예비조사를 진행한 이후, 인터뷰를 진행하여 이해도가 낮은 문항을 추가로 조사하였다. 이와 같은 과정을 통해 선별된 문항을 현장 전문가(중학교 정보 교사 4명, 중학교 국어 교사 2명)에게 선별된 문항에 대한 의견(삭제 및 수정)을조사하였고, 예비 조사에 활용된 전체 검사 문항에 대한 적절성 검토를 진행하였다.

2.4 Conducting the test tool and preparation of guidelines.

2.4.1 Conduct the test tool.

본 연구에서 개발하고자 하는 검사 도구는 중학생의 인공지능 리터러시 측정 도구이다. 따라서 연구 대상을 한국의 중학교 1, 2, 3학년을 학생을 모집단으로 선정하였다. 한국교육개발원에서 운영하고 있는 교육통계서비스 (kess.kedi.re.kr)에 따르면 2021년 한국의 중학생은 1, 350, 770명이었다[26]. Krejcie and Morgan(1970)에서는 모집단의 크기에 따라 표본 크기를 제시하고 있는데(모집단의 20%), 모집단의 크기가 너무 큰 경우, 신뢰도 95% 를 기준으로 적절한 표본 크기를 최소 400명 이상이라고 말하였다[27]. 본 연구에서는 본 검사 실시에 중학생 1, 222명을 대상자로 표집 하였다. 따라서 모집단을 특성을 대변할 수 있는 적절한 표본 크기를 확보하였다.

본 검사는 2020년 12월 8일부터 2021년 1월 8일까지 총 8개의 학교에 온라인(구글 설문지)으로 본 검사를 실시하였다. 본 검사를 실시한 결과, 중학생 1, 345명이 참여한 것으로 나타났지만, 설문지에 불성실하게 답변한 케이스 (인적사항 미응답, 모든 문항에 참여하지 않은 응답, 극단치에 치우친 응답 등)를 제외하였다. 따라서 본 검사 실시 결과 분석에 사용한 데이터는 중학생 1, 222명이었다. 본 검사에 참여한 대상자의 특성은 Table 1과 같다.

Table 1. Characteristics of the participants

2.4.2 Analysis of test tool results.

검사 도구의 타당도와 신뢰도를 분석하기 위하여 다음과 같은 방법으로 본 검사 실시 결과를 분석하였다.

첫 번째로 탐색적 요인 분석을 실시하여 구인타당도를 분석하였다. 탐색적 요인 분석에서 요인추출모형은 주성분 분석(principle component), 요인 회전은 Varimax를 이용한 직각회전, 요인 수 결정은 Kaiser방식을 사용하였다. 탐색적 요인 분석 결과에서 요인 적합 여부를 확인하기 위하여 KMO 값이 .800이상인지 확인하고, 고유치가 1 이상인 요인을 검사 도구의 요인으로 추출하였다. 또한, 검사 도구에서 공통성(communality)과 요인 적재량(factor loading)이 .500을 넘지 못하는 문항을 제외하였다.

두 번째로 검사 도구의 신뢰도를 분석하기 위하여 요인별로 Cronbach’s α를 분석하였다. Cronbach’s α가 .600이상이면 요인 내 문항이 내적 일치도가 만족스럽다고 판단한다. 따라서 도출한 요인별로 문항이 일치도를 가지는 것을 확인할 수 있다. 검사 도구 개발 선행 연구에서는 문항별로 Cronbach’s α를 확인하고, Cronbach’s α 가 낮아지게 하는 문항이 있는 경우, 문항을 제거하였다. 본 연구에서 개발한 검사 도구는 Cronbach’s α을 낮아지게 하는 문항이 존재하지 않아서, Cronbach’s α로 인하여 제거된 문항은 없었다.

세 번째로 확인적 요인 분석을 실시하였다. 확인적 요인분석을 통하여 중학생의 인공지능 리터러시 모델의 적합도 (model fit)를 검증하였다. 모델 적합도를 평가하기 위하여 확인적 요인 분석에서 많이 활용하는 적합도 평가 지수인 Goodness of Fit Index(GFI), Comparative Fit Index(CFI), Tucker-Lewis Index(TLI), Root Mean-Squared Error of Approximation(RMSEA), Standardized Root Mean square Residual(SRMR)을 살펴보았다. GFI는 절대적합지수로 1에 가까울수록 공분산 행렬의 분포 차이가 없다고 말하며, 900이상일 때 모델 적합도 지수에 충족한다. TLI와 CFI는 증분 적합도 지수 (incremental fit index)이며, 900이상이며 모델이 적합하다고 판단한다. 마지막으로 RMSEA와 SRMR은 절대 적합지수이며, 0에 근접할수록 공분산행렬의 분포 차이가 없다고 해석한다. 일반적으로 RMSEA은 .060과 SRMR이 .080 이하일 때 모델적합도를 충족한다고 말한다[28]. χ²값을 모델적합도 지수로 제시하는 경우도 있지만, χ²는 표본의 크기나 모델의 복잡성에 따라 결과 값이 다르므로 절대적인 기준이 되지 못한다. 따라서 본 연구에서는 χ²를 제외하였다.

네 번째로 집중타당도를 분석하기 위하여 확인적 요인분석 결과를 활용하였다. 먼저 std. λ(standardized regression weight)가 .700이상인지 살펴보았고, 다음으로 Average Variance Extracted(AVE)가 .500 이상 인지 살펴보았다. AVE는 std. λ의 제곱합을 std. λ의 제곱 합과 측정오차의 분산합의 합으로 나누어서 구하였다. Construct Reliability(CR, 개념 신뢰도)가 .700 이상 인지 확인하였다. CR는 std. λ의 합의 제곱을 std. λ의 합의 제곱과 측정오차의 분산합의 합으로 나누어서 계산하였다 [29]. 이와 같이 본 검사 실시 결과를 분석하기 위하여 IBM SPSS statistics와 IBM SPSS AMOS를 통계 분석에 활용하였다.

2.4.3 Preparation of test tool guidelines

검사 요강에는 검사 도구의 개요와 검사 도구의 하위 요인의 내용과 검사 문항, 검사 도구의 규준을 제시하였다. 규준은 상대적 크기 비교가 가능하도록 백분위 점수와 T 점수를 제시하였다.

IV. Results

1. Strategic planning for the development of test tool

1.1 Establish the purpose of the test tool

검사 도구 개발의 목적이자, 검사 도구를 개발에 가장 중요한 것은 검사 도구의 개발 목적을 수립하는 것이다 [30]. 검사 도구의 개발 목적 확립 단계에서는 검사 도구의 목적과 용도, 대상을 선정한다. 본 연구에서는 개발하고자 하는 검사 도구의 목적은 중학생의 인공지능 리터러시를 측정할 수 있는 검사 도구를 개발하는 것이다.

검사 도구의 용도는 인공지능 교육의 효과를 측정하기 위한 검사 도구를 개발하기 위한 것이다. 2022 개정 교육과정에서 디지털 역량과 인공지능 리터러시가 강조되었으며, 인공지능 융합 교육이 활성화되므로 인공지능 리터러시 검사 도구 개발이 요구된다[5].

검사 도구의 대상은 중학생으로 선정하였다. 초등학생과 중학생은 SW교육이 필수로 배우지만, 선행 연구에서 SW교육과 인공지능 교육 연구가 초등학생에 편중된 것으로 나타났다[13]. 인공지능 교육과정을 살펴보면, 초등학생은 인공지능 사례나 개념에 대하여 이해하고, 중학교에서 실질적인 인공지능 교육이 이루어진다[11]. 따라서 검사 도구의 대상을 중학생으로 선정하였다[13].

1.2 Review the components of the test tool

본 연구에서 중학생의 인공지능 리터러시를 정의하기 위하여 인공지능 리터러시와 관련된 선행 연구를 분석하였다. Long and Magerko(2020)의 연구를 바탕으로 인공지능 리터러시를 “인공지능을 통한 사회 변화를 예측할 수 있고, 문제를 해결하기 위하여 인공지능을 활용한 문제 해결 계획을 수립 및 진행할 수 있고, 일상생활에 활용되는 인공지능 기술을 비판적으로 평가할 수 있는 역량”이라 고정의 하였다[12][23][31].

중학생의 인공지능 리터러시 정의를 바탕으로 구성 요인의 고찰 및 구안을 진행하였다. 인공지능 리터러시는 물리적 속성이 아니라 추상적인 구성개념이므로 직접 측정할 수 없다. 따라서 구성개념으로 표상된 행동, 인지, 정서와 같은 심리적 구성개념(psychological construct)을 간접적으로 측정하여야 한다. 따라서 검사 도구를 개발하는 과정에서 구성 요인을 도출하기 위하여 심리적 구성 개념을 추출한다[32].

검사 도구의 개념을 구인화하는 방법은 연역적 접근방식, 귀납적 접근 방식, 외재적 접근 방식이 있다. 검사 도구를 개발한 선행 연구에서는 요인 구조를 설정하고, 검사 도구의 요인을 도출하기 위하여 연역적 접근 방식을 사용하였다[33][34]. 따라서 본 연구에서도 인공지능 리터러시 관련 선행 연구와 분석하여 연역적 접근 방식을 진행하였다.

선행 연구에서는 국내·외 인공지능 리터러시 선행 연구를 분석한 결과, 중학생의 인공지능 리터러시 개념 모형을 도출하기 위하여 인공지능의 정의, 특성, 원리, 활용을 중심으로 역량을 도출하였다. 인공지능의 정의에서는 ‘인공지능이란 무엇인가?’를 중심으로 요인을 도출하였다. 선행연구에서는 한국 학생들은 인공지능을 영상 매체에서 접한 것이나 로봇과 동일시하고, SF영화에 나오는 것처럼 전지전능한 기계로 생각하는 경우가 많은 것으로 나타났다[13][35][36]. 따라서 우리가 일상생활에 당연하게 사용하는 것에 대하여 인공지능이라고 인식하지 못하였다. 따라서 인공지능이란 무엇인지 이해하기 위하여 학습자가 갖추어야 할 역량으로 인공지능에 대한 인식과 지능에 대한 이해(사람과 기계의 지능), 다양한 분야의 인공지능 활용(로봇과 인지 시스템, 머신러닝), 인공지능 분류(강 인공지능과 약 인공지능)를 요인으로 도출하였다.

인공지능의 특성에서는 인공지능의 정의를 바탕으로 ‘인공지능이 어떤 일을 할 수 있는가?’를 중심으로 요인을 도출하였다. 선행 연구에서는 인공지능이 전지전능한 기계이며, 인공지능의 결과물에 대한 신뢰도가 높은 것으로 나타났다[35][36][37]. 하지만 인공지능은 많은 양의 데이터에서 패턴을 발견하거나 통제된 환경에서 의사 결정이나 추론을 하는 일에 적합하며, 창의적이거나 사회적 상호작용에 적합하지 않다. 따라서 인공지능을 활용한 문제 해결에서 인공지능이 어떠한 것을 할 수 있고, 어떠한 문제 상황에 인공지능을 적용하는 것이 적절한지 이해하는 것이 필요하다. 따라서 인공지능의 특성에서는 인공지능의 강점과 약점, 미래 사회에 인공지능(기술의 발달에 따른 인공지능의 활용)을 요인으로 도출하였다.

인공지능의 원리에서는 인공지능을 개발하고, 인공지능의 작동 원리를 중심으로 요인을 도출하였다. 프로그래밍 학습 과정에서 어려움을 조사한 연구에서는 학습자가 프로그램이 컴퓨터 안에서 어떻게 작동하는지 모르기 때문에 학습 과정에서 어려움을 느끼는 것으로 나타났다[38]. 특히, 인공지능은 머신러닝과 딥러닝의 발달로 인하여 알고리즘의 작동 원리가 마치 Black-box처럼 작용하여, 인공지능의 원리를 이해하는데 어려움을 느낀다[38][39]. 따라서 인공지능의 원리를 이해하기 위하여 AI4K12에서 제시한 5 big idea을 중심으로 요인을 살펴보았다[40]. 그 결과, 표현과 추론, 의사 결정, 탐색, 머신러닝의 문제 해결 과정, 인공지능을 활용한 문제 해결 계획 수립, 컴퓨팅 사고력, 데이터 리터러시, 학습을 위한 데이터, 데이터 전처리, 상호작용과 에이전트, 센서와 인식을 요인으로 도출하였다.

마지막으로 인공지능의 활용에서는 인공지능이 발달함에 따라 ‘우리가 인공지능을 어떻게 활용해야 할 것인가?’ 를 중심으로 요인을 도출하였다. 자율주행차에 대한 관심이 증가함에 따라 인공지능 관련 윤리적 딜레마에 대한 연구가 진행되고 있다. 또한, 인공지능의 발전에 따라 직업, 산업, 사회, 환경 등 여러 분야에서 변화가 예상됨에 따라 인공지능의 사회적 영향에 대한 관심도 증가하고 있다. 그뿐만 아니라 데이터 편향성이나 적합하지 않은 데이터를 활용한 인공지능 프로그램에서 나타나는 차별의 문제가 나타나고 있다[41][42][43]. 따라서 인공지능 윤리, 인공지능의 사회적 영향, 올바른 인공지능 활용, 인공지능의 편향성, 인공지능과 진로를 요인으로 도출하였다.

이처럼 중학생의 인공지능 리터러시 교육을 통하여 갖추어야 21개의 요인을 도출하였다. 개념 모형 구안을 위하여 도출한 요인에 대하여 중학생의 인공지능 리터러시의 세부 요인으로 적합한지 전문가 집단 검토를 실시하였다. 전문가 검토 결과, 범주화할 수 있는 요인이 존재하며, 일부 요인은 중학생 수준에 적합하지 않은 부분이 존재하였다. 따라서 전문가 검토 결과를 바탕으로 하나의 요인으로 통합하거나, 요인을 제거 및 수정하는 작업을 진행하였다. 이를 통하여 인공지능 이해, 인공지능 활용, 인공지능 원리, 데이터 리터러시, 인공지능 윤리, 인공지능 사회적 영향, 인공지능 진로, 올바른 인공지능, 인공지능 문제 해결, 인공지능 실행 계획을 검사 도구의 요인으로 도출하였다.

2. Development of response item

검사 도구 개발과 관련된 선행 연구에서는 검사 도구의 신뢰도를 높이기 위하여 요인별로 3~15개의 문항을 개발하는 권장한다. 따라서 검사 도구 개발 연구를 경험한 전문가 6명을 대상으로 요인별로 5개 이상의 문항 개발을 진행하였다. 다음으로 개발한 문항을 취합한 후, 요인별로 중복된 문항을 제거하고, 전문가 협의를 통하여 적절한 문항을 선별하였다. 이를 통하여 중학생의 인공지능 리터러시를 측정하기 위한 83개의 문항을 개발하였다.

3. Implementation of preliminary test tool

개발한 문항을 다른 지역에 2개 학교에 다니고 있는 중학생 40명에게 적용하고, 검사 문항이 이해가 가지 않거나, 명확하지 않고, 검사 문항에 대한 답을 선택하기에 용이하지 않은 문항을 선별하였다. 또한, 검사 결과의 평균, 표준편차, 왜도, 첨도 등을 분석하여 편향된 결과가 나오는 문항이 없는지 검토하였다. 다음으로 인공지능 교육 전문가와 현장 전문가로 구성된 전문가 집단(14명)에게 검사 문항의 내용 타당도 검증을 진행하였다. 전문가 검토를 통하여 내용 타당도가 .51보다 낮은 문항을 삭제하였다. 이러한 과정을 통하여 13개의 문항이 적절하지 않다고 판단하였으며, 해당 문항을 본 검사 문항에서 제거하였다.

4. Conducting the test tool and preparation of guidelines.

4.1 Analysis of test tool results.

예비 검사를 통하여 본 검사 문항(75개)을 도출하였다. 본 검사 문항의 타당도와 신뢰도를 살펴보기 위한 다음과 같은 작업을 진행하였다. 첫째, 한국의 중학생 1, 222명에게 본 검사 문항을 실시하였다.

둘째, 탐색적 요인 분석을 활용하여 본 검사 실시 결과를 분석하였다. 분석 결과, Kaiser-Meyer-Olkin(KMO)의 표본 적절성 측정치는 .979이었다. 따라서 요인 분석하기에 매우 적합한 것을 확인할 수 있었다. 다음으로 Bartlett 구형성 검증 결과는 χ2= 57361.277(p < .000)이므로 자료 간의 독립성이 보장된다는 것을 확인할 수 있었다. 따라서 검사 도구가 요인 분석에 적합한 것을 확인할 수 있었다. 또한, Kaiser 방식에 따라 고유치(eigenvalue)가 1.000보다 큰 요인을 산출하였는데, 전체 변량의 59.489%를 설명하는 8개의 요인을 얻을 수 있었다. 예비 검사 문항에서는 인공지능 리터러시 검사 도구의 요인을 10개를 얻었는데, 이와 다른 결과가 나타났다는 점과 특정 문항이 다른 요인에 속하거나 2개의 요인이 하나의 요인으로 합쳐지는 결과가 나타났다. 또한, 요인 적재량(factor loading)과 공통성 (communality)을 본 검사 도구의 개발 계획 기준에 미치는 못하는 문항이 존재하였다. 따라서 초기 탐색적 요인분석 결과를 기반으로 기준을 충족하지 문항을 제거하면서 최적의 요인 구조를 탐색하였다[44].

이러한 요인 분석을 통하여 중학생의 인공지능 리터러시를 측정하기 위한 10개의 요인과 70개의 문항 중 30개의 문항을 선별할 수 있었다. 요인은 인공지능의 사회적 영향(8문항), 인공지능 실행 계획(5문항), 인공지능 문제해결(5문항), 인공지능의 이해(6문항), 데이터 리터러시(4 문항), 올바른 인공지능(2문항)이 도출되었다. 요인 분석을 통하여 전체 변량의 75.649%를 설명하는 6개의 요인을 확인할 수 있었다. 검사 도구의 탐색적 요인 분석 결과는 Table 2와 같다.

Table 2. The results of exploratory factor analysis of the preliminary test tool.

셋째, 도구의 내적 일치도를 확인하기 위하여 신뢰도 검증을 진행하였다. 탐색적 요인 분석을 통하여 도출한 검사 도구의 신뢰도는 Cronbach α가 .970으로 매우 높게 나타났다. 요인별로 Cronbach α 값은 .861 ~ .939 사이의 값이 나타났다. 또한, 신뢰도 계수 산출 과정에서 문항을 삭제하였을 때, Cronbach α가 높아지는 문항이 있는지 검토하였으나, 신뢰도를 떨어뜨리는 문항은 존재하지 않았다. 따라서 요인 분석을 통해 도출한 검사 도구가 신뢰도를 확보하였다는 것을 확인할 수 있었다. 검사 도구의 신뢰도는 Table 3과 같다.

Table 3. The reliability of the test tool.

넷째, 문항의 구인 타당도를 검증하기 위하여 상관관계 분석과 확인적 요인 분석을 실시하였다. 먼저, 검사 도구의 하위 요소 간 상관관계를 분석한 결과, 인공지능 리터러시의 하위 요소들은 서로 유의한 상관관계를 가지고 있었다. 따라서 요인 분석을 통하여 도출한 검사 도구의 하위 요소들이 서로 유기적인 관계를 맺고 있으며, 하나의 잠재적 구인을 형성하고 있다는 것을 확인할 수 있었다. 본 검사 도구의 상관관계 분석 결과는 Table 4와 같다.

Table 4. Correlation between sub-domain of the test tool.

다음으로 중학생의 인공지능 리터러시 검사 도구의 확인적 요인 분석을 실시하기 위하여 Fig 2와 같이 분석 모델을 설정하였다.

Fig. 2. Confirmatory factor analysis model of artificial intelligence literacy test tool

중학생의 인공지능 리터러시 검사 도구의 모델 적합도를 살펴본 결과, 모델 적합도 지수에서 절대적합지수 (absolute fit index)인 Goodness Fit Index(GFI)는 .912, Standardized Root Mean squared Residual(SRMR)은 .045, Root Mean Square Error of Approximation(RMSEA)은 .052이었다. 중분적합지수 (Incremental fit index)인 Comparative Fit Index(CFI) 는 .960, Tucker-Lewis Index(TLI)는 .955로 나타났다. 따라서 모델 적합도 지수가 기준 대비 적합하므로, 본 연구에서 활용한 인공지능 리터러시의 확인적 요인 분석 모델은 적합하다는 것을 확인할 수 있었다. 인공지능 리터러시검사 도구의 모델 적합도 지수 결과는 Table 5와 같다.

Table 5. Model fit index of artificial intelligence literacy test tool.

마지막으로 집중타당도를 살펴보기 위하여 확인적 요인분석 결과를 살펴보았다. 먼저 Unstandardized regression weight(Unstd. λ)의 Critical Ratio이 p< .05 에서 1.96보다 큰 것을 확인하였다. 다음으로 인공지능 리터러시 검사도구의 std. λ이 .700이상인지 살펴보았다. 본 연구에서는 std. λ의 값이 .742~.909이므로 집중 타당도의 첫 번째 조건에 충족한 것으로 나타났다. 다음으로 AVE값은 .526~.711의 값이 나타났는데, 집중타당도의 조건인 .500 이상에 충족한 것을 확인하였다. 마지막으로 CR이 .814~.936이므로, CR 값이 .700 이상이어야 한다는 조건도 충족하는 것을 확인할 수 있었다. 따라서 본 연구에서 개발한 인공지능 리터러시 검사 도구가 타당도를 확보한 것을 확인할 수 있었다. 확인적 요인 분석을 통하여 살펴본 AVE와 CR은 Table 6과 같다.

Table 6. Results of convergent validity through confirmatory factor analysis

4.2 Preparation of test tool guidelines

중학생의 인공지능 리터러시에 대한 규준은 Table 7과 같다. 본 연구에서 개발한 검사 도구는 측정 내용은 Table 8과 같다.

Table 7. The standards of AI literacy test tool

Table 8. Contents of artificial intelligence literacy test tool for middle school students

V. Conclusion

본 연구에서는 중학생의 인공지능 리터러시를 측정하기 위한 검사 도구를 개발하였다. 연구 결과를 통하여 다음과 같은 결론을 도출하였다.

중학생의 인공지능 리터러시 검사 도구는 중학생이 인공지능을 통해 변화할 사회나 직업 세계를 예측하고, 인공지능을 올바르게 활용하기 위한 윤리적 의식과 이해를 함양하고, 인공지능 활용하여 일상생활에서 겪는 문제를 해결하기 위한 역량을 측정하기 위한 목적으로 개발되었다. 검사 도구는 6개의 영역(인공지능의 사회적 영향, 인공지능의 이해, 인공지능 실행 계획, 인공지능 문제 해결, 데이터 리터러시, 인공지능 윤리)에 30개의 문항으로 구성되었으며, 검사 도구의 소요 시간은 약 10~15분이다.

본 검사 도구는 자기평정식 5점 리커트 척도로 응답하게 개발되었다; 5= 매우 그렇다, 4= 그렇다, 3= 보통이다, 2= 그렇지 않다, 1= 전혀 그렇지 않다. 검사 도구의 내적일 치 도는 전체 검사 문항은 .970이며, 하위 영역은 .861~.939이었다. 검사 도구는 탐색적 요인 분석과 확인 적요인 분석을 통하여 중학생의 인공지능 리터러시를 측정하기 위한 검사 도구로서 타당도를 검증하였다. 연구에서 변별타당도나, 구인타당도, 준거타당도, 신뢰도, 집중타 당도 등이 모두 적절한 것을 확인할 수 있었다.

본 연구에서는 검사 도구의 규준 점수를 제시함으로써, 중학생의 인공지능 리터러시에 대한 표준을 확인할 수 있다. 개발한 검사 도구를 활용하여 인공지능 교육에 대한 효과를 측정할 수 있으며, 인공지능 리터러시 비교 연구나 인공지능 리터러시 발달 단계를 분석하는 연구 등을 진행할 수 있다.

본 연구의 한계점은 다음과 같다. 첫 번째로 검사 도구의 대상의 한계점이다. 본 연구에서는 중학생의 인공지능 리터러시를 측정하기 위한 검사 도구를 개발하였다. 인공지능 교 육과 관련된 정책이나 교육과정을 살펴보면, 중학생뿐만 아 니라 초등학생과 고등학생, 대학생까지 체계적인 인공지능 교육을 도입하고자 한다. 따라서 인공지능 리터러시는 중학 생뿐만 아니라 초, 중, 대학생을 위한 검사 도구도 필요하다. 그러므로 본 연구에서 개발한 검사 도구가 학교급에 따른 차이가 존재하는지, 존재한다면 어떠한 문항을 수정, 보완 해야하는지 분석하는 연구가 필요하다. 후속 연구로 Rasch 모형을 활용하여 학교급에 따라서 검사 도구의 개선 방향이 나 유의점, 학교급에 따른 검사 도구 개발 연구가 필요하다.

또한, 검사 도구의 타당화 검증 과정이 지속적으로 필요하다. 본 연구를 통하여 중학생의 인공지능 리터러시를 측 정하기 위한 문항을 개발하였지만, 검사 도구의 타당화를 위해서 사후 검증까지 지속적으로 필요하다. 따라서 다양 한 방법으로 검사 도구의 타당도를 검증하고, 본 검사 도 구의 활용 가능성을 입증하고 안정적인 활용 방법을 찾는 것이 필요하다. 이와 같은 연구를 위하여 중학생의 인공지 능 리터러시를 측정하는 다른 검사 도구와 상관 연구를 진 행하여 구성타당도를 검증하는 것이 필요하다.

본 연구에서 개발한 검사 도구가 명확하고 단일한 요인 구조를 갖추기 위해서는 측정 문항의 보완이 필요하다. 본 검사 도구를 개발하는 과정에서 많은 문항이 삭제되고, 요 인의 수정 및 보완이 이루어졌다. 추후 연구에서는 삭제된 문항을 활용하여 검사 도구의 요인을 수정 및 보완하는 것 이 필요하다.

2015 개정 교육과정에서는 교수-학습과 평가 개선을 위하여 다양한 연구가 이루어졌다. 평가에서는 학습자 발달과수업 중에 이루어지는 평가, 수행 과정의 평가를 위하여 과정 중심 평가에 대한 관심이 증가하였다. 또한, 교육과정-수업-평가-기록을 연속된 교육 활동으로 보고, 4가지 요소가 유기적으로 작용하고 통합된 상태로 운영하기 위한 노력이지속되고 있다. 과정중심평가와 교육과정-수업-평가-기록 일체화를 위하여 평가에 대한 중요성이 증가하고 있다. 본연구에서 개발한 검사 도구가 평가에 기여할 수 있지만, 자기 평 정식 평가 방법을 활용하고 있다. 이러한 방식의 검사실시가 간편하지만, 인공지능 교육 과정에서 학습자의 포트폴리오나 프로젝트 과정이나 결과물을 평가하는데 한계가 존재한다. SW교육의 핵심 역량이었던 컴퓨팅 사고력은 Dr. Scratch나 비버랠린지, 루브릭 등 다양한 검사 방법을 가진 검사 도구가 개발되었으며, 검사 도구 간의 상관관계를 분석하는 연구가 이루어졌다. 따라서 후속 연구에서는 중학생의 인공지능 리터러시를 측정하기 위한 다양한 검사 방법을 가진 검사 도구를 개발하는 연구가 필요하다.

리터러시 관련 선행 연구를 살펴보면, 리터러시의 발달에 영향을 미치는 요인이 다양한 것으로 나타났다. 따라서 인공지능 리터러시를 향상시키기 위한 교수-학습이나 교육과정, 평가 방법 등 다양한 부분에서 연구가 이루어지기 전에 인공지능 리터러시에 영향을 미치는 요인을 분석하는 연구가 필요하다. 그러므로 인공지능 리터러시와 관련 있는 컴퓨터·정보 소양이나 디지털 리터러시의 선행 연구를 살펴보고, 영향을 미치는 요인을 도출하고, 인공지능 리터러시에는 어떠한 영향을 미치는지 분석하는 것이 필요하다. 이를 통하여 인공지능 리터러시를 향상시키기 위한 교육 방안 도출이나 교육 모델 개발을 진행할 수 있다.

2022 개정 교육과정에서는 인공지능 리터러시가 교육과정 총론의 핵심 내용으로 제시되어 있다. 따라서 여러 교과에서 인공지능 리터러시를 역량으로 포함한 교육과정이 개발될 것이다. 이러한 교육과정이 운영됨에 따라 교육의 효과를 측정하고, 교육을 지속적으로 개선하는 것이 필요하다. 본 연구의 결과물은 이와 같이 2022 개정 교육과정에서 인공지능 리터러시의 효과를 측정하고, 학교, 지역, 국가 등 다양한 대상간의 인공지능 리터러시 비교 연구에 활용할 수 있다.