DOI QR코드

DOI QR Code

A Comparative Analysis of Korean Middle School Students’ Achievement with Other Asian Countries in Chemistry in TIMSS 2003

아시아권 국가와 우리나라 중학생들의 TIMSS 2003 화학 영역의 성취도 비교 분석

  • 김지영 (이화여자대학교 과학교육과) ;
  • 김경희 (한국교육과정평가원)
  • Published : 2008.10.20

Abstract

Keywords

TIMSS 2003 ; Chemistry ; Science Curriculum ; Middle School Student

서 론

학교교육의 결과를 점검하고 보다 나은 교육을 제공하기 위해 다양한 정보를 수집하여 분석하고 평가하는 것은 국가가 주도하는 교육평가 체제의 주요 역할 중의 하나이다. 특히, 학교교육의 결과인 성취도를 자국의 수준에서뿐 아니라 국제적인 수준에서 파악하고 나아가 교육제도 및 교육과정이 서로 다른 국가들과 비교ㆍ분석하는 일은 국제화 사회에서 교육의 경쟁력을 강화한다는 측면에서 필요한 일이다.

수학·과학 성취도 추이 변화 국제 비교 연구(Trends in International Mathematics and Science Study: 이하 TIMSS)는 국제 교육성취도 평가 협회(International Association for the Evaluation of Educational Achievement: 이하 IEA)의 주관 하에 참여국들의 수학과 과학 성취도를 파악하고 그 변화 과정을 살펴 참여국들의 교육체제를 점검할 수 있는 정보를 제공하는 것을 그 목적으로 하고 있다. TIMSS 2003은 3주기 연구로서 2003년에 본검사를 시행하여 2004년 12월에 IEA에서 그 결과를 발표하였다. 많은 시간과 노력을 통해 국제 기준의 평가틀과 평가문항을 개발하고 참여국 마다 검사 대상 모집단 학생들을 대표하는 표집 과정을 거친 국제 비교 연구 결과는 각국의 상대적 위치를 객관적으로 파악할 수 있는 근거가 된다. 또한 참여국들의 교육 과정과 학교의 자원 및 교사의 수준을 파악할 수 있는 정보도 제공되고 있어 다양한 측면에서 교수 학습에 관한 정보를 얻을 수 있다. 그렇기 때문에 국제 비교 결과는 여러면으로 심층 분석되어 자국의 교육에서 문제점을 찾고 개선 정책을 수립하는데 적극적으로 활용되고 있다.1,2

TIMSS 2003에서는 과학 평가 도구를 개발하기 위한 기본틀을 설명하면서 참가국들의 교육과정을 근간으로 과학을 내용 영역과 인지 영역으로 분류하였다. 내용 영역은 물리, 화학, 생물, 지구과학, 환경 등의 5개 영역으로 구분되었고, 인지 영역은 사실적 지식, 개념 이해, 추론과 분석 등의 3개 영역으로 구분되었다.3

우리나라의 경우, TIMSS 2003에서 과학 성취도 평균은 558점으로 3위에 해당하는 우수한 성취를 나타내었으나 각 내용영역별로 성취도에서 차이가 나타났다. 각 내용 영역별 등수를 살펴보면 물리는 싱가포르와 공동 1위, 화학은 9위, 생물은 싱가포르와 대만에 이어 3위를 차지하였다. 또한 지구과학은 5위를 차지하였으며 환경은 4위를 차지하였다.4 화학 영역의 성취는 다른 영역의 성취에 비해 가장 낮은 것을 볼 수 있다.

TIMSS 2003 과학 성취도에서 상위 5위를 차지한 나라로는 1위 싱가포르, 2위 대만, 3위 대한민국, 4위 홍콩, 5위 일본을 들 수 있다. 이 나라들은 우리나라에 비해 화학 영역의 성취도가 우수하게 나타났는데, 1위 대만, 2위 싱가포르, 4위 일본, 6위 홍콩에 해당하였다. 싱가포르, 대만, 홍콩, 일본은 TIMSS 1999에서도 우수한 성취를 나타내었는데, 이와 같이 과학 성취도 국제 비교 연구에서 상위권에 속하는 아시아 국가들의 높은 성취도는 국제적으로도 많은 관심의 대상이 되어왔다.5,6 그러므로 우리나라와 같은 아시아권에 속한 나라들로서 국제 과학성취도 결과에서 우수한 성적을 나타내고 있는 싱가포르, 대만, 홍콩, 일본과 우리나라의 화학 내용영역의 성취도를 비교해보고 우리나라의 교육과정에서 개선되어야 할 부분과 교수 학습에서 중점을 두어야 할 부분에 대하여 실질적인 방향을 모색해야 할 필요가 있겠다. 과학의 내용영역과 관련지어 학생의 성취도를 분석한 연구 결과들을 살펴보면 TIMSS 2003 생물, 환경, 지구과학 영역의 성취도를 분석한 연구가 있었으나 그 성취도가 가장 낮은 화학 영역의 성취도를 국제적으로 비교한 연구는 실시되지 않았다.7,8,9 이에 본 연구에서 화학 내용 영역의 성취도를 과학 영역의 성취가 우수한 싱가포르, 대만, 홍콩, 일본과 비교해보고 우리교육에 주는 시사점을 찾아보고자 하였다. TIMSS 2003의 결과에 의하면 과학 성취도에 있어서 우리나라 남학생과 여학생의 차이가 여전히 크게 존재함을 보여주고 있다. TIMSS 2003에서 우리나라 남학생과 여학생의 과학 성취도 차이는 12점으로 국제 평균인 6점에 비해 높게 나타났다.3 남여학생의 성취도 격차를 해소하기 위해서는 차이가 나는 영역을 찾아 비교해보고 어떠한 개념이나 능력을 요구하는 부분에서 성차가 크게 나타나는지를 살펴보아야 하겠다. 이에 우리나라의 화학 영역의 성차는 싱가포르, 대만, 홍콩, 일본과 비교했을 때 어떠한지 분석해 볼 필요가 있으며 각 문항들 중 어떠한 내용을 포함한 내용에서 성차가 크게 나타나는지 분석해 볼 필요가 있겠다.

본 연구의 구체적인 연구 내용은 다음과 같다.

첫째, 우리나라와 아시아 국가(싱가포르, 홍콩, 대만, 일본)의 화학영역에서의 성취도 차이 를 분석한다.

둘째, 우리나라와 아시아 국가(싱가포르, 홍콩, 대만, 일본)의 화학영역의 주제별 문항에서의 성취도 차이를 비교 분석한다.

셋째, 우리나라 여학생과 남학생의 화학 영역의 성취도 차이를 아시아 국가(싱가포르, 홍콩, 대만, 일본)와 비교 분석한다.

 

연구 내용 및 방법

연구 대상

TIMSS 2003의 8학년 학생 대상의 연구에는 총 46개국의 나라가 참여하였다. 우리나라의 경우 2002년도에 변경된 학사일정으로 2003년 12월에 8학년(중학교 2학년)을 대상으로 시행될 예정이었던 본검사가 2004년 4월 9학년(중학교 3학년)을 대상으로 실시되었다. 우리나라를 제외한 싱가포르, 대만, 홍콩, 일본의 경우는 8학년에 해당하는 학년 말에 TIMSS 2003 검사가 실시되었다. 우리나라의 경우 분석 대상 학생수는 5,309명(남학생 2776명, 여학생 2533명)이었고, 싱가포르 6,018명(남학생 2938명, 여학생 3080명), 대만 5,379명(남학생 2762명, 여학생 2617명), 홍콩 4,972명(남학생 2466명, 여학생2506), 일본 4,856명(남학생 2455명, 여학생 2401명) 이었다.

평가 도구

TIMSS 2003에서 과학 성취도를 평가하기 위하여 사용된 과학 문항은 총 189개이며 이중 화학 영역에 해당하는 문항이 31개 이다. 화학 영역은 5개의 주제로 다시 세분화되는데 각 주제별 문항수는 Table 1과 같다.

Table 1.Distribution of chemistry items by main topic

물질의 분류와 조성에 대한 주제에서는 가시적이고 측정 가능한 물리적 성질(예: 밀도, 열 전도성, 전기 전도성, 용해도, 끓는점, 자성)에 기초하여 물질을 분류하거나 비교할 수 있는지 평가한다. 그리고 물질은 비슷한 화학적, 물리적 성질에 따라 분류될 수 있음을 알고 금속과 구별되는 비금속의 성질을 설명할 수 있는지 평가한다. 생성(formation)과 조성(composition)에 따라 순물질(원소, 화합물)과 혼합물(균일, 불균일)을 구별하고, 상태별(고체, 액체, 기체)로 각각의 예를 들 수 있는지에 대해서도 평가한다. 혼합물을 분리하는 물리적 방법(예: 여과, 증류, 자석이용, 걷어내기, 용해)을 선택하거나 설명할 수 있는지 평가한다. 또한 용액을 용매에 순물질(고체, 액체, 또는 기체 용질)이 녹아있는 것으로 정의할 수 있으며 용매나 용질의 양과 용액의 농도와의 관계에 대한 지식을 적용할 수 있고 온도, 젓는 횟수, 입자 크기가 용해 속도에 미치는 영향에 대한 지식을 적용할 수 있는지에 대해서 평가한다.

물질의 입자 구조에 대한 주제에서는 아원자(양성자와 중성자로 구성되어 있는 원자핵 주변을 도는 전자들)들로 구성되어 있는 원자와 원자의 결합에 의해 생성된 분자를 포함한 입자의 관점에서 물질의 구조를 설명할 수 있는지 평가한다.

물의 성질과 용도에 대한 주제에서는 물이 산소원자 한개와 수소원자 두개로 이루어진 분자로 구성되어 있음을 설명할 수 있고 물의 물리적 특성(녹는점, 끓는점, 많은 물질을 용해시키는 능력, 열적 성질, 응고시 부피 팽창)과 물의 작용 및 사용을 관련지어 설명할 수 있는지 평가한다.

산과 염기에 대한 주제에서는 산과 염기의 성질(산은 신맛이 있고, 금속과 반응한다. 염기는 쓴맛이 있고 미끄러운 느낌이 있다. 산과 염기는 모두 물에 잘 녹고 지시약과 반응하여 서로 다른 색변화를 나타낸다. 산과 염기는 서로 중화시킬 수 있다)을 비교할 수 있는지 평가한다.

화학 변화에 대한 주제에서는 화학적 변화를 하나 또는 그 이상의 순물질(반응물)이 다른 순물질로 변화하는 것에 근거하여 물리적 변화와 구별할 수 있고 화학 변화가 일어난 증거를 온도 변화, 기체 생성, 색 변화, 빛 방출 등으로 제시할 수 있는지 평가한다. 그리고 화학 변화가 일어나도 질량이 보존됨을 알고 산화반응(연소, 부식)에서 산소가 필요하며 친숙한 몇 가지 물질들(가솔린/물의 연소, 강철/알루미늄의 부식)에서 산화반응이 일어날 때의 상대적인 반응 경향성을 비교할 수 있는지 평가한다. 또한 어떤 화학 변화는 열을 흡수하는 반면 어떤 화학 변화는 열을 방출한다는 것을 알고 연소, 중화, 요리 등 친숙한 화학 변화를 발열 반응과 흡열 반응으로 구분할 수 있는지 평가한다.

분석 방법

Martin(2004)10에는 2003년에 참여한 46개국의 방대한 과학 성취도 자료 및 자료의 사용 지침이 수록되어 있는데 이 내용에 근거하여 국가별 자료를 분석하였다. 화학 영역의 성취도를 비교하기 위하여 싱가포르, 대만, 홍콩, 일본, 우리나라의 평균을 이용해 t-검정을 실시하였다. 또한 각 국가 내에서 남학생과 여학생간의 화학 영역의 성취도에 유의한 차이가 있는지를 알아보기 위해서 t-검정을 실시하였다. 화학 영역의 주제별 문항 분석은 각 문항의 정답률에 근거하여 이루어졌다. 객관식 문항의 경우 정답을 선택한 학생의 비율을 비교 분석하였고, 서술형 문항의 경우 부분 점수를 받은 학생을 제외한 만점을 받은 학생들의 비율을 비교 분석하였다. 정답률에서 차이가 있는지 알아보기 위하여 각 문항의 정답률에 근거하여 χ2 검정을 실시하였다. 국가별 교육과정 자료는 TIMSS 2003 결과 보고서에 제시된 TIMSS 2003 교육과정 설문 조사를 참고하였다.3

 

결과 및 논의

화학 영역의 성취도 국제 비교

TIMSS 2003 화학 영역의 성취도를 국가별로 비교 분석한 결과는 Table 2와 같다.

Table 2.* p<.05, ** p<.01, *** p<.001

화학 영역의 성취도 평균이 가장 높은 나라는 대만이었고 그 다음으로는 싱가포르에 해당하였다. 우리나라의 화학 영역 성취도 평균은 싱가포르, 홍콩, 대만, 일본에 비해 가장 낮은 것으로 나타났으며 그 차이는 통계적으로 유의하였다. 우리나라의 화학 영역 성취는 과학에서 우수한 성취를 나타내는 아시아권 국가들에 비해 낮다고 할 수 있겠다.

각 국가별로 TIMSS 2003의 화학 영역의 성취도를 성별로 비교 분석한 결과는 Table 3과 같다.

Table 3.National comparison of student achievement in gender at chemistry

국가별로 성별 평균 점수를 비교해보면 싱가포르와 홍콩의 경우에는 남학생과 여학생의 성취에 유의한 차이가 나타나지 않았다. 대만의 경우 여학생의 평균이 남학생의 평균에 비해 유의하게 높게 나타났다. 반면 우리나라와 일본의 경우 공통적으로 남학생의 평균이 여학생 평균에 비해 유의하게 높게 나타났다. TIMSS 2003의 환경, 생물, 지구과학 영역에 우리나라 학생들의 성별 차이를 분석한 결과7,8,9에서도 남학생의 성취가 여학생의 성취도보다 유의하게 높게 나타났는데 이러한 결과들에 비추어볼 때 과학의 모든 내용 영역에서 남학생의 성취가 여학생의 성취보다 높게 나타나고 있음을 알 수 있다.

화학 영역의 주제별 문항분석

화학 영역의 각 주제별 문항의 정답률과 국가간 정답률 차이를 분석하여 국가별로 성취도에서의 차이를 살펴보았다.

물질의 분류와 조성

‘물질의 분류와 조성’ 주제에 대해 국가별로 학습하는 학년을 비교한 결과는 Table 4와 같고, 총 14개 문항의 정답률에서 우리나라와 비교 국가간에 차이가 있는지 분석한 결과는 Table 5와 같다.

Table 4.Grade that ‘Classification and composition of matter’ is intended to teach

Table 5.*p<.05, **p<.01, ***p<.001 MC: Multiple-Choice, CR: Constructed-response(이하 동일) F.K: Factual Knowledge, C.U: Conceptual Understanding, R.A: Reasoning and Analysis (이하 동일)

우리나라 학생들은 ‘물질의 분류와 조성’에 대해 8학년에서 학습하고 있으며 비교 국가 중 홍콩은 이 개념을 9학년에서 도입하여 그 도입 시기가 가장 느린 것을 볼 수 있다. 문항 분석 결과를 살펴보면 총 14문항 중 싱가포르, 홍콩, 대만, 일본에 비해 우리나라의 정답률이 유의하게 낮은 문항은 3개였고 유의하게 높은 문항은 1개였다. 유의하게 정답률이 낮은 문항은 소금, 모래, 철 혼합물을 분리하는 과정을 기술하는 문항(S032562), 금속 조각의 밀도를 구하는 문항(S032709), 금속 물질을 확인할 수 있는 일반적인 성질에 대한 문항(S032570)으로 모두 서술형에 해당하였다.

소금, 모래, 철의 혼합물을 분리하는 문항(S032562)은 4학년 ‘혼합물 분리하기’와 8학년 ‘혼합물의 분리’ 단원에서 많이 다루어지는 내용 임에도 불구하고 우리나라의 정답률이 유의하게 낮았는데 우리나라 학생들이 분리 과정을 단계적으로 길게 서술하는데 취약하다고 볼 수 있겠다.

금속 물질을 확인할 수 있는 일반적인 성질에 대한 문항(S032570)은 비교 국가들에 비해 유의하게 평균 차이가 크게 나타났다. 우리나라 학생들은 4학년 ‘열에 의한 물체의 온도’와 ‘열의 이동’ 단원에서 금속 물질의 열팽창과 열의 이동에 대한 내용을 학습하게 된다. 그리고 8학년 ‘물질의 특성’ 단원에서 녹는점에 대한 내용을 배울 때여러 가지 물질들의 녹는점이 비교 제시되어 있어 금속의 녹는점이 높다는 것을 학습 하게 된다. 또한 8학년 ‘전기’ 단원에서 금속에서의 전류의 흐름에 대해서 학습하게 된다. 그러나 이러한 내용에 대한 학습은 금속을 확인할 수 있는 성질이라는 내용으로 구분되어 가르쳐지지 않고 있어 학생들이 금속의 성질을 확인하기 위한 방법으로 이러한 여러 가지 성질들을 떠올리지 못한 것으로 보인다. 두 가지 그룹으로 나뉘어진 물질들의 분류 기준을 선정하는 문항(S032683)에서 우리나라 학생들의 정답률이 싱가포르, 대만, 일본에 비해 유의하게 낮았다. 이 문항은 금속이 아닌 물질과 금속인 물질로 구분된 물질들의 분류 결과를 제시해 주고 분류 기준으로 적합한 것을 보기에서 고르도록 하고 있는데 이문항의 정답률이 비교 국가에 비해 낮은 것에서 우리나라 학생들이 금속과 비금속을 구분하는 데 미흡한 것으로 보인다. 이 문항에서 가장 정답률이 높은 싱가포르에서는 중학교 교과서의 ‘물질의 분류’ 단원에 물질이란 금속과 비금속으로 나누어지며 비금속에는 플라스틱, 유리, 세라믹, 섬유 등이 있다는 내용이 제시되어 있다. 또한 각 물질의 분류 기준인 녹는점, 끓는점, 전기 전도성, 열용량, 밀도, 경도, 유연성(flexibility), 강도(strength) 등이 함께 제시되고 있어 각각의 기준에 의해 물질이 어떻게 분류되는지를 구체적으로 학습하게 된다.11,12 반면 우리나라의 경우에는 8학년 ‘물질의 특성’ 단원에서 물질을 구분하는 기준으로 겉보기 성질, 녹는점, 끓는점, 밀도, 용해도 등을 학습하나 이 특성으로 직접 물질들을 분류하는 내용이 다루어지지는 않는다.13 이러한 차이가 우리나라의 정답률이 낮게 나타난 하나의 원인이라고 판단된다. 우리나라보다 성취가 우수한 외국의 교육과정을 꼭 따를 필요는 없으며 교육과정은 해당 국가가 고유하게 결정해야하지만14, 우리나라의 교육 여견과 학생들의 수준 등에 관한 연구 결과를 기초로 우리나라의 교육 현실에 효과적일 것이라고 판단되는 내용의 도입이 필요할 것으로 보인다.

금속 조각의 밀도를 구하는 문항(S032709)은 밀도를 구하는 과정이 모두 주어지고 금속의 부피를 구한후 제시된 질량을 넣어 밀도를 계산할 수 있는 문항임에도 학생들의 정답률이 크게 낮았다. 이 문항은 다른 문항에 비해 지문의 내용이 매우 길었는데 그 내용이 거의 한페이지에 해당하였다. TIMSS 2003의 공개 문항을 분석한 결과에서 우리나라의 정답률이 낮은 원인으로 우리나라의 학생들이 문제 상황이 길게 서술된 문항에 익숙하지 않기 때문이라고 지적하였는데,15 이러한 것도 한 원인으로 작용한 것으로 판단된다. 금속 조각의 밀도를 구하는 문항(S032709)에서 구한 밀도 값에 근거하여 이 금속은 어떠한 금속인지 추론하는 문항(S032713B)의 경우도 싱가포르, 대만, 일본에 비해 우리나라의 정답률이 유의하게 낮았다.

물에 용해되는 설탕에 대한 문항(S022181)에서 우리나라의 정답률이 4개의 비교 국가보다 유의하게 높았다. 또한 온도에 따른 용해도 그래프에 대한 문항(S032156)의 정답률도 싱가포르와 홍콩에 비해 유의하게 높았다. 두 문항 모두 용해와 관련된 것으로 8학년 ‘물질의 특성’ 단원에서 용해도에 대한 개념의 학습시 다루어지는 내용이다. 용해와 관련된 문항의 정답률이 국제 정답률보다 높은 결과에 비추어 볼 때 우리나라 학생들은 온도, 젓는 횟수, 입자 크기 등이 용해에 미치는 영향에 대해 대체적으로 잘 이해하고 있다고 할 수 있겠다.

화학영역의 성취가 가장 우수한 대만의 경우 이 주제에 해당하는 정답률의 범위가 25.2%-79%였고 우리나라는 17.6-92.1%로 대만에 비해 문항별 정답률 차이가 크게 나타났다.

물질의 입자 구조

‘물질의 입자 구조’ 주제에 대해 국가별로 학습하는 학년을 비교한 결과는 Table 6과 같고, 총 4개 문항의 정답률에서 우리나라와 비교 국가간에 차이가 있는지 분석한 결과는 Table 7과 같다. 우리나라의 경우 ‘물질의 입자 구조’에 대한 개념이 12학년에서 도입되는데, 비교 국가들에 비해 그 도입 시기가 가장 늦은 것으로 나타났다. 우리나라 7차 과학과 교육과정의 화학 내용은 학생 수준에 비해 그 수준이 대체적으로 낮다고 지적되고 있는데16 화학에서 중요한 개념인 입자와 관련된 개념의 도입 시기가 늦은 것도 그 한 원인이라고 볼 수 있겠다.

‘물질의 입자구조’에 해당하는 총 4문항 중에서 중성인 원자가 전자를 얻게 될 경우 무엇이 형성되는지에 대해 질문하는 문항(S022202)에서 우리나라의 정답률이 4개의 비교 국가에 비해 유의하게 낮았는데, 싱가포르와 비교했을 때 무려 57.9% 정도나 낮았다. 이 문항은 물질을 이루는 입자 중 이온의 정의에 대해 질문하고 있다. 이 문항에서 우리나라 학생들은 전자를 얻은 원자는 이온이라고 답한 학생은 21.3%였으나 분자라고 답한 학생은 50.0%로 매우 높은 비율을 차지하였다. 7학년 ‘분자의 운동’ 단원과 ‘상태변화와 에너지’ 단원에서 기체 분자의 운동과 물질의 상태에 따른 분자운동에 대해서 학습하게 되는데 이때 ‘분자’의 개념이 구체적으로 다루어지지 않기 때문에 학생들이 분자를 고른 것으로 판단된다. 8학년까지 분자의 정의에 대해 구체적으로 학습하지 않았을 뿐 아니라 이온에 대한 정의가 10학년 ‘물질’ 단원의 전해질과 이온에서 다루어지게 되므로 학생들이 이온을 고르지 못한 것으로 보인다. 입자의 개념이 없는 상태에서 개념에 대한 거시적인 수준에서의 단편적인 소개는 자칫 오개념을 형성할 수 있다고 지적하고 있다.17 그러므로 입자의 개념에 대한 바른 소개가 먼저 이루어진 후에 분자의 운동이나 물질의 상태에 따른 분자 운동이 다루어져야 하겠다.

Table 6.Grade that ‘Particulate structure of matter’ is intended to teach

Table 7.*p<.05, **p<.01, ***p<.001

물질의 입자구조에 대한 정답률은 싱가포르가 다른 나라에 비해 가장 높은 성취를 나타내었고 홍콩이 가장 낮은 성취를 나타내었다. 홍콩의 경우 ‘물질의 입자’ 구조에 대한 정답률이 낮았는데, 이 개념의 도입이 9학년으로 늦기 때문인 것으로 보여진다. 홍콩은 4문항 중 3문항의 정답률이 우리나라보다 유의하게 낮았는데, 우리나라의 경우는 물질의 입자 구조에 대한 개념을 구체적으로 배우지는 않지만 7학년 ‘분자의 운동’ 단원이나 ‘상태변화와 에너지’ 단원에서 분자를 도입하여 설명하고 8학년 ‘전기’ 단원에서 마찰전기의 원리를 설명하기 위해 원자의 구조가 나오기 때문에 홍콩보다 정답률이 높게 나타난 것으로 판단된다. 그러나 앞에서도 지적하였듯이 구체적인 개념의 도입이 이루어지지 않을 경우 학생들의 개념 형성에 그릇된 영향을 미칠 수 있음을 고려하여야 겠다.

입자와 관련된 내용은 눈에 보이지 않는 추상적인 내용이므로 최근에 입자의 세계를 이해시키기 위해 개발된 컴퓨터 보조 수업 자료의 개발에 대한 연구 결과,18-21 와 입자 그리기 학습의 효과 연구 결과22 등을 활용하여 입자와 관련된 수업이 효과적으로 이루어질 수 있도록 구성할 필요가 있겠다.

물의 성질과 용도

‘물의 성질과 용도’ 주제에 대해 국가별로 학습하는 학년을 비교한 결과는 Table 8과 같고, 총 2개 문항의 정답률에서 우리나라와 비교 국가간에 차이가 있는지 분석한 결과는 Table 9와 같다. 우리나라 학생들은 ‘물의 성질과 용도’에 대해 홍콩과 같이 7학년에서 학습하고 있으며 비교 국가들이 모두 8학년 내에서 이 개념을 배우고 있음을 알 수 있다.

Table 8.Grade that ‘Properties and uses of water’ is intended to teach

Table 9.*p<.05, **p<.01, ***p<.001

문항 분석 결과를 살펴보면 소금 용액의 밀도에 관한 문항(S032565)의 정답률이 홍콩, 대만, 일본에 비해 유의하게 높게 나타났다. 용액의 밀도와 관련된 개념의 이해에 있어서 우리나라 학생들이 우수한 성취를 나타낸다고 할 수 있다.

반면 물분자의 구조를 바르게 나타낸 문항의 경우 우리나라의 정답률이 싱가포르, 대만, 일본에 비해 유의하게 낮게 나타났다. 물분자의 경우도 입자구조와 관련된 문항으로 입자구조에 대한 정답률이 낮게 나타난 것과 같은 맥락으로 해석될 수 있다.

산과 염기

‘산과 염기’ 주제에 대해 국가별로 학습하는 학년을 비교한 결과는 Table 10과 같고, 총 2개 문항의 정답률에서 우리나라와 비교 국가간에 차이가 있는지 분석한 결과는 Table 11과 같다. 우리나라의 경우 ‘산과 염기’에 대한 개념은 10학년에서 구체적으로 다루어지는데, 비교 국가들에 비해 그 학습 시기가 가장 늦은 것을 볼 수 있다.

Table 10.Grade that ‘Acids and bases’ is intended to teach

Table 11.*p<.05, **p<.01, ***p<.001

‘산과 염기’에 해당하는 2문항 중 리트머스 시험지의 색변화와 관련된 서술형 문항(S032057)의 정답률이 4개의 비교 국가에 비해 유의하게 낮게 나타났다. 산성 용액과 염기성 용액을 적당한 비율로 섞어 혼합 용액이 되었을 때 리트머스 종이의 색깔이 변하지 않는 이유를 서술하는 문항으로 초등학교 5학년 ‘용액의 성질 알아보기’에서 리트머스 시험지를 이용하여 용액의 색변화를 관찰하는 내용이 다루어지나 중화 반응에 대한 내용이 구체적으로 다루어지지 않으므로 학생들의 정답률이 낮게 나타난 것으로 판단된다.

여러 가지 용액 중에서 산성 용액의 예를 고르는 문항(S032672)의 경우 홍콩과 대만에 비해 정답률이 유의하게 낮았다. 우리나라 학생들은 5학년 ‘용액의 성질 알아보기’ 단원에서 지시약이나 리트머스 시험지의 색변화를 통해 여러 용액의 액성을 분류하도록 하고 있다. 그러나 산성과 염기성의 구체적인 정의에 대한 학습은 10학년에서 다루어지게 된다. 대체로 5학년에서 묽은 염산이나 식초 등이 산성 용액으로 흔히 사용되어 학생들이 지시약의 색변화에 대해 학습 했음에도 학생들은 그때의 기억을 잘 떠올리지 못한 것으로 보인다.

화학 변화

‘화학 변화’ 주제에 대해 국가별로 학습하는 학년을 비교한 결과는 Table 12와 같고, 총 9개 문항의 정답률에서 우리나라와 비교 국가간에 차이가 있는지 분석한 결과는 Table 13과 같다. 우리나라의 경우 ‘화학 변화’에 대한 개념이 9학년에서 도입되는데, 홍콩과 우리나라만이 9학년 이후에 도입되는 것을 볼 수 있다.

Table 12.Grade that ‘Chemical change’ is intended to teach

Table 13.*p<.05, **p<.01, ***p<.001

‘화학 변화’ 주제에 해당하는 문항의 정답률이 비교 국가에 비해 전체적으로 매우 낮았으며, 총 9개 문항 중 4개 문항에서 우리나라의 정답률이 4개의 비교 국가에 비해 유의하게 낮았다. 연소되는 나무에 공기 불어 넣기 문항(S012003), 3개의 유리종에서 양초의 연소 문항(S022191), 기포가 발생하는 전극의 관찰 문항(S022276), 녹이 형성되는데 필요한 기체 문항(S022188)의 정답률이 비교 국가에 비해 유의하게 낮았다.

연소시에 공기를 불어 넣어주면 산소가 더 많이 공급되므로 연소가 잘 된다는 내용(S012003)과 산소의 양이 적게 공급되는 유리종일수록 양초가 더 빨리 꺼지게 된다는 내용(S022191)은 모두 연소에 영향을 미치는 산소의 양과 관련된 내용으로 우리나라 학생들은 이러한 개념의 이해가 비교 국가에 비해 낮다고 할 수 있다. 이러한 결과는 PISA 2006에서도 일관되게 나타났는데, 산소의 공급을 차단하였을 때 불이 꺼지는 원리를 묻는 문항에서 우리나라의 성취가 국제 평균보다 낮게 나타났다.23,24 우리나라의 6학년 ‘촛불의 연소’ 단원에서 실험을 통하여 연소의 조건에 대해서 학습함에도 불구하고 일관되게 우리나라의 성취가 낮게 나타났는데, 교수 학습 방법 측면이나 교과서의 내용 제시 등을 분석하여 이 내용 영역에서 낮은 성취가 나타난 원인을 파악할 필요가 있겠다.

기포가 발생하는 전극의 관찰(S022276) 문항에서는 수용액에 담근 전극에서 기포가 발생하는 현상을 기록한 것이 여러 탐구 과정 기능 중 ‘관찰’에 해당함을 알고 있는지 묻고 있다. 이 문항의 성취가 높은 싱가포르에서는 교과서의 한 소단원이 과학적 탐구과정 기능의 정의에 대한 내용으로 구성되어 있어 관찰을 비롯한 분류, 예상, 측정, 의사소통, 추론 등과 같은 정의를 학습하도록 되어 있으나 우리나라의 교과서에서는 탐구 과정 기능에 대한 정의가 구체적으로 제시되고 있지 않다.11,12 이와 같은 차이로 인해 우리나라 학생들의 이 문항에 대한 성취가 낮은 것으로 판단되며, 앞으로 우리나라의 학생들에게 탐구과정 기능에 대한 정의가 제시될 필요가 있겠다.

에너지가 방출되는 반응에 대한 문항(S022188)의 경우 우리나라의 정답률이 싱가포르, 홍콩, 대만에 비해 25% 이상 크게 낮았으며 그 차이는 유의미하였다. 에너지가 방출되는 경우를 모두 고르는 문항으로 석탄이 연소하거나 폭죽이 터지는 반응이 에너지가 방출되는 반응임을 알고 있는지 평가하고 있다. 열 출입에 대한 내용이 국민공통기본 교육과정에서 자세히 다루어지지 않지만 초등학고 6학년에서 연소시 열이 발생한다는 내용이 제시되어 있다. 그럼에도 학생들은 석탄의 연소에서 에너지가 방출되는 것을 잘 고르지 못하였다. 이런 결과에 비추어 볼 때, 학생들은 연소의 과정에서 열이 방출된다는 개념을 모르거나, 열흡수나 열방출에 대한 의미를 이해하는데 어려움을 느끼고 있다고 볼 수 있다. 식초가 든 병에 탄산수소나트륨을 넣자 풍선이 부푼 이유를 서술하는 문항(S032056)의 정답률이 싱가포르, 대만, 일본에 비해 유의하게 낮았다. 이 문항의 경우 식초와 탄산수소나트륨의 반응에서 이산화탄소가 발생한다는 것에 대해 8학년까지의 내용에서 구체적으로다룬적이 없으므로 정답률이 낮게 나타났다.

화학 변화를 고르는 문항(S022208)에서 싱가포르와 대만에 비해 성취도가 유의하게 낮았다. 이 문항은 물리 변화를 화학 변화와 구분하도록 하고 있다. 우리나라의 경우 상태 변화와 관련된 물리 변화를 7학년에서 학습하고 있으나 상태 변화가 물리 변화라는 내용이 거의 다루어지지 않고 있으므로 학생들이 제대로 답하지 못한 것으로 보인다.

우리나라의 성별 정답률 차이가 통계적으로 유의한 문항

화학 영역에서 우리나라를 비롯한 싱가포르, 홍콩, 대만, 일본의 남학생과 여학생 정답률의 차이가 유의한 문항에 대한 정보는 Table 14와 같다. 우리나라의 경우 화학 영역에 해당하는 31개의 문항 중에서 13개 문항의 정답률에서 남학생과 여학생 간에 유의미한 차이가 나타났으나 싱가포르 8개, 홍콩 5개, 대만 6개, 일본 5개 문항에서 유의한 성차가 나타났다. 차이가 나는 문항 중에서 우리나라 9문항, 싱가포르 4문항, 홍콩 4문항, 대만 2문항, 일본 3문항에서 남학생의 정답률이 높게 나타났다. 우리나라가 비교 국가들에 비해 남학생의 성취가 유의하게 높은 문항수가 가장 많았다.

우리나라, 대만, 일본의 경우 ‘물질의 입자 구조’에 해당하는 의자에서 원자를 모두 제거하면 어떻게 되겠는가에 대해 질문하는 문항(S012040)에서 남학생의 정답률이 크게 높게 나타났다. 입자와 관련된 문항인 물 분자를 나타낸 그림을 고르는 문항(S032502)과 원자핵을 구성하는 입자가 무엇인지 질문하는 문항(S012025)에서 우리나라와 홍콩 남학생의 정답률이 높게 나타났고, 중성인 원자가 전자를 얻을 경우의 변화와 관련된 문항(S022202)에서 우리나라 남학생의 정답률이 높게 나타났다. 싱가포르의 경우 입자와 관련된 4문항 모두에서 성차가 나타나지 않았으나 우리나라의 경우에는 4문항 모두에서 여학생의 성취가 낮아 우리나라 여학생들의 입자 개념에 대한 이해가 낮다고 할 수 있다. 싱가포르의 교육과정에서 입자와 관련된 개념을 어떻게 다루고 있는지 구체적으로 살펴볼 필요가 있으며, 이를 토대로 우리나라 여학생들의 입자 개념에 대한 이해를 높이기 위한 다양한 교수 전략의 개발과 적용이 필요하겠다.

Table 14.*p<.05, **p<.01, ***p<.001

‘화학 변화’에 해당하는 3개의 병에 각각 담긴 양초의 연소 문항(S022191)에서 우리나라와 싱가포르 남학생의 정답률이 여학생의 정답률보다 높게 나타났다. 이 문항은 양소가 연소할 때 산소가 필요하며 산소의 양과 연소 시간에 대해 바르게 이해하고 있는지 평가하고 있다. 연소와 관련되어 연소시 에너지가 방출된다는 개념을 평가하고 있는 문항(S022188)에서도 우리나라와 싱가포르 남학생의 정답률이 유의하게 높게 나타났다. 싱가포르의 경우 연소되는 나무에 공기를 불어 넣어주면 더 잘타는 이유를 묻는 문항(S012003)에서 남학생의 성취가 유의하게 높았다. 이러한 결과를 볼 때 우리나라와 싱가포르의 남학생들은 연소에 대한 개념 이해도가 여학생에 비해 높음을 알 수 있다. 녹이 형성되는데 필요한 기체를 질문하는 문항(S022183)에서 우리나라, 홍콩, 일본 남학생의 정답률이 높게 나타났다. 우리나라 학생들은 빠른 산화 반응인 연소에 대한 이해 뿐 아니라 느린 산화 반응인 녹스는 과정에 대한 이해도 남학생들이 더 높음을 알 수 있다.

중화 반응 후 리트머스 시험지의 색변화 여부를 질문하는 문항(S032057)에서는 우리나라와 싱가포르의 남학생의 정답률이 높았고 용액의 농도를 반 정도로 묽히기 위해서 취해야 하는 방법을 고르는 문항(032564)에서 우리나라와 홍콩 남학생의 정답률이 유의하게 높았다. 우리나라의 남학생들이 여학생에 비해 중화 반응과 농도를 반으로 묽히기 위해서는 용매의 양을 두 배로 늘려야 한다는 내용을 잘 이해하고 있다고 볼 수 있다.

‘물질의 분류와 조성’에 해당하는 두 가지 그룹으로 나뉘어진 물질들의 분류 기준을 선정하는 문항(S032683)에서 우리나라를 비롯한 모든 비교 국가의 여학생 정답률이 남학생에 비해 유의하게 높았다. 이 문항은 금속이 아닌 물질과 금속인 물질로 구분된 물질들의 분류 결과를 제시해 주고 분류 기준으로 적합한 것을 보기에서 고르도록 하고 있다. 5개국 모두 여학생이 남학생에 비해 유의하게 높은 성취가 나타난 결과에서 금속 물질과 비금속 물질을 구분하는 내용에서 여학생들이 남학생보다 우수한 능력을 나타낸다고 할 수 있다. 기포가 발생하는 전극의 관찰(S022276) 문항은 탐구 과정 기능 중 ‘관찰’의 정의를 알고 있는지 평가하고 있는데 우리나라, 싱가포르, 대만, 일본 여학생들의 성취가 유의하게 높았다. 이러한 결과는 여학생이 남학생에 비해 과학 지식에 대한 영역보다 과학 탐구와 관련된 영역의 성취가 높게 나타난 국제 성취도 평가의 결과와 그 맥락을 같이한다고 볼 수 있다.24

‘화학 변화’에 해당하는 화학변화 반응을 고르는 문항(S022198)에서 우리나라 여학생의 성취도가 높았는데 증발, 혼합물의 분리 등과 화학 변화를 바르게 구분하여 이해하고 있는지를 평가하고 있다. 우리나라의 여학생들이 남학생에 비해 화학 변화와 물리 변화를 구분하는 정도가 우수하다고 할 수 있다.

우리나라의 경우 과학에서의 성별 성취도 차이를 줄이기 위하여 제시되고 있는 여학생 친화적 과학 활동 프로그램25과 같은 프로그램의 개발 및 적용을 통해 성차를 줄이 위한 노력이 계속되어야 하겠다.

 

결론 및 제언

우리나라는 TIMSS 2003의 과학 성취도는 싱가포르와 대만에 이어 3위에 해당하는 성취를 나타내었으나 화학 영역의 성취도는 9위로 본 연구에서 비교 대상으로 선정한 싱가포르, 대만, 홍콩, 일본에 비해 유의하게 낮았다. 우리나라와 일본의 경우 화학 영역에서 남학생의 성취가 여학생에 비해 유의하게 높았다. 대만의 경우는 여학생의 성취가 유의하게 높았고 싱가포르와 홍콩에서는 유의한 성차가 나타나지 않아 우리나라는 화학에서 여학생의 성취가 낮은 나라에 해당하였다.

화학 영역의 주제별 문항 정답률을 비교한 결과 ‘물질의 입자 구조’에서 싱가포르의 정답률이 우리나라에 비해 유의하게 높은 문항이 총 4문항 중 3문항에 해당하였다. ‘산과 염기’와 ‘화학 변화’에서는 대만의 정답률이 모든 문항에서 우리나라에 비해 유의하게 높게 나타났다. ‘물질의 입자 구조’에서는 싱가포르가 ‘산과 염기’, ‘화학 변화’에서는 대만이 우수한 성취를 나타내고 있으므로 각 국가의 교육과정 내용 중 해당 주제의 내용을 구체적으로 분석하여 우리나라의 교육과정을 구성하는데 참고 자료로 사용 할 필요가 있겠다. 각 국가별로 교육과정에서 주제를 다루는 학년을 비교한 결과 대만이나 싱가포르는 모두 ‘물질의 입자 구조’, ‘화학 변화’의 주제에 대한 학습이 8학년에서 이루어지고 있음에도 불구하고 우리나라의 교육과정에서는 이러한 내용의 학습이 국민공통기본 교육과정 내에서 거의 이루어지지 않고 있었다. 실제로 우리나라는 7차 교육과정에서 다루는 주제가 화학 영역 성취도가 우수한 다른 국가들에 비해 적으며, 화학 반응, 원자의 구조, 화학 반응과 에너지, 주기율표와 같은 주요한 개념의 도입시기가 상대적으로 느린 것을 볼 수 있다. 7차 교육과정의 경우 과학 내용의 적정화를 위하여 쉬운 내용은 저학년에서 활동 중심으로, 어려운 과학 내용은 고학년에서 개념 중심으로 다루도록 구성하여 다른 내용 영역에 비하여 화학의 수준이 낮게 구성된 것으로 해석된다. 2007년 개정 고시된 교육과정을 살펴보면 주기율표를 포함한 원소의 개념 도입이 8학년으로 이동하여 그 도입 시기가 앞당겨졌다.26 원소의 개념 도입이 앞당겨진 것은 학생들이 눈에 보이지 않는 입자 수준의 반응을 이해하는 데 도움이 될 것으로 판단된다. 입자의 도입 시기에 대하여 7학년이나 8학년에 도입하는 것은 그 시기가 이르다는 지적도 있으므로,27 도입의 시기를 앞당긴 것과 더불어 다양한 시각적 자료의 활용 및 구체적인 모형의 사용 등을 통한 개념의 도입이 필요하겠다. 2007년 개정 고시된 교육과정에서 물리적 변화와 화학적 변화에 대한 내용은 10학년에서 다루어지도록 하고 있는데 그 도입시기가 7차에 비해서도 더 늦어진 것을 볼 수 있다. 이러한 개념의 도입 시기가 화학 개념의 위계를 고려하여 적정한지 고려할 필요가 있으며, 화학에서 어떤 내용을 언제 어떻게 연계하여 가르칠 것인지에 대해 더욱 더 심도 있는 논의가 계속적으로 이루어져야 하겠다.

우리나라 학생들은 대체로 용해도와 관련된 내용의 성취도가 높은 것으로 나타났다. 용해도와 관련된 내용으로는 온도와 용해도의 관계, 용질이 용해된 용액의 농도를 묽히는 방법 등에서 우수한 성취를 나타내었다. 그러나 우리나라 학생들은 분자, 원자, 이온 등과 같은 입자의 정의를 혼동하는 학생들이 많았으며, 연소에 영향을 미치는 산소와 관련된 내용이나 연소시 에너지의 방출에 대해 불완전하게 이해하고 있는 경우가 많았다. 또한 관찰, 예상 등과 같은 탐구 기능의 정의에 대해 제대로 인식하지 못하고 있었으며, 금속 물질을 확인할 수 있는 일반적인 성질에 대해 잘 서술하지 못하였다. 이러한 결과에 비추어볼 때 과학 교육에서 여러 가지 탐구 과정 기능의 정의에 대한 학습이 이루어져야 하겠으며, 입자의 개념에 대해 학생들이 바르게 인식할 수 있도록 바른 정의의 제시와 함께 모형을 이용한 설명을 통해 학생들의 이해를 도와야 하겠다. 현행 교과서에서, 분자의 바른 정의에 대한 도입 없이 분자의 운동이나 상태변화와 분자운동의 변화에 대해 학습하는 경우가 많은데, 분자의 운동에 대한 개념을 도입하기 전에 학생들이 분자에 대한 바른 개념을 인식 할 수 있도록 지도하여야 하겠다. 또한 에너지의 개념 및 연소시 에너지가 방출된다는 내용에 대해서도 학생들이 인식할 수 있도록 구체적인 정의 및 관련 내용이 포함되어야 하겠다.

우리나라 남학생은 여학생에 비해 물질의 입자 구조에 대한 문항인 물 분자의 구조, 원자핵을 구성하는 입자, 중성원자가 전자를 얻어 이온이 형성된다는 개념에서 높은 성취를 나타내어 물질의 입자와 관련된 개념에서 비교 국가에 비해 큰 성차를 나타내었다. 또한 연소의 개념과 관련된 연소시 에너지의 방출이나 연소시간과 산소의 양 및 녹이 형성되는데 영향을 미치는 산소와 관련된 문항에서 남학생이 높은 성취를 나타내었다. 반면 여학생은 금속과 비금속 물질의 분류와 관련된 내용 및 물리 변화와 화학변화의 구분에서 높은 성취를 나타내었다. 이러한 결과에서 우리나라의 여학생은 남학생에 비해 물질을 구성하는 입자에 대한 개념 및 화학반응인 연소에 대한 이해도가 크게 낮다고 할 수 있다. 연소 반응이 일어날 때 내부에서 입자들의 배열이 달라져 새로운 화합물이 형성되는데 연소에 대한 개념도 입자와 연관지어 설명하는 경우 학생들의 이해도를 더 높일 수 있다고 판단된다. 화학에서 추상적인 입자의 개념에 대해 학생들의 이해를 높이기 위한 계속적인 다양한 수업전략의 구성이 필요하겠다. 우리나라 여학생이 우수한 성취를 나타낸 문항들은 비금속 물질과 금속물질의 분류, 물리 변화와 화학 변화의 분류와 같이 어떤 기준에 근거하여 분류하는 문항 이었다. 우리나라 여학생들은 기준을 세우고 기준에 맞추어 물질이나 반응을 분류하는 정도에 있어서 그 성취도가 남학생에 비해 높다고 할 수 있겠다.

남학생과 여학생에서 일관되게 성차가 나타난 문항들이 평가하고 있는 개념에 대해 다양한 각도에서 평가할 수 있는 문항들을 개발하여 검사를 실시한 후 성차의 원인 파악 및 해결 방안에 대한 연구가 지속적으로 이루어져야 하겠다.

References

  1. 정은영 한국생물교육학회지 2005, 33, 277
  2. 정은영 한국과학교육학회지 2006, 26, 200
  3. 박 정; 정은영; 김경희; 전현정 수학.과학 성취도 추이 변화 국제비교 연구 - TIMSS 2003 결과 보고서-; 한국 교육과정평가원: 서울, 2004
  4. Stevenson, H. W.; Strigler, J. W. The Learning Gap: Why Our Schools Are Failing and What We Can Learn from Japanese and Chinese Education; Touchstone: New York, U.S.A., 1994
  5. Martin, M. O.; Mullis, J. V. S.; Gonzalez, E. J.,; Chrostowski S. J. TIMSS 2003 International Science Report; Findings from IEA's Repeat of the Third International Mathematics and Science Study at Eighth Grade; Boston College: Massachusetts, U.S.A., 2004
  6. Beller, M.; Gafni, N. Educational Psychology 1996, 88, 365 https://doi.org/10.1037/0022-0663.88.2.365
  7. Martin, M. O. Timss 2003 User Guide for the International Database; Trends in International Mathematics and Science Study; Boston College: Massachusetts, U.S.A., 2004
  8. Heyworth, R. M., Explore your world with science discovery 1; Pearson Education South Asia Pte Ltd: Singpore, 2005
  9. Hoong, T. L.; Leng, H. P. Interactive science 1; SNP Panpac Pte Ltd: Singpore, 2006
  10. 교육인적자원부 제7차 과학과 교육과정; 대한교과서: 서 울, 1998
  11. 박경미 수학 성취도 국제 비교 연구의 전망과 과제; 한 국교육과정평가원: 서울, 2004
  12. 박 정; 정은영; 김경희; 한경혜 TIMSS 2003 공개문항 분석 자료집; 한국교육과정평가원: 서울, 2004
  13. 곽영순; 정은영 한국과학교육학회지 2007, 28, 405 https://doi.org/10.5467/JKESS.2007.28.4.405
  14. 전경문 한국과학교육학회지 2003, 23, 299
  15. 김경순; 노태희 한국과학교육학회지 2006, 26, 298
  16. 박재원; 백성혜 초등과학교육 2004, 23, 116
  17. Lin, C.; Dwyer, F. International Journal of Instructional Media 2004, 31, 185
  18. Pallant, A.; Tinker, R. Journal of Science Education and Technology 2004, 13, 51 https://doi.org/10.1023/B:JOST.0000019638.01800.d0
  19. Liu, X.; Lesniak, K. M. Science Education 2005, 89, 433 https://doi.org/10.1002/sce.20056
  20. 교육부 2007년 개정 과학과 교육과정; 대한교과서 주식 회사: 서울, 2007
  21. 이미경; 손원숙; 노언경 PISA 2006 결과 분석 연구 - 과학적 소양, 읽기 소양, 수학적 소양 수준 및 배경 변 인 분석 -; 한국교육과정평가원: 서울, 2007
  22. OECE OECE Programme for International student assessment; Database - PISA 2006: Compendium for cognitive item responses; http://pisa2006.acer.edu.au/ downloads.php
  23. 전영석; 신영준 한국과학교육학회지 2004, 24, 442
  24. Zuzovsky, R.; Tamir, P. International Jouranl of Science Education 1999, 21, 1101 https://doi.org/10.1080/095006999290219
  25. Leung, F.K.S. Educational Research and Evaluation 2002, 8, 87 https://doi.org/10.1076/edre.8.1.87.6920
  26. 백성혜; 박재원; 박진옥; 임명혁; 고영미; 조부경; 김효남 한국과학교육학회지 2002, 22, 215
  27. 한재영; 이지영; 곽진하; 노태희 한국과학교육학회지 2006, 26, 9