DOI QR코드

DOI QR Code

The Effect of Inquiry Teaching Strategy Enhancing the Logical Thinking Skill through the Science Teaching about the 1st Year Students of the Junior High School

과학 수업에서 논리적 사고력 강화 탐구 교수 전략이 중학교 1학년 학생들의 논리적 사고력에 미치는 효과

  • Hong, Hyein (Department of Science Education, Ewha Womans University) ;
  • Kang, Soonhee (Department of Science Education, Ewha Womans University)
  • 홍혜인 (이화여자대학교 과학교육과) ;
  • 강순희 (이화여자대학교 과학교육과)
  • Received : 2014.04.03
  • Accepted : 2014.10.31
  • Published : 2014.12.20

Abstract

The purpose of this study was to develop teaching stratege focused on Conservational reasoning, Proportional reasoning, Variable-controlling reasoning, Probabilitic reasoning, Correlational reasoning, Combinational reasoning and investigate its effects on enhancing students' logical thinking skills through the science teaching on common education. And the teaching materials was implemented to 110 students in middle school over about six months. The results indicated that the experimental group presented statistically meaningful improvement in logical thinking skills (p<05). Especially, this teaching stratege was effective on Conservational reasoning, Variable-controlling reasoning, Combinational reasoning but was not effective on Proportional reasoning, Probabilitic reasoning, Correlational reasoning (p<.05). Logical thinking according to the teaching strategy skill was not affected by gender, cognitive level, academic achievement (p<.05).

Keywords

Logical thinking skill;Conservational reasoning;Variable-controlling reasoning;Combinational reasoning

서 론

인간에게는 지식을 이해하고 기억한 후 이것을 활용하는 사고력과 이 지식을 변화된 상황 또는 더 나아가서 전혀 새로운 상황에 적용시킬 줄 아는 사고력이 있다. 이전까지는 지식을 이해하고 기억한 후 활용하는 능력을 중요시하였다면 최근에는 정보를 새로운 상황에 적용하고 변형시켜 문제를 해결하는 능력을 중요시하게 되었다. 학교 교육의 근본 성격 역시 이와 비슷하게 변화되었는데 그 대표적인 예가 대학 수학 능력 시험 제도라고 할 수 있다. 2007 개정 과학과 교육 과정1 과 2009년 개정 과학과 교육 과정2 을 살펴보면 공통적으로 자연 현상과 사물에 대하여 흥미와 호기심을 가지고 과학의 기본 개념을 이해하고, 과학 탐구 능력과 과학적 태도를 함양하여 과학적 사고력과 창의적 문제 해결력을 길러 일상생활의 문제를 해결할 줄 아는 과학적 소양을 기르는 것이 목표라고 제시하고 있다.

Dewey3는 과학적 사고력을 문제 인식에서 출발하여 과학자의 인지 구조에 이르는 탐구 과정을 수행하는 정신 활동의 능력이라고 하였으며 미국의 Lawson4 은 과학적 사고력을 창의적이고 비판적인 사고력(creative and critical thinking skill)이라고 정의하고 있다. 과학적 사고란 논리적 측면으로 보는 능력인 논리적 사고와 문제를 해결하는 탐구 과정 측면으로 보는 탐구 사고로 볼 수 있다. 강순희5 는 과학적 사고의 하위 범주로 탐구 사고와 논리적 사고를 놓고 이 두 측면은 관점에서 차이가 있을 뿐 서로 크게 다르지 않으며, 각 관점에서 하위 사고 기능 요소를 보면 서로 많이 중첩되어 있어 과학 교육 연구를 할 때 두 가지 측면으로 과학적 사고력을 측정할 수 있다고 하였다.

이처럼 급변하고 있는 세계화 사회에서 국가 수준에서 경쟁력 있는 과학 인재를 양성하기 위해서는 과학 지식을 이해하는 것뿐만 아니라 다양한 탐구 능력을 바탕으로 과학적 사고력을 향상시키기 위한 노력이 필요하다.

김영민, 김수현6 은 현재 우리나라의 중학교 1학년 학생의 인지 발달 수준이 피아제가 언급한 형식적 조작 수준에 도달하지 못한 학생이 많다고 하였다. Karplus7 는 학생들의 인지 수준과 발달을 표현함에 있어서 Piaget가 제시한 논리적 사고 유형을 표현하는 것이 합리적이고 유용하다고 하였다. Piaget의 인지 발달 이론은 탐구 과정과 사고력 발달 과정과의 관계를 명확히 설명하였다. 과학적 사고, 즉 논리적 사고가 어떻게 형성, 발달되는지에 대해 Piaget의 지능 발달 이론에 따르면8 지능은 신체적 구조가 성숙된 정도에 따라 뚜렷하게 단계를 거쳐 발달한다고 하였다. 정보를 처리하는 사고의 수준도 인지 발달 단계에 따라 달라지는데 12세 이후부터 추상적 사고와 논리적 사고가 형성되는 형식적 조작 수준이라고 하였다. 이처럼 학습자들의 나이 또는 성장이 학습에 영향을 미친다는 인지 발달 심리학은 학습의 경험과 개개인의 학습자가 이미 가지고 있는 개념 틀을 매우 중요하게 여기는 심리 철학으로서의 구성주의에 의하여 비판도 받는다. 9 그러나 이 두 측면의 과학 학습 이론들은 당면한 과학 교육의 여러 가지 문제점들을 진단하는 연구에서 빈번히 활용되고 있고, 다양한 과학 교수 학습 전략들을 개발하는 경우에도 때로는 각각 독자적 이론으로, 때로는 두 측면의 이론들을 함께 활용되기도 한다. 10

우리나라 중학교 1학년 학생들은 만 12세이며, 피아제가 언급한 바에 의하면 추상적, 논리적 사고가 형성되는 형식적 조작 수준의 청소년들이다. 그러나 국내외에서 이루 어진 여러 연구들에 의하면11-19 실제 중학생들의 인지 발달 수준이 형식적 조작 수준에 도달하지 못한 학생이 매우 많았다. 즉 Piaget의 인지 발달 척도와는 다소 차이가 있음을 알 수 있다. 학습의 효과는 학습자의 인지 발달 수준이 그들이 배우는 내용을 이해하는 데 필요한 논리적 사고력 수준과 일치할 때 극대화될 수 있다고 한다. 20 형식적 조작 단계의 사고를 요하는 내용이 대부분인 중학교 과학 교과 내용 110,21-23을 보다 잘 이해하기 위해서는 중학생들의 인지 수준을 향상시키는 것이 매우 절실하다. 이러한 상황의 적극적인 대처 방안은 학생들의 인지 발달을 촉진하여 과학 교과 내용을 쉽게 이해할 수 있도록 인지 수준을 향상시키는 것이다. 24 실제로 1970년대부터 사고 기능 발달에 관한 다양한 연구와 시도가 있었다. CASE 프로젝트는 교수 학습 자료인 변인 통제, 비례, 보상, 확률, 조합, 분류, 상관, 형식적 모형, 복합 변인, 평형 논리 활동이 포함된 Thinking Science를 개발하여 사고 기능의 발달을 통한 인지 수준 향상 효과를 보고하였다. 25-28

국내의 논리적 사고력 신장에 관련된 다양한 연구를 살 펴보면 보상 논리의 신장과 특성에 관한 연구, 29-31 비례 논리 신장과 학습자 요인에 관한 연구, 32 변인 통제 논리 신장 관한 연구, 33-37 확률 논리 신장에 관한 연구, 38 확률, 조합 논리 미형성 학생의 지도 대한 연구, 39 상관 논리 유형 변화에 대한 연구40 등이 있다. 그러나 이러한 연구들은 대부분 Thinking Science 프로그램이나 기타 인지 가속 프로그램을 별도로 활용한 연구들로서 정규 수업에서 교과서 내용에 논리적 사고력 강화 교수 전략 개발 및 효과에 관한 연구는 이루어지지 않았다. 실제로 학교 현장에서 많은 양의 교과서 내용을 소화하면서 동시에 학생 전체에게 교과서 외에 별도 논리적 사고력 신장 프로그램을 진행 하는 것은 현실적으로 매우 불가능하다. 또한 학생 전체에게 방과 후에 논리적 사고력 신장 프로그램을 의무적으로 수강하게 할 수도 없는 실정이다. 따라서 본 연구에서는 이러한 연구들을 참고로 하여, 학생들의 논리적 사고력을 강화시키는 별도 프로그램이 아닌 정규 수업 중 논리적 사고력 교수 전략을 개발하고자 하였다. 또한 개발한 교수 전략을 실제로 학생들에게 적용하였을 때 학생들의 논리적 사고력에 어떤 변화가 나타나는지, 개발한 교수 전략과 인지 수준, 성별, 학업 성취도와의 상호 작용 효과는 어떠한지 알아보고자 하였다.

 

연구 방법

연구 대상 및 절차

본 연구에서는 비례, 보존, 변인 통제, 확률, 상관, 조합 논리 활동을 강화한 교수 전략을 경험한 학생들이 그러한 교수 전략을 경험하지 못한 학생들에 비해 논리적 사고력이 향상될 것이라고 설정하였다. 개발한 수업 전략의 효과를 알아보기 위하여 서울 소재 중학교 1학년 학생 총 110명을 대상으로 57명의 실험반의 학생들에게는 교과서 내용에 비례, 보존, 변인 통제, 확률, 상관, 조합 논리 활동을 강화한 탐구 수업을 진행하였으며 53명의 통제반의 학생들에게는 교과서 내용대로 실험반과 동일한 교사가 수업을 실시하였다. 실험반과 통제반의 인지 수준에 차이가 있는지 알기 위해서 실험반과 통제반 학생들을 대상으로 GALT 축소본 검사지를 이용하여 인지 수준 검사를 실시한 결과는 Table 1과 같다. 본 연구 대상인 중학교 1학년 학생들은 실험반, 통제반 모두 형식적 조작기 학생들은 각각 24.6%, 26.4%이고, 나머지 대부분의 학생들은 구체적 조작기와 과도기의 학생들로 구성되어있음을 알 수 있다.

Table 1.Distribution of cognitive levels of this study

우선 비례, 보존, 변인 통제, 확률, 상관, 조합 논리 활동을 강화한 탐구 교수 전략 개발을 위해 Lawson(1995)의 탐구 수업 모형41을 기본으로 하여 본 연구에서 개발한 논리적 사고력 강화 수업 모형인 MCP 모형을 적용하여 중학교 1 학년 교과서 내용에 적합한 본 연구의 교수 전략을 개발 하였다. 2011년 3월, 실험반과 통제반을 선정한 후, 실험반과 통제반에 대하여 각각 사전 검사를 실시하였다. 1학기 중간고사(5월) 이후부터 2학기 기말고사(12월 중순) 이전까지 약 1년에 걸쳐 총 62차시 동안 개발한 논리적 사고력 강화 탐구 교수 전략을 시행 하였으며 통제반의 학생들 에게는 교과서 내용대로 수업을 실시하였다. 12월 중순 학기말 시험이 끝난 후 두 집단 모두에 대하여 사전 검사와 동일한 검사지로 사후 검사를 실시하였다. 이렇게 얻어진 검사 결과를 SPSS 12.0 프로그램을 이용하여 통계 분석하고 결과를 해석하였다.

교수 전략 개발

본 연구에서는 논리적 사고력을 강화하기 위해 MCP 세 단계 모형을 개발하여 교과서 내용에서 찾은 논리 사고 요소를 적용하였다. 본 연구의 논리적 사고력 강화 교수 모형인 MCP 모형은 Adey, Shayer, Yate42의 생각하는 과학 프로그램의 과정을 기본으로 하여 개발하였다. 첫 번째 단계는 논리 사고에 대한동기유발단계인 M단계(Motivation for Logical Thinking) 이고, 두 번째 단계는 과학 문제의 갈등 유발 단계인 C단계(Conflict of Scientific Problem), 마지막 단계는 논리 사고 과정에 의한 문제 해결 단계인 P단계(Problem Solving by Logical Thinking Skill)로 구성된다. 이러한 MCP 세 단계는 탐구 수업 중 논리 요소를 강화해야할 부분에서 반복적 으로 이루어지며 MCP 세 단계 모형을 Fig. 1에 도식화하였다. 이러한 MCP 모형을 논리적 사고력을 강조할 수 있는 부분에 적용하였다. 변인통제 논리의 MCP 단계별 수업 예시(6단원 6차시)는 부록 1에 제시하였다. 이 밖에 보존, 비례, 확률, 상관, 조합 논리로 MCP 모형을 적용할 수 있다.

Figure 1.MCP model for logical thinking.

2007 개정 과학과 교육 과정의 ‘과학1’의 구성을 살펴보 면 1단원 ‘물질의 상태 변화’, 2단원 ‘분자의 운동’, 3단원 ‘상태 변화와 에너지’, 4단원 ‘생물의 구성과 다양성’, 5단원 ‘지각의 물질과 변화’, 6단원 ‘식물의 영양’, 7단원 ‘힘과 운동’, 8단원 ‘지각 변동과 판 구조론’, 9단원 ‘정전기’로 구성되어있다. 최근 연구8 에 의하면 과학1 교과서에 서술 되어있는 1단원, 2단원, 3단원의 내용이 요구하는 인지 요구도 수준이 대부분 초기 형식적 조작 수준을 요구하고 있다고 하였다. 본 연구의 구체적 조작 수준에 해당하는 학생들의 분포가 39.1%인 것을 고려할 때 이 단원들의 내용 이해에 어려움을 가질 수 밖에 없다고 판단하여 본 연구의 수업 전략 개발에서 제외하였다. 또한 8단원 역시 대륙 이동설과 판 구조론, 지구 내부 구조의 개념 소개 내용에 적합한 논리 사고 요소가 없다고 판단하여 연구에서 제외하였다. 이렇게 선정된 4단원, 5단원, 6단원, 7단원, 9단원에서 비례, 보존, 변인 통제, 확률, 상관, 조합 논리의 성취 준거42에 따라 해당하는 내용을 찾아 논리 사고 요소를 추출하였다. 4단원에서는 보존, 비례, 상관과 조합 논리, 5단원에서는 변인 통제와 확률 논리, 6단원에서는 보존, 상관 논리와 변인 통제 논리를 많이 활용 할 수 있을 것이라고 판단하였다. 7단원은 물리 단원이라 비례, 보존, 변인 통제 논리를 특히 많이 활용 할 수 있었고, 9단원 정전기에서는 상관과 조합 논리를 활용할 수 있으리라 판단하였다. 중학교 1학년 교과서의 구체적 단원명과 각 단원의 논리 사고 요소의 횟수를 정리한 Table 2를 살펴보면 생물, 물리, 지구 과학 각 단원의 내용과 특징에 따라 적용된 논리 사고 요소의 횟수가 다른 것을 알 수 있다. 본 연구에서는 62차시의 수업 동안 보존 논리 5회, 비례 논리 7회, 변인 통제 논리 14회, 확률 논리 3회, 상관 논리 5 회, 조합 논리 2회로 총 36개 활동을 하면서 학생들이 계속 논리적 사고를 경험할 수 있도록 하였다. 6단원 식물의 영양과 7단원 힘과 운동 단원은 변인 통제를 경험할 수 있는 수업 내용이 특히 많았으며 확률, 상관, 조합 논리는 전반적인 중학교 교과서 내용에서 찾기가 쉽지 않았음을 알 수 있었다. 실험반과 통제반의 단원에 따른 학습내용 중 일부를 부록 2에 제시하였다.

Table 2.Elements of logical thinking skills in teaching stratege of this study

검사 도구 및 분석

학생들의 논리적 사고력을 측정하기 위하여 서술하는 것에 익숙하지 못한 중학교 1학년 학생에게 답과 그 이유를 서술하도록 하는 Lawson의 SRT(Scientific Reasoning Test)44 검사지 보다는 객관식 형태의 GALT 검사지45가 적합하다고 판단하였다.

GALT 검사지는 6개의 논리 유형을 포함하는 21개 문항으로 개발되었다. Roadrangka 등45은 실제 사용할 때 시간이나 다른 요인의 제약이 있을 경우 변별도를 고려하여 논리 유형별로 2문항씩을 선택한 12문항의 GALT 축소본을 사용하도록 권장하였으며, 실제로 최근 많은 연구에서 GALT 축소본이 원본보다 더 많이 사용되고 있다. 46

본 연구에서는 GALT 축소본을 사용하였으며 검사지의 채점은 1번부터 10번까지의 객관식 문항은 답과 이유가 모두 맞을 경우만 정답으로 처리하고, 주관식 문항인 11번과 12번은 모든 가능한 조합에서 11번은 1개, 12번은 2개를 빠뜨린 경우까지 정답으로 처리하여 총 12점 만점이며 정답 수가 4개 이하이면 구체적 조작기, 5~7개이면 과도기, 8개 이상이면 형식적 조작기로 분류하였다. 논리 유형별 논리적 사고 형성 정도를 구분하기 위해서 강순 희43의 채점 방식을 따랐다. 즉 정답과 이유가 모두 맞을 경우 4점, 정답은 틀리나 이유만 맞을 경우 3점, 정답은 맞으나 이유가 틀릴 경우 2점, 정답과 이유가 모두 틀릴 경우 1점으로 정답보다 이유에 가해지는 의미를 더 크게 채점한다. 11번 문항과 12번 문항은 조합 논리를 알아보는 주관식 문제로 구성되어 있으며 응답을 체계적으로 했는가에 초점을 맞춰 채점한다. 이때 만점은 총 48점이 다. 검사에 소요된 시간은 40분이다.

본 연구에서 개발한 수업 전략이 학생들의 논리적 사고력에 미치는 효과를 알아보기 위하여 사전 검사 점수를 공변인으로 하여 일원 공변량 분석(one-way ANCOVA)을 실시하였다. 또한 논리적 사고력에 대하여 교수 전략과 성별, 교수 전략과 인지 수준, 교수 전략과 학업 성취도 수준과의 상호 작용 여부를 확인하기 위하여 이원 공변량 분석 (two-way ANCOVA)을 실시하였다. 모든 통계 처리는 SPSS 12.0 프로그램을 사용하였다.

 

연구 결과 및 논의

개발한 교수 전략이 논리적 사고력에 미치는 효과

논리적 사고력에 대한 실험반과 통제반의 사전과 사후 논리적 사고력과 그 하위 요소에 대한 점수를 분석 결과는 Table 3그리고 Table 4와 같다. 또한 논리적 사고력 하위 요소인 보존, 비례, 변인통제, 확률, 상관, 조합 논리의 논리 형성 정도의 변화를 좀 더 구체적으로 분석하기 위하여 GALT 축소본검사지의교차확인분석법43을 활용하였으며 그 결과는 Table 5에 제시하였다.

Table 3.Mean, standard deviations for the score of logical thinking skills

Table 4.*p<.05

Table 5.Student’s logical thinking formation degree of experiment & control group through cross-analysis methods

보존, 비례, 변인 통제, 확률, 상관, 조합 논리 각각의 총점은 2점이며 전체 논리적 사고력 총점은 12점으로 전체 논리적 사고력은 사전의 실험반 점수가 통제반의 점수보다 다소 낮으며, 사후 검사에서는 실험반과 통제반 모두 논리적 사고력 점수가 상승하였다. Table 4의 공변량 분석 결과 논리적 사고력 점수에 있어서 실험 집단의 교정 평균은 통제 집단의 교정 평균보다 높았으며, 그 차이가 통계적으로 유의미하였다(p<.05). 다시 말하면 본 연구에서 중학교 학생들에게 논리적 사고력을 강화한 부록 1의 내 용과 같은 교수 전략을 10개월간 적용하면 중학교 1학년 학생들의 논리적 사고력을 유의미하게 향상시켰음을 알 수 있었다.

논리적 사고력의 하위 요소인 보존, 비례, 변인 통제, 확률, 상관, 조합 논리별로 살펴보면 Table 4의 공변량 분석 결과 상관 논리를 제외한 보존 논리, 비례 논리, 변인 통제 논리, 확률 논리, 조합 논리, 전체 합계 점수에서 실험반의 교정 평균이 통제반보다 높게 나타났다. 보존 논리와 변인통제 논리, 조합 논리, 전체 합계에서 그 차이가 통계적으로 유의미하였으며 비례 논리, 확률 논리, 상관 논리는 그 차이가 유의미 하지 않았다(p<.05).

Table 3에 의하면 사전 점수가 실험반과 통제반이 각각 보존 논리는 1.18, 1.21이고, 확률 논리는 1.16, 1.25이며, 조합 논리는 1.44, 1.45로 다른 논리에 비해 비교적 높은 점수를 보였다. 사후 검사에서 보존 논리는 실험반과 통제반이 각각 1.46, 1.26, 확률 논리는 1.32, 1.17, 조합 논리는 1.84, 1.43로 보존 논리와 조합 논리가 통제반에 비해 사전보다 사후에 실험반의 점수가 많이 향상되었다. Table 5에 의하면 보존 논리의 경우 사전 검사보다 사후 검사에서 상위 유형으로 변한 경우는 실험반은 20명 (35.1%), 통제반은 13명(24.5%)로 실험반의 비율이 더 큰 것으로 나타났다. 반면 사후 검사에서 오히려 하위 유형으로 변화한 경우는 실험반은 2명(3.5%), 통제반은 6명(11.3%)으로 통제반의 비율이 더 큰 것으로 나타났다. 즉 실험반의 경우 보존 논리가 형성된 학생이 사전에 33.3%에서 사후 56.2%로 증가하였고, 통제반은 사전 32.1%에서 사후 43.4%로 증가하였다. 사전의 형성 비율은 실험반과 통제반이 비슷했으나 사후에는 실험반이 통제반보다 약 10% 가량 학생이 더 증가하였으며 특히 실험반의 경우 과도기에서 14명이 수업 처치 후 보존 논리가 형성되었 다. 확률 논리가 사전보다 사후에 상위 유형으로 변화한 경우는 실험반은 15명(26.3%), 통제반은 13명(24.5%)로 실험반의 비율이 약간 더 큰 것으로 나타났다. 반면 사후 검사에서 오히려 하위 유형으로 변화한 경우 실험반은 6 명(10.5%), 통제반은 11명(20.8%)로 통제반의 비율이 더 큰 것으로 나타났다. 실험반의 경우 확률 논리가 형성된 학생이 사전에 56.1%에서 사후 73.7%로, 통제반은 사전 58.5%에서 사후 64.2%로 사전의 형성 비율은 실험반과 통제반이 비슷했으나 사후에는 실험반이 약 10% 가량 학생이 더 증가하였다. 조합 논리가 사 전검사보다 사후 검사에서 상위 유형으로 변화한 경우는 실험반은 8명(14.0%), 통제반은 10명(18.9%)로 통제반의 비율이 더 크며 사후 검사에서 오히려 하위 유형으로 변화한 경우는 실험반은 0명(0.0%), 통제반은 4명(7.5%)로 실험반은 하위 유형으로 변화한 학생이 없었다. 수업 처치 후 조합 논리 형성률은 실험반의 경우 84.2%에서 98.2%로 14% 증가하였으며 통제반의 경우 73.6%에서 84.9%로 11.3% 증가하였다. 그 이유를 살펴보기 위해 Table 2를 보면 보존 논리는 4단원 1회, 6단원 1회, 7단원 3회로 총 5회의 활동하였고, 확률 논리는 4단원 1회, 5단원 2회로 총 3회, 조합 논리는 4단원 1회, 9단원 1회로 총 2회의 활동을 하였다. 조합 논리와 확률 논리 모두 보존 논리에 비해 적은 횟수의 활동을 하였으나 조합 논리만 유의미한 것은 조합 논리가 적은 양의 학습만으로도 중학교 1학년 시기에 매우 의미 있는 향상이 있다고 할 수 있다. 초등학교 4, 5학년에 ‘생각하는 과학’ 활동을 경험하여 그 효과를 알아본 연구47에서도 조합 논리가 이처럼 유의미하게 신장된 것을 확인할 수 있었다.

Table 3에 의하면 사전 검사에서 비례 논리는 실험반과 통제반이 각각 0.68, 0.70이고, 변인 통제 논리는 실험반과 통제반이 각각 0.75, 0.77로 다른 논리에 비해 중간 수준의 점수이다. 사후 검사에서 비례 논리가 실험반과 통제반이 각각 0.91, 0.79, 변인 통제 논리는 실험반과 통제반이 각각 1.23, 0.89로 비례 논리는 실험반의 사후 점수 향상이 통제반에 비해 크지 않았으나, 변인 통제 논리는 실험반의 사후 점수가 통제반보다 크게 향상되었다. Table 5에 의하면 비례 논리가 사전 검사보다 사후 검사에서 상위 유형으로 변화한 경우는 실험반은 17명(29.8%), 통제반은 17명(32.1%)로 통제반의 비율이 더 큰 것으로 나타났다. 반면 사후 검사에서 오히려 하위 유형으로 변화한 경우는 실험반은 6명(10.5%), 통제반은 6명(11.3%)로 이 때도 역시 통제반의 비율이 더 큰 것으로 나타났다. 실험반의 경우 비례 논리가 형성된 학생이 사전에 31.6%에서 사후 47.3%로 증가하였으나 통제반 역시 사전 34.9%에서 사후 49.1%로 실험반과 통제반의 비례 논리 형성 변화가 거의 비슷한 것을 알 수 있다. 변인 통제 논리가 사전 검사보다 사후 검사에서 상위 유형으로 변화한 경우는 실험반은 29명(50.9%), 통제반은 20명(37.7%)로 실험반의 비율이 더 크며 반면 사후 검사에서 오히려 하위 유형으로 변화한 경우 실험반은 8명(14.0%), 통제반은 12명(22.6%)로 통제반의 비율이 더 큰 것으로 나타났다. 실험반의 경우 변인통제 논리가 형성된 학생이 사전 24.6%에서 사후 50.9%로 통제반은 사전 30.2%에서 사후 37.7%로 실험반이 통제반보다 형성률이 월등히 큰 것으로 나타났다. 특히 실험반의 경우 과도기에서 15명이 수업 처치 후 변인통제 논리가 형성된 것으로 보아 과도기의 학생들에게는 수업 전략이 긍정적인 영향을 미쳤다는 것을 알 수 있다. 그 이유를 살펴보기 위해 Table 2를 보면 비례 논리는 4단원 1회, 7단원 6회로 총 7회 활동하였고, 변인 통제 논리는 5단원 3회, 6단원 5회, 7단원 6회의 총 14회의 활동을 하였다. 변인 통제 논리 활동 횟수에 비해 비례 논리는 활동 횟수가 적었다. 변인 통제 관련 여러 연구21,22 에 따르면 중학생들에게 변인 통제 프로그램 적용하여 변인 통제 논리가 유의미하게 향상되지 않았다고 보고하고 있다. 본 연구에서는 중학교 1학년 교과서 내용 속에서 적용이 가장 가능했던 논리인 변인 통제에 중점을 두어 총 14회에 걸친 변인 통제 강화 교수 전략을 만들었으며 그 결과 유의미한 향상이 있었다.

Table 3에 의하면 상관 논리는 실험반, 통제반 각각의 사전 점수가 0.12, 0.17로 다른 논리에 비해 비교적 낮은 점수를 나타내고 있다. 즉 상관 논리는 중학교 1학년 이전에는 거의 형성되어 있지 않았음을 알 수 있다. 사후 검사에서 실험반과 통제반이 각각 0.23, 0.25로 비슷한 수준으로 향상하였다. Table 5에 의하면 상관 논리가 사전보다 사후에 상위 유형으로 변화한 경우는 실험반은 11명 (19.3%), 통제반은 15명(28.3%)로 통제반의 비율이 더 크며 사후 검사에서 하위 유형으로 변화한 경우도 실험반은 8 명(14.0%), 통제반은 10명(18.9%)로 이때도 역시 통제반의 비율이 더 큰 것으로 나타났다. 실험반의 경우 상관 논리가 형성된 학생이 사전에 10.5%에서 사후 15.8%로 증가하였으나 통제반은 사전 사후 모두 15.1%로 실험반과 통제반의 차이가 거의 없었다. 그 이유를 살펴보기 위해 Table 2를 보면 상관 논리 활동은 4단원 2회, 5단원 1회, 6단원 1회, 9단원 1회로 총 5회 적용하였다. 상관 논리가 사전에 다른 논리에 비해 점수가 낮았으며 적용 횟수도 작아 유의미하지 않은 결과가 나온 것으로 사료된다. 상관 논리는 다른 형식적 사고 능력에 비해서 형성률이 매우 낮고 학습에 의한 효과가 낮다는 기존 연구48,49와도 일치하는 결과이다. 특히 대학생을 대상으로 한 연구에서 확률, 비례, 상관 논리 프로그램 처치 후 확률, 비례, 상관 논리 능력이 유의미한 향상이 있었고 특히 확률과 비례에 초점을 맞춘 프로그램이 학생들의 상관 논리 능력을 향상시킨다고 하였다. 50 즉 세 가지 논리가 수학 과학에 필수적인 역할을 하며 서로 연관된 관계이므로 논리가 함께 형성된다고 보았다. 51 본 연구에서도 6가지 논리 유형 중 비례, 확률, 상관 논리가 유의미하지 않게 나왔다. 그 이유가 적용 내용이 학생들에게 합당하지 못한 활동 내용이거나 또는 확률 논리와 상관 논리의 매우 적은 적용 횟수의 문제일 수도 있다. 이에 대한 연구는 추후 연구 에서 진행하여야 할 것으로 사료된다.

논리적 사고력에 대한 학습자의 특성과 개발한 교수 전략의 상호 작용 효과

인지 수준과 교수 전략의 상호 작용 효과

인지 수준에 따라 적용된 교수 전략이 논리적 사고력에 미치는 영향을 알아보기 위한 사전·사후 결과는 Table 6과 같다. 사전 검사에서 형식적 조작의 실험반 통제반 점수 각각은 8.36, 9.14이고, 과도기의 실험반 통제반 점수는 각각 5.81, 6.11이며 구체적 조작기의 실험반 통제반 점수 각각은 3.05, 2.71이다. 실험반의 경우 형식적 조작기는 사전 8.36에서 사후 8.79로, 과도기는 사전 5.81에서 7.24 로, 구체적 조작기는 사전 3.05에서 5.50으로 상승하였다. 사전에서 사후로 변하는 점수 폭이 과도기나 구체적 조작기에 비해 형식적 조작기는 다소 작았다. 통제반의 경우 형식적 조작기는 사전 9.14에서 사후 8.29로, 과도기는 사전 6.11에서 6.11로, 구체적 조작기는 사전 2.71에서 3.67으로 구체적 조작기에서만 상승하였다. 적용된 논리적 사고력 지향 교수 전략에 따른 논리적 사고력이 학생들의 인지 수준과 상호 작용 여부를 알아보기 위해 이원 공변량 분석을 한 결과는 Table 7과 같다. 본 연구에서의 교수 전략에 따른 논리적 사고력은 학생들의 인지 수준의 영 향을 받고 있지 않은 것으로 나타났다. 다시 말하면 인지 수준에 상관 없이 논리적 사고력 신장 교수 전략은 논리적 사고력 향상에 효과가 있음을 알 수 있다. 그러나 인지 발달 가속 효과가 구체적 조작 후기 단계와 형식적 조작 초기 단계에서 특히 크게 나타나는 것으로 보아 학생의 두뇌 성장 패턴과 관련되어 있음을 보여주는 기존 연구24도 있다.

Table 6.Mean, standard deviations for the score of logical thinking skills by cognitive level

Table 7.Two-way ANCOVA results by cognitive level & teaching for the logical thinking skills

사전 학업 성취도와 교수 전략의 상호 작용 효과

사전 학업 성취도에 따른 논리적 사고력을 비교하기 위해 우선 실험반과 통제반 학생들의 사전 학업 성취도를 분석 하였다. 사전 학업 성취도 점수로 1학기 중간고사 점수를 사용하였고 학업 성취도 평균 이상 되는 학생과 학업 성취도 평균 미만인 학생들로 두 그룹으로 나누어 논리적 사고력 변화를 비교하였으며 그 결과는 Table 8과 같다.

Table 8.Mean, standard deviations for the score of logical thinking skills by science achievement

학업 성취도에 따른 논리적 사고력 결과를 보면 학업 성취도 평균 이상 그룹의 실험반 통제반의 사전 검사 점수는 각각 6.00, 6.77이고 평균 이하 그룹의 사전 검사 점수는 실험반 통제반의 각각 4.29, 3.86으로 평균 이상 그룹이 평균 이하 그룹보다 점수가 높다. 실험반 학생들은 평균 이상 그룹과 평균 미만 그룹 모두 사후 검사에서는 학업 성취도에 상관 없이 모두 점수가 상승하였고 통제반 학생들은 평균 이상의 그룹에서 오히려 사후 검사 점수가 하락하였다. 적용된 창의적 논리적 사고력 지향 교수 전략에 따른 논리적 사고력이 학생들의 학업 성취도와 상호 작용 여부를 알아 보기 위해 이원 공변량 분석을 한 결과는 Table 9와 같다. 본 연구에서의 교수 전략에 따른 논리적 사고력은 학생들의 학업 성취도에 영향을 받지 않는 것으로 나타났다. 다시 말하면 학업 성취도에 상관 없이 논리적 사고력 신장 교수 전략은 논리적 사고력 향상에 효과가 있음을 알 수 있다.

Table 9.Two-way ANCOVA results by science achievement & teaching for the logical thinking skills

성별과 교수 전략의 상호 작용 효과

성별에 따라 본 연구의 수업전략이 논리적 사고력에 미치는 영향을 비교하기 위해 논리적 사고력 변화를 비교하였으며 그 결과는 Table 10과 같으며 실험반 여학생의 점수는 4.93에서 6.31로, 남학생의 점수는 5.82에서 7.61로 상승폭이 비슷했다. 반면 통제반 여학생의 점수는 6.04에서 5.88로 하락하였으며 남학생의 점수는 5.17에서 5.59로 약간의 상승이 있었다. 적용된 창의적 논리적 사고력 지향 교수 전략에 따른 논리적 사고력이 학생들의 성별과 상호 작용 여부를 알아보기 위해 이원 공변량 분석을 한 결과는 Table 11과 같다. 본 연구에서의 교수 전략에 따른 논리적 사고력은 학생들의 성별에 영향을 받지 않는 것으로 나타났다. 다시 말하면 성별에 상관 없이 논리적 사고력 신장 교수 전략은 논리적 사고력 향상에 효과가 있음을 알 수 있다. Mwamwenda,52 Otaala53은 인지 발달에서의 성차는 생물학적인 요인이라기보다는 문화적 또는 환경적 요인에 의한 것이라고 하였다. 반면 학생 성별에 따라 논리적 사고력에 차이가 있다는 외국 연구 결과54-56도 있다. 성별에 따른 논리적 사고력에 대한 국내의 최근 연구는 거의 이뤄지고 있지 않다.

Table 10.Mean, standard deviations for the score of logical thinking skills by gender

Table 11.Two-way ANCOVA results by gender & teaching for the logical thinking skills

 

결론 및 제언

본 연구는 정규 과학 수업 시간에 비례, 보존, 변인 통제, 확률, 상관, 조합 논리 활동을 강화한 수업 전략이 학생들의 논리적 사고력 향상을 위한 보다 효과적인 교수 전략으로 제안하는 것을 목적으로 한다. 대부분이 아직 구체적 조작 수준이거나 과도기 수준인 중 1학생들을 연구 대상으로 하여 5월부터 12월까지 60차시동안 보존 5회, 비례 6회, 변인통제 12회, 확률 2회, 상관 3회, 조합 4회의 총 31회의 논리적 사고력 강화 활동들을 경험한 후에 학생들의 논리적 사고력 신장에 대하여 연구한 결과는 다음과 같다.

첫째, 논리적 사고력 검사 결과 비례, 보존, 변인 통제, 확률, 상관, 조합 논리 활동을 강화한 교수 전략은 학생들의 논리적 사고력 신장에 효과적이었으며 특히 보존 논리, 변인통제 논리, 조합 논리의 형성이 그러한 경험을 하지 않은 학생들에 비해서 긍정적으로 효과가 있었던 것으로 나타났다. 상대적으로 다른 논리에 비해 많은 활동을 한 보존 논리와 변인 통제 논리가 효과가 있었던 것으로 보아 가능한 많은 횟수의 논리적 사고력 강화 활동이 학생들의 논리적 사고력을 향상시키는데 긍정적인 효과가 있었음을 시사한다. 또한 상대적으로 적은 횟수의 활동을 한 조합 논리는 적은 양의 학습만으로도 중학교 1학년 시기에 효과가 있다고 할 수 있으며 따라서 시기에 맞는 논리 사고력 강화 활동이 필요함을 시사하고 있다.

둘째, 교수 전략에 따른 논리적 사고력은 학생들의 인지 수준, 사전 학업 성취도, 성별의 영향을 받고 있지 않은 것으로 나타났다. 즉 논리적 사고력은 인지 수준, 사전 학업 성취도, 성별과 관계 없이 논리적 사고력을 강화한 교수 전략은 논리적 사고력 향상에 효과가 있다고 할 수 있다. 따라서 위와 같은 본 연구의 결과들을 토대로 얻을 수 있는 결론은 다음과 같다. 별도 수업이 아닌 정규 중학교 1학년 과학 교과 수업에 논리 사고 요소들을 MCP 모형으로 변형한 본 연구의 교수 전략으로 1년 동안 적용한 결과 중학교 1학년 학생들의 논리적 사고력을 높여주어 학생들의 인지 수준을 가속시킨다고 할 수 있다. 특히 보존 논리, 변인 통제 논리, 그리고 조합 논리가 유의미하게 신장된다고 말할 수 있다. 또한 논리적 사고력에 대한 인지 수준, 성별, 학업 성취도와 교수 전략의 상호 작용 효과가 없는 것으로 나타났다. 따라서 본 연구에서 개발한 논리적 사고력을 강화한 탐구 교수 전략은 학생들의 인지 수준, 성별, 학업 성취도의 영향을 받지 않으며 효과적인 논리적 사고력 향상을 위한 교육의 한 방법이 될 수 있다는 것을 본 연구를 통해 알 수 있었다.

이 연구의 결론을 토대로 보충하면 좋을 제언은 다음과 같다. 본 연구에서 개발한 논리적 사고력을 강화한 탐구 교수 전략은 논리적 사고력에 긍정적인 효과가 있었다. 이것은 교수 전략에서 보존, 비례, 변인통제, 확률, 상관, 조합 논리를 반복해서 강조하였기 때문이라고 판단된다. 따라서 인지 가속 효과가 특히 크게 나타나는 적절한 시기라고 판단한 중학교 1학년 학생들의 논리적 사고력 향상을 위한 의도적인 수업이 지속되는 것이 좋겠다. 2007 개정 교육과정 이후 교과서 속 활동과 연습 문제 등에는 창의적 문제 해결력을 기르기 위한 다양한 구성을 하고 있다. 하지만 여전히 교과서 내의 실험은 이미 변인이 통제되어있는 확인 실험이 대부분이며 비례 관계나 보존 관계를 고민하도록 하는 구성은 없다. 이처럼 교과서 실험에 변인 통제 논리 활동, 비례 논리 활동, 조합 논리 활동 등을 일부 구성한다면 수업 외 활동의 부담과 거부감 없이 정규 수업 시간에 학생들의 인지 수준 향상에 도움을 줄 것이라 사료된다. 각 논리에 대한 적절한 시기와 횟수, 특히 비례, 확률, 상관 논리 유형 향상에 대한 연구는 추후에 보다 구체적으로 진행되어야 할 것이다.

또한 본 연구에서는 인지 수준, 성별, 학업 성취도와 교수 전략의 상호 작용 효과를 알아본 결과 모두 상호 작용 효과가 없는 것으로 나타났다. 추후 연구에서 교수 전략 투입 후 통계 분석 뿐 아니라 개인별 인터뷰 등을 통한 다양한 질적 분석을 한다면 상호 작용 효과에 대한 구체적인 원인을 찾을 수 있으리라 사료된다.

본 연구에서 개발한 논리적 사고력을 강화한 탐구 교수 전략은 인지적인 측면에 대한 연구였다. 다양한 가치를 추구하는 복잡한 현대 사회는 점차 인간 중심의 사고에서 자연과의 조화를 강조하고, 인간 본성 중에서도 지성과 이성 외에 감성을 강조하는 경향을 띠게 되면서 교육에서 정의적 영역도 매우 중요시 되고 있다. 따라서 논리적 사고력에 대한 인지적 측면 뿐 아니라 학생들의 정의적 측면까지도 향상시킬 수 있는 교수 방안을 마련하고 정의적 측면의 분석에 대한 추후 연구가 필요할 것이다.

Acknowledgement

Supported by : 한국연구재단

References

  1. Lawson, A. E. Science Teaching and the Development of Thinking; Wadsworth Publishing Company: Belmont, CA, U.S.A., 1995.
  2. Ministry of Education and Human Resources Development Science Curriculum; Daehan Textbook Publishing: Seoul, Korea, 2007.
  3. Ministry of Education Science and Technology Science Curriculum; Daehan Textbook Publishing: Seoul, Korea, 2009.
  4. Dewey. J. How We Think; Bupmoonsa: Seoul, Korea, 2011. 203.
  5. Kang, S. H. Assessment Instruments and Criteria of Creative Problem Solving Thinking Skills in Science Education; Ewha Womans University: Seoul, Korea, 2010.
  6. Kim, Y. M.; Kim, S. H. Korea Assoc. Sci. Edu. 2009, 29(4), 437-449.
  7. Karplus, R. Journal of Research in Science Teaching 1977, 14(2), 169-175. https://doi.org/10.1002/tea.3660140212
  8. Cho, H. H, Choi, K. H. Science Education General Studies: Education History of Science; History of Science Education: Seoul, Korea, 2001.
  9. Driver, R. European Journal of Science Education. 1981, 3(1), 93-101. https://doi.org/10.1080/0140528810030109
  10. Park, J. E.; Park, Y. S.; Kang, S. H. Journal of the Korean Chemical Society 2013, 57(5), 640-655. https://doi.org/10.5012/jkcs.2013.57.5.640
  11. Koh, K. A Study on the Relationship between the Cognitive Level of Middle School Student and the Required Conceptual Level of Their Science Textbook. Master' Dissertation, Sunggyunkwan University, Seoul, Korea, 2004.
  12. Kim, H. Analysis of Conceptual Level and Organization on the Continuity of the Life in Biology of Secondary School. Master's Dissertation, Seoul National University. 2006.
  13. Park, K. Analysison Understanding Level of Illustrations in the 'Light' Unit according to the 7th Grade Students' Level of Intelligential Development. Master's Dissertation, Seoul National University. 2008.
  14. Lee, Y. Reliability Analysis on GALT Full-Scale Version and Short-Form Version Using Generalization. Master's Dissertation, Chungbuk National University, CheungJu, Korea, 2009.
  15. Lim, S. A Study on the Effects of the Prior Learning on Science on Science Learning Attitudes. Master's Dissertation, Ewha Womans University, Seoul, Korea, 2009.
  16. Kim, T.; Bae, D.; Kim, B. J. Korea Assoc. Sci. Edu. 2002, 22(4), 725.
  17. Kang, G. A Comparative Study between the Demanded Cognitive Level of Chemistry Contents in Middle School and the Cognitive Levels of Thoses Students. Master's Dissertation, Ewha Womans University, Seoul, Korea, 1997.
  18. Kwon, J. A Studyon the Relationship between the Conceptual Level Required by the Biology Part of the 7th Curriculum and the Cognitive DevelopmentLevel of Middle and High School Student. Master's Dissertation, Sunggyunkwan University, Seoul, Korea, 2009.
  19. Jung, H. The Effects of Science Writing Activity in Nutrient and Digestion for First Grade in Middle School. Master's Dissertation; Ewha Womans University, Seoul, Korea, 2010.
  20. Kwon, J. S.; Choi, B. S.; Hur, M. Korea Assoc. Sci. Edu. 1987, 7(2), 1-14.
  21. Kang, S. H.; Bang, D. I.; Kim. S. J. Journal of Korean Chemical Society 2012, 56(4), 518-529. https://doi.org/10.5012/jkcs.2012.56.4.518
  22. Kang, S. H.; Bang, D. I.; Kim. S. J. Journal of Korean Chemical Society 2012, 56(6), 739-750. https://doi.org/10.5012/jkcs.2012.56.6.739
  23. Kim, E. S.; Park, K. S.; Oh, C. H.; Kim, D. J.; Park, K. T. Journal of Korean Chemical Society 2004, 48(6), 645-653. https://doi.org/10.5012/jkcs.2004.48.6.645
  24. Choi, B. S.; Choi, M. H.; Nam, J. H.; Lee, S. K. J. Korea Assoc. Sci. Edu. 2002, 22(3), 422-431.
  25. Shayer, M.; Adey, P. Journal of Research in Science Teaching 1992a, 29(1), 81-92. https://doi.org/10.1002/tea.3660290108
  26. Shayer, M.; Adey, P. Journal of Research in Science Teaching 1992b, 29(10), 1101-1115. https://doi.org/10.1002/tea.3660291007
  27. Shayer, M.; Adey, P. Journal of Research in Science Teaching 1993, 30(4), 351-366. https://doi.org/10.1002/tea.3660300404
  28. Shayer, M. The Long-term Effectsof Cognitive Acceleration on Pupils' School Achievement; Center for the Advancement of Thinking, King's College: London, 1996.
  29. Kim, S. J.; Lee, S. K.; Park, J. Y.; Kang, S. J.; Choi, B. S. J. Korea Assoc. Sci. Edu. 2002, 22(3), 604-616.
  30. Nam, J. H.; Yoon, K. R.; Lee, S. K.; Hahn, I. S. Journal of Korean Chemical Society 2002, 46(6).
  31. Heo, B. C.; Jeong, J. W,; Jang, M. D.; Cheong, C. Jour. Korean Earth Science Society 2003, 24(7), 604-613.
  32. Kim, Y. J.; Kim, S. J.; Choi, M. H.; Choi, B. S. J. Korea Assoc. Sci. Edu. 2004, 24(5), 987-995.
  33. Chung, W. H. J. Korea Assoc. Sci. Edu. 1998, 18(4), 503-516.
  34. Han, H. S.; Choi, B. S.; Kang, S. M.; Park, J. Y. J. Korea Assoc. Sci. Edu. 2002, 22(3), 571-585.
  35. Lee. Y. H.; Kang, S. H. Journal of the Korean Chemical Society 2011, 55(3), 519-528. https://doi.org/10.5012/jkcs.2011.55.3.519
  36. Lee, S. K.; Paek, M. H.; Ree, J. B.; Choi, B. S.; Park, J. Y. J. Korea Assoc. Sci. Edu. 2011, 31(4), 587-599.
  37. Nam, J. H.; Kim, S. H.; Kang, S. H.; Park, J. Y.; Choi, B. S. J. Korea Assoc. Sci. Edu. 2002, 22(1), 110-121.
  38. Kim, E. J.; Shin, A. K. Lee, S. K. Choi, M. H. Choi, B. S. J. Korea Assoc. Sci. Edu. 2005, 25(7), 787-793.
  39. Kim, Y. S.; Park, A. R.; Lim, S. M.; Jeng, J. H.; Kim, S. W.; Song, H. Y. Jour. Science Education 2009, 33(1) 69-76.
  40. Park, J. Y. Kim, J. Y.; Nam, J. H. Lee, S. K.; Choi, B. S. J. Korea Assoc. Sci. Edu. 2002, 22(4) 696-705.
  41. Kang, S. H.; Kim, D. H.; Kim, H. J.; Park, I. S.; Yoon, Y. J.; Lee, S. H.; Lee, Y. H.; Lee, E. J.; Hong, H. I. Regularities of Changes in the Material - 9th Grade Science Class Map (5); Seoul National University Research Institute of Science Education, Seoul multynet: Seoul, Korea, 2006.
  42. Adey, P. and Shayer, M. Yates, C. Thinking Science; 2001; translated by Choi, B. S.; et al.; KyungKy: Chayoo Acardemy, 2011.
  43. Kang, S. H. Cognitive; Ewha Womans University: Seoul, Korea, 2002-01.
  44. Lawson, A. E. Science Teaching and the Development of Thinking; Wadsworth Publishing Company: Belmont, CA, U.S.A., 1995; pp 436-445.
  45. Roadranka, V.; Yeany, R. H.; Padilla, M. J. The Construction and Validation of Group Assessment of Logical Thinking, (GALT); Paper presented at the annual meeting of the National Association for Research in Science Teaching: Dallas, Texas, 1983.
  46. Kang, S. H.; Noh, J. W.; Park, J. Y. J. Korea Assoc. Sci. Edu. 1998, 18(3), 399.
  47. Vass, E.; Schiller, D.; Nappi, A. J. Journal of Research in Science Teaching 2000, 37(9), 981-995. https://doi.org/10.1002/1098-2736(200011)37:9<981::AID-TEA7>3.0.CO;2-1
  48. Yang, H. Y.; Kang, S. H. The Journal of Korea Elementary Science Education 2013, 32(4), 485-494.
  49. Kang, S. H.; Park, J. Y.; Jeong. J. Y. Journal of the Korean Chemical Society 1999, 43(5), 578-588.
  50. Kim, Y. S.; Park, A. R.; Lim, S. M. Jeng, J. H. Kim, S. H. Song, H. Y. Journal of Science Education 2009, 33(1), 69-76.
  51. Karplus, R., Adi, H.; Lawson, A. E. School Science and Mathematics 1980, 80(8), 673-683. https://doi.org/10.1111/j.1949-8594.1980.tb09964.x
  52. Mwamwenda, T. The Journal of Psychology 1993, 127(4), 419-425. https://doi.org/10.1080/00223980.1993.9915577
  53. Otaala, B. The Development of Operational Thinking in Primary School Children; Teachers College Press: Newyork, USA, 1973.
  54. Douglas, J. D.; Wong, A. C. Child Development 1977, 48, 689-692. https://doi.org/10.2307/1128676
  55. Keating, D.; Schaefer, R. Developmental Psychology 1975, 11, 531-532. https://doi.org/10.1037/h0076670
  56. Leskow, S.; Smock, C. Developmental Psychology 1970, 2(3), 412-422. https://doi.org/10.1037/h0029168