DOI QR코드

DOI QR Code

The Effect of Grouping by Communication Apprehension Level in Paired Think-Aloud Problem Solving for Middle School Chemistry

중학교 화학에 적용한 해결자.·청취자 활동에서 의사소통 불안 수준에 따른 소집단 구성의 효과

  • Kang, Hun-Sik (Department of Science Education, Chuncheon National University of Education) ;
  • Lee, Jeong-Soon (Department of Chemistry Education, Seoul National University) ;
  • Kim, Kyung-Sun (Department of Chemistry Education, Seoul National University) ;
  • Jeon, Kyung-Moon (Department of Science Education, Gwangju National University of Education) ;
  • Noh, Tae-Hee (Department of Chemistry Education, Seoul National University)
  • 강훈식 (춘천교육대학교 과학교육과) ;
  • 이정순 (서울대학교 화학교육과) ;
  • 김경순 (서울대학교 화학교육과) ;
  • 전경문 (광주교육대학교 과학교육과) ;
  • 노태희 (서울대학교 화학교육과)
  • Published : 2007.12.20

Abstract

In this study, the effect of grouping by communication apprehension level in paired think-aloud problem solving was examined. Three classes of 9th graders (N=99) were randomly assigned to a control group, homogeneous group or heterogeneous group based on the test scores of their communication apprehension. After the instructions concerning ‘writing balanced chemical equation', ‘the law of conservation of mass', and ‘the law of definite proportions' for 7 class hours, students' chemistry problem solving ability and the perception to the paired think-aloud problem solving were examined. Two-way ANOVA results revealed that there was an interactive effect in the score of chemistry problem solving ability test. In simple effect test for the students of low communication apprehension, the scores of the heterogeneous group were found to be significantly higher than those of the control group. However, the students in homogeneous group had relatively positive perceptions to the paired think-aloud problem solving.

이 연구에서는 해결자·청취자 활동에서 의사소통 불안 수준에 따른 소집단 구성의 효과를 조사했다. 수 업 전 중학교 3학년 세 학급(N=99)을 대상으로 의사소통 불안 검사를 실시한 후, 의사소통 불안 동질 집단과 이질 집단, 그리고 통제 집단으로 무선 배치했다. ‘화학 반응식의 계수 맞추기', ‘질량 보존의 법칙', ‘일정 성 분비의 법칙' 등에 관한 수업을 7차시 진행한 후, 화학 문제 해결력 검사 및 수업 처치에 대한 인식 검사를 실 시했다. 이원 변량 분석 결과, 화학 문제 해결력 검사의 점수에서 수업 처치와 학생들의 의사소통 불안 수준 사이의 상호작용 효과가 나타났다. 단순 효과 검증 결과, 의사소통 불안이 낮은 학생들의 경우 이질 집단의 평 균이 통제 집단보다 유의미하게 높았다. 그러나 학생들의 수업 처치에 대한 인식은 동질 집단에서 긍정적인 경 향이 있었다.

Keywords

서 론

과학 교과에서는 전통적으로 문제 해결력의 향상을 강조해 왔으며, 우리나라에서도 과학 교육과정에 이를 중요한 목표의 하나로 제시하고 있다.1 그러나 문제 해결력은 단기간에 쉽게 향상하기 어려우므로, 저학년부터 적절한 교수 방법이나 전략을 제공할 필요가 있다. Lochhead와 Whimbey2는 개인의 문제 해결 과정을 효과적으로 점검할 수 있는 교수학습 방법으로 해결자·청취자 활동(paired think-aloud problem solving)을 제안했다.

이 활동은 소리를 내어 문제를 해결하는 ‘해결자(solver)’와 이를 듣고 이해하는 ‘청취자(listener)’로 구성되어 있다.2,3 해결자는 스스로 문제를 해결하면서 자신의 사고 과정을 모두 말로 표현해야 하며, 청취자는 해결자의 문제 해결 과정을 능동적으로 이해하고 그 정확성을 검토해주어야 한다. 학생들은 이 활동을 통해 교사가 아닌 동료의 도움으로 자신이 실제 사용할 수 있는 수준의 문제 해결 기술을 습득할 것으로 기대된다.4 말하거나 듣는 과정을 통해 자신의 사고 과정에 관심을 기울이게 되고, 새로운 문제 해결 과정이나 구체적인 개념들에 대해 생각해 보게 되어, 인지구조가 보다 조직화될 것이다.5 실제로 외국의 여러 대학에서는 수학, 과학, 기술, 읽기 강의 등에 이 활동을 적용하고 있다. 대학생이나 고등학생을 대상으로 한 선행 연구들에서도 해결자·청취자 활동이 학업 성취도, 문제 해결력, 분석적 추론 기술, 메타인지적 기술 등의 인지적 측면이나 수업 참여도, 동기 등의 정의적 요소에 긍정적인 영향을 미치는 것으로 보고했다.3,6-10

해결자·청취자 활동의 기본은 해결자가 문제 해결 과정을 말로 표현하고 청취자가 이를 듣는 것이지만, 그 외에도 해결자와 청취자 사이의 언어적 상호작용이 다양하게 나타난다.11 일반적으로 소집단 활동의 효과는 언어적 행동과 밀접한 관련이 있으므로,12 언어적 행동에 영향을 미치는 변인에 대한 연구가 중요하다. 이런 맥락에서 학습자의 특성이나 소집단의 구성 방식에 관한 연구가 성취도, 성별, 연령, 정의적 측면 등의 측면에서 꾸준히 논의되어 왔다.13-18

일례로 학습자의 의사소통 불안(communication apprehension)을 들 수 있는데, 이는 ‘대인간 의사소통 상황에서 다른 사람과 실제로 의사소통을 하거나 의사소통할 것이라고 예상할 경우 생겨나는 개인의 내적 불안이나 긴장’이라고 정의할 수 있다.19 의사소통 불안 수준에 따라 소집단 내의 언어적 상호작용에 얼마나 자발적이고 적극적으로 참여하는지가 달라질 수 있을 것이다. 협동학습의 효과에 관한 일부 선행 연구에 의하면, 의사소통 불안 수준이 낮은 학생의 경우 불안 수준이 높은 학생들과 함께 학습할 때에 자아 존중감, 동기, 태도 등이 향상되는 경향이 있었다.20,21 또, 의사소통 불안이 높은 학습자는 그렇지 않은 학습자와 비교했을 때 상대적으로 낮은 학업 성취를 보이고, 교사나 동료에게 긍정적인 평가를 덜 받는다고 보고되었다.22

한편, 중학교 3학년 과학의 화학 단원에서는 원자·분자와 같은 입자 개념을 기초로 질량 보존의 법칙과 일정 성분비의 법칙 등 물질 변화에서의 규칙성을 다루고 있다.23 이는 이후 상급학교에서 중요하게 다루어질 화학양론이나 기체 법칙 등의 문제 해결과 직접 연결된다. 그동안 많은 연구자들이 이 내용 영역에서 고등학생이나 대학생의 문제 해결력에 대해 관심을 집중해 왔으나24-26, 상대적으로 중학생들의 화학 문제 해결력 향상에 대한 연구는 별로 진행되지 않았다. 특히 인지 용량을 상당히 요할 것으로 보이는 해결자·청취자 활동을 초등학생이나 중학생에게 적용한 연구는 찾아보기 어렵다.

따라서 이 연구에서는 해결자·청취자 활동을 중학교 과학의 화학 단원에 적용하고, 그 효과를 의사소통 불안 측면에서 동질적인 소집단과 이질적인 소집단에 대해 비교했다. 구체적인 연구 문제는 다음과 같다.

 

연구 내용 및 방법

연구 대상

이 연구는 서울시에 위치한 중학교 3학년 세 학급(N = 99)을 대상으로 실시했다(Table 1). 해결자·청취자 활동의 효과가 의사소통 불안 수준에 따른 소집단구성 방식에 따라 달라지는지 알아보기 위해 선행 연구20,21에 기초하여 소집단을 구성했다. 먼저 사전 성취도가 유사한 두 학급을 선정하여 의사소통 불안 점수의 전체 평균을 기준으로 동질적인 소집단(의사소통 불안 수준이 높은 학생 2명 또는 낮은 학생 2명)과 이질적인 소집단(의사소통 불안 수준이 높은 학생 1명과 낮은 학생 1명)으로 편성했다. 한 학급 내에 동질적인 소집단과 이질적인 소집단이 모두 포함되도록 하여, 두 학급을 동질 집단(n=34)과 이질 집단(n=32)으로 재배치했다. 성취도의 측면에서는 일반적으로 이질적인 소집단이 보다 효과적인 것으로 보고되므로,27,28 사전 성취 수준에 대해서는 이질적으로 구성했다. 나머지 한 학급은 통제 집단으로 배치했다(n=33). 중간고사 과학 성적에 대한 변량 분석 결과 세 집단 사이에 유의미한 차이가 없었으며(MS=66.00, F=.11 p=.895), 의사소통 불안 점수에 대해서도 차이가 없었다(MS=66.15, F=1.07, p=.349).

Table 1.1CA: communication apprehension

연구 절차

수업 처치 이전에 사전 검사로 의사소통 불안 검사를 실시했다. 의사소통 불안 검사 점수의 전체 평균에 기초하여, 의사소통 불안의 높고 낮음에 따른 동질 집단과 이질 집단을 구성했다. 두 처치 집단에는 해결자·청취자 활동에 대한 오리엔테이션 1차시29를 실시했다. 해결자에게는 ‘문제를 소리 내어 읽으시오, 짝이 이해할 수 있도록 모든 생각을 말로 표현하는 것이 중요합니다, 적절한 단어를 찾느라고 애쓰지 말고 생각나는 대로 말하면 됩니다’ 등과 같은 역할을 소개했다.3 청취자에게는 ‘해결자의 문제 해결 과정을 잘 듣고 정확히 이해하시오, 해결자가 모든 사고 과정을 계속 말로 표현하도록 요구하시오, 해결자의 생각이 이해되지 않을 때 질문하시오, 해결자의 잘못을 지적만 할 뿐 정답을 말하지 마시오’ 등의 역할을 소개했다.3 그 후, 학생들은 이 연구에서의 대상 단원과관련이 없는 수학 영역의 문제로 1차시 동안 연습하였다. 수업을 담당하는 교사에게도 사전에 오리엔테이션을 실시했다. 교사는 ‘물질 변화에서의 규칙성’ 단원에 대한 본 수업을 총 7차시에 걸쳐 통제 집단과 처치 집단에 실시했다. 연구자는 수업 처지가 의도대로 진행되는지 점검하기 위해 통제 집단과 처치 집단의 초기 수업을 1회씩 참관했다. 사후 검사로 화학 문제 해결력 검사를 실시했고, 처치 집단에서는 수업 처치에 대한 인식 검사를 추가로 실시했다.

수업 내용 및 방법

수업 내용은 ‘화학 반응식 맞추기’와 ‘일정 성분비의 법칙’, ‘질량 보존의 법칙’ 등이었다. 교사는 강의를 통해 문제 해결에 필요한 기본적 개념과 법칙을 도입한 후, 준비된 예제 2문항을 학생들에게 제시해주었다. 통제 집단 학생은 이를 개별적으로 해결했고, 처치 집단 학생들은 해결자·청취자 활동을 통하여 해결했다. 처치 집단에서 해결자는 활동지의 문제를 해결하면서 자신의 사고 과정을 말로 표현했고, 청취자는 해결자의 문제 해결 과정을 능동적으로 이해하고 점검해주었다. 학생들은 매 차시 해결자와 청취자의 역할을 교대로 수행했으며, 교사는 학생들이 문제를 해결하는 동안 순회 지도했다. 수업의 마지막 부분에서 교사는 학습한 내용을 정리해주었다.

검사 도구

학생들의 의사소통 불안 검사는 총 24문항으로 구성된 McCroskey30의 Personal Report of Communication Apprehension-24(PRCA-24)을 사용했다. 이 검사지는 ‘여러 사람 앞에서의 발표’, ‘회의에서의 발언’, ‘소집단 토의’, ‘일상적인 대화’ 등 네 가지 상황에서의 의사소통 불안을 측정하는 것이다. 본 검사 도구를 이용한 선행연구31에서 보고된 내적 신뢰도 (Cronbach’s α)는 .97이며, 본 연구에서의 내적 신뢰도는 .93이었다.

화학 문제 해결력 검사는 선행 연구32를 참고하여 개방형 서술형 문항으로 제작했다. 이 검사지는 ‘화학 반응식’ 및 ‘화학 반응의 양적 관계’에 대한 4개의 문항으로 구성되어 있으며, 이 중 일부를 부록 1에 제시했다. 과학교육 전문가 3인과 중학교 교사 3인으로 부터 안면타당도를 검증받았다. 본 연구에서 구한 화학 문제 해결력 검사의 내적 신뢰도(Cronbach’s α)는 .83이었다. 수업 처치에 대한 인식 검사는 두 처치 집단을 대상으로 해결자나 청취자 역할에 대한 유용성 및 그 이유를 묻는 문항으로 구성했다.

분석 방법

이 연구의 종속 변인은 화학 문제 해결력과 수업처치에 대한 인식이었다. 화학 문제 해결력 검사에 대해 3×2 요인 방안에 의한 이원 변량 분석(2-way ANOVA)을 실시했다. 이원 변량 분석 결과 상호작용 효과가 있는 경우에는 단순 효과(simple effects)를 검증하기 위해 의사소통 불안 수준별로 일원 변량 분석(one-way ANOVA)을 실시했다. 주효과가 있을 경우에는 LSD로 사후 검증을 실시했다.

화학 문제 해결력 검사의 채점틀은 문항별로 2점 또는 3점 만점으로 구성하였다. 채점의 신뢰도를 높이기 위해 무작위로 선정한 12명의 답안지에 대해 2인의 분석자간 일치도가 .93임을 확인한 후, 모든 답안지를 연구자 1인이 채점했다. 수업 처치에 대한 인식 검사에서는 응답별 빈도를 분석했다. 통계 분석은 SPSS 12.0을 사용했다.

 

결과 및 논의

화학 문제 해결력에 미치는 효과

화학 문제 해결력 검사 점수(10점 만점)의 평균과 표준편차를 Table 2와 Fig. 1에 제시했다. 의사소통 불안 동질 집단(6.50)과 이질 집단의 평균(6.34)이 통제집단(4.64)보다 높았다. 이원 변량 분석 결과, 수업 처치의 주효과 및 수업 처치와 의사소통 불안 수준 사이의 상호작용 효과가 유의미했다(p<.05). 일원 변량 분석을 통한 단순 효과 검증 결과, 의사소통 불안이 높은 학생들은 주효과의 경향성을 보였으며(p=.083), 의사소통 불안이 낮은 학생들의 경우 집단 간에 유의미한 점수 차이가 있었다(MS=45.28, F=4.12, p<.05). 사후 검증 결과, 이질 집단의 평균(7.88)이 통제 집단(4.47)보다 유의미하게 높았다(p<.01).

Table 2.1CA: communication apprehension

Fig. 1.The chemistry problem-solving ability test scores by communication apprehension.

해결자와 청취자의 역할을 수행하는 것이 문제 해결력 향상에 긍정적인 영향을 주는 이유는 문제 해결과정을 말하거나 듣는 과정에서 학습자의 인지구조가 보다 더 조직화되기 때문으로 볼 수 있다.5 본 연구에서 의사소통 불안이 낮은 학생들의 경우 불안이 높은 학생과 함께 해결자·청취자 활동을 할 때 문제 해결력이 더 향상되는 것으로 나타났다. 이는 의사소통 불안이 낮은 학생일수록 의사소통 자발성이 높으므로 소집단 환경에 잘 적응하고 활발하게 언어적 상호작용에 참여했기 때문으로 볼 수 있다.20,22

이에 비해 의사소통 불안이 낮은 학생들끼리 모여 활동할 때에는 해결자·청취자 활동의 효과가 크게 나타나지 않았다. 성취도나 문제해결력 향상과 밀접한 관련이 있다고 알려진,33,34 다른 동료에게 정보를 제공하는 등의 언어적 행동을 수행할 기회가 상대적으로 줄어들었을 가능성이 있다. 해결자의 문제 해결과정을 능동적으로 듣고 이해하는 것도 문제 해결력 향상과 관련이 있을 것으로 기대되나, 본 연구에서 중학생들의 경우 상대방의 해결 과정을 잘 듣기 보다는 자신의 의견을 제시하고자 하는 성향이 컸을 가능성도 무시할 수 없을 것이다.19

의사소통 불안이 높은 학생들의 경우 통계적으로 유의미한 차이는 아니었으나(p=.083), 동질 집단에서 문제 해결력 향상의 폭이 큰 경향이 있었다. 이것은 해결자·청취자 활동이 번갈아 가면서 각각의 역할을 수행해야한다는 규칙을 가지고 있기 때문에, 동질적 소집단을 구성한 경우 의사소통 불안의 수준이 높음에도 불구하고 실제적으로 집단 활동에 더 참여할 가능성이 있는 것으로 보인다.35 이런 결과에 비추어 볼 때, 후속 연구로는 의사소통 불안 수준에 따른 소집단 구성에서 해결자와 청취자 사이의 언어적 상호작용 양상이 구체적으로 어떻게 달라지는지 면밀히 분석해 볼 필요가 있다.

수업 처치에 대한 인식에 미치는 효과

수업 처지에 대한 인식 검사 결과를 Table 3에 정리했다. ‘화학 문제를 풀거나 화학 개념을 이해하는데 해결자 활동이 도움이 되었습니까?’의 문항에 대해 ‘그렇다’라고 응답한 학생이 의사소통 불안이 높은 동질 집단의 경우 6명(43%), 의사소통 불안이 낮은 동질 집단의 경우 11명(55%)이었다. 이에 비해 이질 집단의 경우에는 의사소통 불안이 높은 학생 5명(31%), 의사소통 불안이 낮은 학생 5명(31%)만이 긍정적으로 응답했다. 해결자의 역할에 대한 인식에서 특기할만한 것은 의사소통 불안 수준이 높고 이질 집단에 속한 학생들의 경우 나머지 경우의 학생들에 비해, 해결자 활동의 장점에 대한 언급은 상대적으로 적고 단점에 대한 언급이 많다는 점이다. 이들은 자신과 달리 의사소통 불안이 낮아 의사소통 자발성이 높은 동료가 청취자 역할을 수행하고, 자신은 해결자 역할을 수행해야 하는 상황이 부담스러웠을 가능성이 있다. 이에 ‘내용을 잘 모르는 문제 해결 과정을 말하기 힘들다(6명)’고 느끼게 되었던 것으로 보인다. 즉, 본 연구의 이질 집단에서 의사소통 불안이 낮은 학생들의 경우 언어적 상호작용에 활발히 참여해 화학 문제 해결력이 향상된 것으로 해석할 수 있는 반면, 불안이 높은 학생들은 해결자의 역할을 수행하는 것에 대해 부정적으로 인식하였다.

Table 3.Students’ perceptions to the paired think-aloud problem solving

‘화학 문제를 풀거나 화학 개념을 이해하는데 청취자 활동이 도움이 되었습니까?’의 문항에 대해서는 ‘그렇다(4~8명, 25~40%)’와 ‘아니다(3~6명, 19~38%)’의 응답 빈도가 크게 다르지 않았다. 그러나 의사소통 불안 수준이 낮고 동질 집단에 속한 학생들은 다른 경우의 학생들에 비해 청취자의 역할에 대해 다소 긍정적으로 인식하는 경향이 있었다(8명, 40%). 즉, 의사소통 불안이 낮은 학생들의 경우 화학 문제 해결력이 향상된 것은 불안이 높은 학생들과 함께 학습할 때였으나, 청취자의 역할에 대해서는 자신과 같이 불안이 낮은 동료의 활발한 문제 해결 과정을 듣는 활동이 ‘내 생각과 비교할 수 있고(4명) 학습 내용을 이해하는데 도움을 주는(5명)’ 장점을 갖는다고 인식했다. 이에 비해 의사소통 불안이 높고 이질 집단에 속한 학생들은 청취자 역할의 단점을 지적하면서 ‘동료가 활발히 문제 해결을 하는 것에 비해 청취자는 소극적으로 듣기만 하게 될 가능성이 있다(5명)’고 언급했다.

 

결론 및 제언

이 연구에서는 해결자·청취자 활동을 중학교 3학년 ‘물질 변화에서의 규칙성’단원에 적용하고, 그 교수 효과를 의사소통 불안 측면에서 동질적으로 구성한 소집단과 이질적으로 구성한 소집단에 대해 비교했다. 또한, 학생들의 의사소통 불안이 교수 효과에 어떤 영향을 미치는지도 함께 조사했다. 연구 결과, 화학 문제 해결력 검사 점수에 대해 수업 처치의 주효과 및 수업 처치와 의사소통 불안 수준 사이의 상호작용 효과가 나타났다. 이는 해결자·청취자 활동이라는 새로운 수업 처치가 전반적으로 학생들의 화학 문제 해결력 향상에 효과적인 경향이 있으나, 학생들의 의사소통 불안 수준에 따라 보다 효과적인 소집단 구성 방식이 달라질 수 있음을 시사한다.

첫째, 의사소통 불안 수준이 낮은 학생들의 경우 이질적인 소집단에서의 해결자·청취자 활동을 통해 화학 문제 해결력이 향상된 것으로 나타났다. 그러나 의사소통 불안이 높은 학생들의 경우 동질적인 소집단에서의 학습 효과가 더 높은 경향성을 보였다.

둘째, 해결자나 청취자의 역할에 대한 인식은 이질집단보다 동질 집단에서 다소 긍정적인 경향이 있었다. 예를 들어, 의사소통 불안 수준이 높은 학생들은 자신과 달리 불안 수준이 낮은 동료와 함께 활동할 경우, 소리를 내어 문제를 풀어야 하는 해결자의 역할을 부담스러워하거나 소극적으로 듣기만하는 청취자가 될 가능성을 언급했다. 의사소통 불안 수준이 낮은 학생들로 동질적인 소집단을 구성한 경우에는, 자신과 같이 불안이 낮은 동료가 활발하게 문제를 해결하는 것을 듣는 활동에 대해 긍정적으로 인식했다.

결론적으로 볼 때, 해결자·청취자 활동에서 의사소통 불안 수준을 고려하여 어떻게 소집단을 구성하는 것이 가장 효과적인지 단언하기는 어렵다. 이질적인 소집단의 편성이 의사소통 불안이 낮은 학생들에게 학습의 효과를 극대화할 수 있는 방편이 된다하더라도 다른 학생들에게 상대적으로 부정적인 영향을 줄 수 있다면, 이러한 소집단 편성 방법에 대해 재고해 볼 필요가 있다. 모든 학생들을 배려할 수 있는 방안에 대해 연구해 볼 필요가 있으며, 그 일환으로 대부분의 학생들이 무난하게 인식한 동질적인 소집단에서의 학습 효과를 높일 수 있는 방안에 대해서도 연구해 볼 필요가 있다. 예를 들어, 의사소통 불안 수준이 높은 동질 집단의 경우 각자의 역할을 명확히 인식하게 하는 등 보다 적극적으로 언어적 상호작용에 참여할 수 있는 분위기를 조성해 줄 필요가 있을 것이다. 불안 수준이 낮은 동질 집단의 경우에는 상대방의 해결 과정을 잘 듣고 이해하는 훈련을 강화할 필요가 있을 것이다.

또, 일반적으로 의사소통 불안은 소집단 활동에서의 걸림돌로 작용한다고 볼 수 있으나, 소집단 활동이 교사나 학급 전체와의 상호작용이 아닌 일부 동료들과의 상호작용인 점을 고려한다면, 소집단 활동을 통해 오히려 학생들의 의사소통 불안을 감소시켜 줄 가능성36에 대해서도 연구해 보아야 한다. 보다 장기간 해결자·청취자 활동을 적용하는 등의 방법으로 소집단 내에서 학생들의 의사소통 불안을 다소 완화시켜 줄 수 있다면, 수업의 효과나 학생들의 인식 변화 등의 측면에서도 보다 긍정적인 결과를 기대할 수 있을 것이다. 한편, 본 연구에서 사용한 검사지 PRCA-24는 개인의 전반적인 의사소통 불안을 측정한다고 볼 수 있으나, 교실 수업 상황으로 한정한 의사소통불안(classroom communication apprehension)37에 대해서도 조사해 볼 필요가 있다.

“이 논문은 2006년도 정부(과학기술부)의 재원으로 한국과학재단의 지원을 받아 수행된 연구임(No. R01-2006-000-10675-0).”

References

  1. 교육부 초중등학교 교육과정; 대한교과서: 서울, 2007
  2. Lochhead, J.; Whimbey, A. In Developing critical thinking and problem-solving abilities; Stice, J. E., Ed.; Jossey-Bass: San Francisco, U. S. A., 1987; p 73
  3. Pestel, B. C. Science Education 1993, 34, 199 https://doi.org/10.1002/sce.3730340317
  4. Lochhead, J. Sound thinking with thinkback 1980, 72, 595
  5. Dorman, N. H. The effects of a problem-solving course on secondary school students' analytical skills, reasoning ability and scholastic aptitude. Unpublished doctoral dissertation; University of Maryland College Park, U. S. A., 1990
  6. Glass, A. R. The effects of thinking aloud pair problem solving on technology education students' thinking processes, procedures, and problem solutions (pair problem- solving). Unpublished doctoral dissertation; University of Minnesota, U. S. A., 1992
  7. Johnson, S. D.; Chung, Shih-Ping Journal of Industrial Teacher Education 1999, 37, 7
  8. Pate, M. L.; Wardlow, G. W.; Johnson, D. M. Journal of Agricultural Education 2004, 45, 1
  9. Bilgin, I. Journal of Science Education 2006, 7, 101
  10. 전경문; 노태희 한국과학교육학회지 2000, 20, 624
  11. Webb, M. M. Journal for Research in Mathematics Education 1991, 22, 366 https://doi.org/10.2307/749186
  12. 노태희; 한재영; 서인호; 전경문; 차정호 한국과학교육학회지 2000, 20, 43
  13. 한재영; 한수진; 노태희 한국과학교육학회지 2002, 22, 717
  14. 이주연; 김희백 한국생물교육학회지 2002, 20, 353
  15. 정영란; 손대희 한국과학교육학회 2000, 20, 611
  16. Carter, G.; Jones, M. G.; Rua, M. Science Education 2003, 87, 94 https://doi.org/10.1002/sce.10031
  17. Towns, M. H.; Kreke, K.; Fields, A. Journal of Chemical Education 2000, 77, 111 https://doi.org/10.1021/ed077p111
  18. McCroskey, L. L.; Richmond, V, P.; McCroskey, J, C. Communication Education 2002, 5, 383
  19. 노태희; 서인호; 한재영; 전경문; 차정호 한국과학교육학회지 2000, 20, 174
  20. 전평국; 이진희 한국수학교육학회지 2002, 13, 495
  21. Messman, S. J.; Jones-Corely, J. Communication Monographs 2001, 68, 184
  22. 교육부 과학과 교육과정; 대한교과서: 서울, 1999
  23. 노태희; 강훈식; 전경문 한국과학교육학회지 2005, 25, 79
  24. Boujaoude, S.; Barakat, H. School Science Review 2000, 81, 91
  25. Schmidt, H. J.; Jigeus, C. Chemistry Education 2003, 4, 305
  26. Hooper, S.; Hannafin, M. Educational Technology Research and Development 1991, 39, 27
  27. Watson, S. B.; Marshall, J. E. Journal of Research of Science Teaching 1995, 32, 291 https://doi.org/10.1002/tea.3660320308
  28. 전경문; 노태희 한국과학교육학회지 2001, 21, 289
  29. McCroskey, J. C. An introduction to rhetorical communication; Prentice-Hall: Englewood Cliffs, N. J., U. S. A., 1982
  30. McCroskey, J. C.; Beatty, M. J.; Kearney, P.; Plax, T. G. Communication Quaterly 1985, 33, 165
  31. 우규환; 노태희; 임희준 한국과학교육학회지 1995, 15, 437
  32. 전경문; 여경희; 노태희 한국과학교육학회지 2000, 20, 234
  33. Webb, N. M. Journal of Educational Psychology 1982, 74, 642 https://doi.org/10.1037/0022-0663.74.5.642
  34. Vedder, P. Cooperative Learning; Rijkuniversiteit Groningen: Netherlands, 1985
  35. 36.김은주 교육심리연구 2003, 17, 215
  36. Anzai, S.; Paik, C. M. Proceedings of the National Association of African American Studies & National Association of Hispanic and Latino Studies: Houston, TX, U. S. A., 2000