A Study of the Practicalities and Effects of Online Discussion Classes at Universities

대학 온라인 토의수업의 실제와 효과에 대한 연구

Abstract

The purpose of this study is to explore the current status and effects of online discussion classes in universities. To this end, a survey was conducted on university students attending a total of four universities in Seoul and Gyeonggi Province to diagnose their perceptions of the operation of online discussion classes and their effects. The collected data were analyzed using frequency analysis, descriptive statistical analysis, cross-analysis, F-test, T-test, and Scheffe test by applying SPSS program. As a result of the study, first, it was found that 'non-real-time recorded lessons' and 'real-time interactive video lessons' were mainly conducted at universities after the COVID19 crisis. Second, in the online class method, 'real-time interactive video class' had a positive effect on 'debate class preference' and was found to be more meaningful. Third, college students recognized participation in online discussion classes as a foundation for expanding creative thinking skills, suggesting that strengthening through smooth communication and exchanges based on learners' sufficient cognitive processes on discussion methods and procedures is more helpful.

본 연구는 현재 대학에서 진행되고 있는 온라인 토의수업의 활용 실태 및 효과에 대해 탐색하고자 하였다. 이를 위해 서울과 경기지역 총 4개 대학에 재학 중인 대학생을 대상으로 온라인 토의수업의 운영 실제와 그 효과에 관한 인식을 진단하는 설문조사를 실시하였다. 수집된 자료는 SPSS 프로그램을 적용하여 빈도분석, 기술통계분석, 교차분석, F검증, T검증, Scheffe 검증을 사용하여 분석하였다. 연구 결과, 첫째, COVID19 사태 이후 대학에서는 '비실시간 녹화수업'과 '실시간 쌍방향 화상수업' 방식이 주로 진행된 것으로 나타났다. 둘째, 온라인수업 방식에서 '실시간 쌍방향 화상수업'은 '토의수업 선호도'에 정적 영향을 주며 더 의미 있는 것으로 나타났다. 셋째, 온라인 토의수업 참여에 대해 대학생들은 창의사고능력 확대를 위한 기반으로 인식하고 있었으며, 토의방식과 절차에 대한 학습자의 충분한 인지과정을 기반으로 하는 원활한 의사소통과 교류를 통한 강화가 더 도움이 된다는 것을 시사해준다.

I. 서론

COVID19 사태 이후 정부의 사회적 거리두기 단계가 지속되면서 대학에서는 대면수업과 비대면 온라인수업이 함께 병행되고 있다. 특히 대학의 비대면 온라인수업은 준비되지 못한 상황에서 급작스럽게 시행되면서 소통 부재나 실험·실습의 어려움, 창의·협동의 결여 등 많은 교육적 문제들이 지속해서 대두되었고, 교수자와 대학생들 모두 교육적 혼란과 불안감이 고조된 상황에 이르렀다. 이에 대한 해결책으로 실시간 쌍방향 화상 수업은 대면수업과 가장 근접한 형태로 교수자 와대 학생 간 직접적이고 즉각적인 의사소통이 가능하다는 점에서 긍정적인 여론과 높은 기대감이 형성되었다.

교육부에서도 이러한 상황을 인지하고 비대면 수업으로 인한 학습격차 해소와 즉각적인 피드백 제공을 위한 대안으로 실시간 쌍방향 화상수업을 확대하고 이에 따른 지원방안을 재공표하였다. 특히 비실시간 사전 녹화방식 수업에서 가장 큰 문제로 거론되었던 즉각적인 피드백의 한계와 학습자 고립감, 그리고 학습 동기의 상실 등 당시 대두되었던 교육적 문제해결을 위해 전향한 것이다[1]. 이에 COVID19 초기에는 비실시간 사전녹화방식의 온라인수업이 대부분이었으나 점차 실시간 쌍방향 화상수업의 도입으로 함께 운영되고 있는 실정이다.

그러나 한편으로는 실시간 쌍방향 화상수업에 대해 단편적인 강의 중심으로 진행되는 경우 결국 비실시간 사전 녹화방식의 온라인수업과 큰 차이가 없으며, 교수자와 학습자 모두 실시간 소통이 지속되기 위한 네트워크의 유지 및 매체 연결에 대한 어려움 등 교육환경 구성에 대한 부정적 의견도 적지 않았다. 또한 즉각적인 질문의 어려움이나 교수자가 못 보는 상황의 존재, 학습자들이 수업하는 동안 오래 앉아있기 힘들다는 점도 거론되었다. 여기에 집중력 하락, 교수방식의 한계, 학습격차, 학습자 관리의 부실함, 교육 수용의 질과 학습량 저조 등 복합적인 문제는 여전히 이어지고 있다. 특히 최근 온라인수업에서 학습자들의 게임이나 유 튜브접속 횟수도 더욱 증가하고 있다[2]. 이로 볼 때, 온라인수업에서 드러나는 문제점은 비실시간 사전 녹화방식의 수업이나 실시간 쌍방향 화상수업 방식에 따른 차이뿐만 아니라 온라인수업에 대한 인식과 수업 과정 및 방법 등이 복합적으로 관련되어 있음을 시사하고 있다.

그동안 수업 과정에서 토의수업은 학습자의 학업성취 면에서 직접적이고 자발적인 학습활동 과정으로 피드백의 기회를 제공하며, 개념 개발과 문제해결 능력을 기르는 데 효과적인 방법으로 권장되어왔다[3]. 이러한 면에서 토의수업은 대학 온라인수업에서 드러났던 수업집중력 및 소통 등 다양한 문제해결을 위한 방법 적대 안으로 모색될 수 있다. 따라서 온라인수업에서도 그동안 제안되었던 토의수업이 지속해서 권장되고 적극적으로 시행되어야 함에도 기존에 그나마 유지되던 토의기반 교수법의 적용과 활용은 온라인 매체 사용의 어려움이나 온라인수업 기반에 적합하지 않은 상황의 존재 등 적극적으로 활용되지 못하고 있다.

대학 온라인수업 상황과 특성을 반영한 적극적이고 원활한 토의수업이 실시되기 위해서는 대학 온라인 토의수업과 학습자에 대한 이해, 온라인 토의수업의 여건 형성 및 실시과정, 그리고 온라인 토의수업에 따른 역량에 대해 인식하고 적용할 수 있도록 다각도의 연구가 제공되어야 한다. 또한 교수자의 수업방식과 접근에 대한 인식적 차이도 학습자의 교육격차로 이어지게 된다. 따라서 온라인 토의수업의 적용과 적합한 반영 및 진행을 위해서는 대학 온라인 토의수업의 현 실정과 효과에 대해 살펴볼 필요가 있다.

그동안 토의수업에 대한 선행연구는 대부분 대면 수업에서 이루어지는 연구가 진행되었으며, 대학 온라인토의 수업에 관한 연구는 거의 없는 실정이다. 대학에서 실시된 토의수업 연구는 수업 컨설팅 및 교수자 중심수행의 연구였으며[4][5], 온라인수업과 관련해서는 원격대학 강좌 대상의 제한적 연구가 대부분이었다[6][7]. 이로 볼 때 현재 대학 온라인수업은 여전히 진행 중이며, 따라서 대학 온라인 토의수업에 대한 적용과 활용실태, 학습자 참여 인식, 토의수업 방식에 따른 효과에 관한 연구가 매우 시급함을 시사한다.

대학에서는 그동안 기존 대면수업 개선을 위한 수업 방법으로 토의수업을 모색하고, 이에 대한 다양한 체계개발과 더불어 변화를 추구했다. 그러나 온라인수업의 전환으로 인하여 대면수업에서 적용되었던 토의기반 수업방식은 단편적인 절차와 방법을 적용하는 수준으로 도태되거나 머물러 있으며, 온라인수업을 보완하는 정도로 활용되고 있는 것이 현실이다. 이에 대학 온라인수업의 한계를 넘는 다방면의 토의전략, 교수법 등 토의 수업에 관한 연구는 시급한 실정이다.

COVID19 상황으로 교육의 패러다임은 자연스럽게 유비쿼터스(ubiquitous) 시대로 전환되고 있다. 이러한 상황에서 미래지향적이고 다각도적인 관점으로 학습권을 보장하고 미래 교육환경에 대한 선제 대응이 가능한 방법으로 대학 온라인 토의수업은 더욱 중요해졌다. 따라서 이 연구에서는 대학 온라인 토의수업의 적용과 활용, 학습자 인식 등 온라인 토의수업 방식에 따른 실제와 효과성을 중점으로 진단하는 데 목적을 두었다. 이를 기반으로 대학에서 적용될 수 있는 온라인 토의 수업의 방안 및 개선 요건에 대한 효과적인 시사점을 제공하는 데 의의가 있다.

이에 이 연구의 목적을 달성하기 위한 연구문제는 다음과 같이 설정하였다.

연구문제 1: 대학 온라인 토의수업의 적용과 활용 실태는 어떠한가?

연구문제 2: 대학 온라인 토의수업에 참여한 대학생들의 인식에 따른 효과는 어떠한가?

Ⅱ. 이론적 배경

1. 대학 온라인 토의수업의 의미와 실제

최근 COVID19에 따른 온라인수업으로 학생들의 학습격차는 매우 커졌고 심각한 것으로 나타나고 있다[8]. 이에 온라인수업 확대로 인한 학생들의 사회성 함양의 어려움과 학력격차 심화에 대해 우려를 표명하고, 온라인수업에 대한 개별 학생에 관한 관심과 이해 및 소통 그리고 다양한 활동을 소개·연결하는 중요성이 강조되고 있다[9]. 현재 온라인수업은 소통부재, 학습 및 정서 격차, 피드백 한계, 학습 환경변화에 대한 적응력 차이, 과제증가, 질 높은 원격교육 콘텐츠 부족 등 여러 문제가 거론되고 있다. 또한 최근 온라인수업의 전환으로 학습자들은 어렵거나 의문점이 생긴 경우 혼자 해결하거나 그냥 넘어가는 경우도 많아졌다.

교육부에서는 2020년 9월 9일 제15차 포용국가 실현을 위한 사회관계 장관회의에서 포스트 코로나(post corona) 시대 미래교육 전환을 위한 대학의 혁신 지원방안을 발표하였다. 여기에서 대학생들의 학습권 강화, 수업의 질 향상, 교수법 향상의 동기부여 및 교수법 개선의 기회 부여 등 안정적인 온라인수업의 기반과 참여·소통하는 교육서비스 지원으로 미래 교육기반을 조성할 수 있도록 하였다[10]. 이에 따라 대학에서도 온라인수업을 위한 인프라 구축 및 교육콘텐츠 개발 등 지속적인 지원이 진행 중이다.

그러나 대학생들은 여전히 온라인수업이 집중도, 학습효과가 떨어진다는 인식이 지금까지도 강하게 작용하고 있다. 온라인수업에서 의사소통의 부재 및 제약, 교수자의 오래된 강의활용, 단순한 지식전달 중심의 교수-학습 방법, 학습자 간 학습격차, 디지털 장비 문제 등 문제해결을 위한 개선 요구가 지속되고 있다. 또한 온라인 학습 플랫폼의 기능 개선, 적합한 수업자료, 상호작용 확대, 실시간 쌍방향 원격수업의 확대 등도 강조되고 있다[8]. 이에 대학 교수자들도 온라인 콘텐츠의 학습자 간 상호작용 촉진, 흥미와 동기유발, 최신 경향반영 등을 개선 여건으로 제시하였다[11]. 이렇듯 대학 온라인수업에서 교수자와 학습자 간 상호작용과 소통, 학습격차 해소를 위한 문제해결에 많은 도움이 되는 토의 수업은 방법적 대안으로 많은 의미가 있으며, 그러므로 대학 온라인수업에서 적극적인 토의활용과 적용이 중요하다[8].

대학에서는 미래지향적 지식, 기술, 태도, 가치 등 창의 융합형 인재 양성을 목적으로 인지적, 사회적, 정의적인 면의 다양한 역량기반을 중심으로 하는 온라인 토의 수업이 요구된다. 따라서 대학 온라인 토의 수업에서 이러한 역량을 기를 수 있도록 수업 전 온라인 비대면으로 토의수업의 기초적인 부분이나 토의방법에 대해 충분히 안내되어야 한다. 신혜리와 심형순[12]의 연구에서도 수업 전 온라인 비대면으로 수업에서 이루어지는 기초적인 부분이나 토의를 위한 학습방법에 대한 충분한 안내와 설명을 한 경우 학습만족도가 높게 나타났다. 이렇듯 대학 온라인 토의수업 특성상 학습자들의 부족한 부분에 대해 교수자와 다른 학습자들이 함께 원활한 환경에서 서로 돕고 자신만의 도식을 재구성하여 의식적인 정보처리 과정으로 연계된 궁극적인 토의학습이 이어질 수 있도록 적절한 토의방법과 실행과정이 설정되어야 한다[13].

현재 대학 온라인 토의수업은 실시간 쌍방향 화상 수업의 경우 Google Meet, Zoom, YouTube, Cisco Webex, MS Teams 등의 화상프로그램을 활용하여 즉각적으로 수업을 실시하거나 비실시간 사전 녹화방식에서는 대학 사이버 캠퍼스(cyber campus), 이러닝 시스템(e-Learning system), 학습 관리 시스템(LMS; Learning Management system) 등을 연계한 부가학습으로 진행되고 있다. 실시간 쌍방향 화상 수업에서는 교수자와 학습자, 학습자 간 활발한 상호작용이 가능하기에 참여자 간 즉각적인 토의를 실시하고, 이에 대한 피드백을 제공하는 등의 토의수업이 주로 진행되고 있다[14]. 반면에 비실시간 사전 녹화방식의 수업은 실시간 쌍방향 화상수업보다는 토의기반 교수법을 진행하기에 더 제한적인 어려움이 존재하며, 이에 학습관리시스템(LMS)을 연계한 토의 게시판의 활용이나 이메일 제출 등 문서 활용 형태의 토의가 중심이 되고 있다. 그동안 대학 토의수업은 학습자 중심의 능동적인 참여를 주도하는 구성주의 관점을 지속해서 권장해 왔다. 이에 대학 온라인 토의수업에서도 여전히 동일한 토의 수업방식을 활용하고 있으나 원활한 진행에 많은 어려움을 겪고 있는 실정이다.

대학 온라인수업의 토의 적용은 대학생들에게 정확히 알지 못했던 사실이나 개념, 원리 등에 대한 문제해결과 피드백 제공이 가능하다. 그러므로 현존하고 있는 대학 온라인 토의수업 기반과 현황에 대한 이해는 토의 수업의 원활한 진행과 적극 활용으로 나아가 수업의 효과성을 높이게 된다. 따라서 대학 온라인 토의 수업에 대한 구체적인 분석이 기본적으로 이루어져야 하며, 이를 바탕으로 대학 온라인 토의수업이 적합하고 적절하게 활용될 수 있도록 해야 한다.

2. 대학 온라인 토의수업의 효과

토의수업은 학습에서 학습자의 관계적 사고 향상에 도움이 된다[15]. 토의과정을 통해 학습자들은 의견 발표 및 타인 의견에 대한 경청으로 서로 존중하는 의사 교환을 하게 된다[3]. 또한 다양한 문제해결을 위해 의견을 교환하고 논의하며, 공동의 문제에 대한 유사점과 차이점을 살피고 상의하여 해결하는 협동적인 의사소통을 가능하게 한다[16][17]. 이렇듯 토의수업은 문제해결 및 함께 참여하는 과정을 통해 자신과 타인의 권리를 존중하게 하며, 궁극적이고 바람직한 민주시민 양성에 필요한 책임, 존중, 협동심을 기르는 데 긍정적인 영향을 미친다[18]. 따라서 대학에서 온라인수업의 토의활용은 교수자와 대학생 간 상호작용을 통한 올바른 가치관 형성으로 직면한 문제를 바람직한 방향으로 해결할 수 있도록 도와준다.

토의수업은 학습자 중심 진행으로 의사소통능력, 논리 및 비판적 사고력, 창의적 문제해결력을 향상시킨다 [19]. 토의수업을 통해 학습자들 간의 관계나 학습자와 교수자의 관계에서 다양한 정보 습득이 가능하며, 아이디어나 의견 등을 서로 교류하는 과정을 거치면서 자기 주도적인 문제해결 능력을 기를 수 있게 한다[20]. 이렇듯 대학 온라인수업에서 토의과정은 학습자 중심의 구성과 진행으로 대학생들의 역량과 수업 효과를 높일 수 있다.

대학 온라인수업에서 토의활용은 대학생들의 고차원적 사고의 함양, 사회적 기능과 태도의 형성, 집단의식과 공유능력의 향상, 토의 구성원의 비판적인 탐색에 의한 선입견과 편견의 수정, 자율성 향상, 흥미와 가치개발 등에 효과가 있다[20][21]. 이에 대학 온라인 토의 수업은 대학생들에게 깊이 있는 이해력, 종합적 사고력, 분석 및 평가력 등 수준 높은 지적 능력을 향상시킬 수 있다. 또한 대학 온라인 토의수업은 학생들의 상호작용 및 교류를 통해 다양한 사고 형성을 가능하게 하여 창의적인 인간 형성에 이르는 과정으로 나아갈 수 있게 한다.

대학 온라인수업에서 토의과정은 미래사회에 대응하기 위한 학습자의 자기 주도적인 역량을 강화하고, 토의과정에서 공동체 및 사회문제에 책임감을 가질 수 있게 한다. 토의수업은 학습자의 팀활동에 대한 책무성으로 능동적인 참여를 가능하게 하고, 다양한 사고 기회의 제공 및 집단 내 자신의 의견제시를 통해 발표력과 자신감이 향상된다[22]. 또한 특정 목적 달성을 위한 언어적, 비언어적 방법의 사용으로 상호작용적인 의사소통을 가능하게 하여 학습자의 자기정체성과 자기효능감을 증진시킨다[23]. 이렇듯 대학 온라인 토의 수업도 학생들에게 지식형성, 의사소통, 협업, 대인관계, 의견조율, 통합적 사고능력 등 사회성 및 문제해결 능력의 향상으로 자기 주도적 역량을 강화할 수 있다. 그러므로 미래 인재 역량 강화를 위한 고등교육을 목적으로 하는 대학에서 온라인 토의수업은 반드시 필요한 과정이다.

이렇듯 대학 온라인수업은 교수자와 학습자들 간 의사소통의 부재, 학습격차, 창의사고능력 확대를 위한 기회 제공 등의 문제해결과 더불어 미래 인재역량 강화를 위한 전략적 대안으로 토의수업의 활용은 더욱 중요하다. 대학 온라인 토의수업은 대학생들의 상호작용을 통해 폭넓은 사고를 구성하는 중심 기재가 될 수 있다. 그러므로 대학 온라인수업의 한계를 극복하고 다양한 경험 기회의 확대로 대학생들의 흥미와 높은 관심을 통해 적극적이고 자발적인 참여로 수업의 효과를 높여야 한다.

토의수업은 대학 온라인수업에서 대학생들과 상호작용을 통한 교류로 서로 간의 질문과 응답이 원활하게 이루어지도록 할 수 있으며, 충분한 피드백을 적용하는 것이 가능하다. 따라서 현재 온라인수업에서 대두되었던 소통부재와 학습격차 원인을 해결할 수 있기에 토의 수업의 적용과 활용은 그만큼 중요하다. 대학 온라인토의 수업이 적극적으로 활용되기 위해서는 사전에 효과적이고 체계적인 토의과정에 대한 수업설계가 요구된다. 이를 통해 대학 온라인 토의수업은 무엇보다 기존의 대면 토의수업이 가지고 있는 한계를 벗어나 온라인이 가진 시공간의 제약성을 극복할 수 있는 활발한 토의 활동으로 교육적 효과성을 충분히 발휘할 수 있다.

대학 온라인 토의수업은 디지털 매체와 인프라를 기반으로 교수자의 매체 활용 능력과 수용 역량이 기본적으로 요구되며, 토의수업 활용과 수업 혁신에 대한 인식이 강화되어야 한다. 대학 온라인 토의수업은 활용 매체나 인프라에 따라 토의수업 방식이나 내용, 형태 등 추구하는 방향성이 달라질 수 있으며, 토의과정과 유형 또한 다르게 적용될 수 있다. 따라서 이전의 웹-기반 토의수업의 의미를 벗어나 포스트 코로나로 인한 비대면(UN-contact) 시대에 맞는 대학 온라인 토의 수업의 적용이 요구된다. 이한샘과 서은희[24]의 연구에서도 수업만족도는 소집단 형태가 모든 수업 유형에서 높게 났기에 온라인에서 이루어지는 원격화상수업도 소규모로 운영하는 것을 권유하고 있다. 이렇듯 대학 온라인 토의수업의 적용에 있어서 매체의 접근 방식이나 플랫폼 등에 따라서도 토의수업의 효과가 달라질 수 있다는 점도 고려되어야 한다.

대학 온라인 토의수업은 자유로운 분위기 속에서 학습에 대한 욕구가 강화될 수 있고 또한 동료들 간에 상호 작용적인 기회를 제공하여 학습동기를 유발할 수 있다[3]. 그러나 한편으로는 대학생들이 소집단 내에서나 전체적으로 자신의 생각을 표현하는데 소극적인 경향에 이를 수 있다[25]. 또한 대학 온라인 토의수업 과정에서 대학생들에게 사회적 태만도 생길 수 있다. 백영균 외[21]는 토의에서 학습자가 타인의 토의에 방관자적인 태도를 취하거나 학습자 스스로 내성적 성향을 지녔을 경우 토의 참여에 있어 어려움을 겪는다고 하였다.

그러므로 대학 온라인 토의수업에서는 교육환경을 고려한 전략적 방법을 모색해 나가야 한다. 온라인 토의 수업에 영향을 주는 대학의 교육환경 요인으로 소집단 내 대학 평가체제, 보상구조, 집단 크기, 수업시간, 집단 내 이질성 등이 있다[26]. 이러한 점을 고려하여 학습자 간 능동적인 토의과정으로 참여 가능한 원활한 교류의 장을 구성하여 효과적인 토의가 진행되도록 해야 한다.

대학 온라인 토의수업도 온라인이라는 특수 상황을 고려하고 다양한 대학생들의 성향을 파악하여 진정한 상호작용으로 실제 적용될 수 있는 효과적인 교수전략이 필요하다. 이러한 대학 온라인 토의수업이 실제 적용되기 위해서는 교수자의 토의수업에 대한 의지 및 긍정적 인식 등 교수자 역량도 중요하게 작용한다. 현재 대학 교수자들도 대부분의 온라인수업이 교수자의 내용 전달 중심으로 진행되는 데 따른 한계점을 극복하기 위해 학생 중심의 토의수업에 대한 방법이 개발되고 공유되어야 함을 인지하고는 있다. 그러나 여기서 나아가 교수자들도 대학 온라인 토의수업에서 대학생들과 의사소통의 채널을 마련하고 적극적이고 주도적인 참여를 촉진하는 수업 설계 및 기술지원으로 독자적인 수업 방법을 위한 연구와 노력이 절대적으로 요구된다[27].

대학에서 효과적인 온라인 토의수업이 진행되기 위해서는 최상의 운영전략 모색으로 온라인 토의 수업의 모형 개발, 적용과정 및 절차, 학습자 역량, 토의방법 등온라인 토의수업에 관한 지속적 연구와 관리가 이루어져야 한다. 이를 위해서는 대학 온라인 토의수업에 대한 대학생들의 흥미도, 만족도, 이해도, 참여도, 그리고 집중도 등 다양한 토의수업 효과에 대한 이해와 수준을 구체적으로 살펴볼 필요가 있다. 이를 바탕으로 대학 온라인 토의수업에 대한 인식 개선, 적극적인 참여 확산 및 활동 전개, 전공계열과 학습시스템에 따른 적용 가능한 적합한 토의과정의 설계 및 개발 등 체계적인 개선과 노력으로 확장될 수 있다.

Ⅲ. 연구방법

1. 연구대상 및 연구도구

본 연구는 대학 온라인 토의수업의 실제와 효과에 대한 연구를 위해 현재 수도권 지역(서울, 경기) 총 4개 대학에 재학 중인 대학생을 대상으로 설문조사를 실시하였다. 대학의 인문사회, 자연공학, 예체능, 사범계열에 재학 중인 대학생을 연구대상으로 선정하였으며, 교양 교과, 교직교과 및 전공교과 수업에서 시행 중인 온라인 토의수업의 활용 실태와 적용에 대한 인식 및 효과 등에 대해 살펴보았다. 연구대상은 현재 대학에서 온라인수업을 시행하고 있는 재학생을 대상으로 편의 표집(convenience sampling) 하였으며, 최종 240명의 응답을 분석하였다.

표 1. 설문 구성 및 영역

이 연구에서는 대학 온라인 토의수업 활용과 적용에 대한 실태 그리고 효과에 대해 구체적으로 알아보기 위해 선행연구 및 박혜진[28]과 김윤정 등[29]의 측정 도구를 토대로 총 31문항의 설문지를 재구성하였다. 설문지는 교육학 교수 2인에게 먼저 자문을 구하고 설문 문항을 수정·보완한 후 재검토 과정을 거쳐 내용 타당도를 검증하였다.

설문지는 신뢰도 계수는 Cronbach α= .7 이상인 경우 연구에 사용하기에 적합한 측정도구로[30], 본 연구 설문문항의 내적 합치도 검정 결과도 Cronbach α = .870 이상을 만족하여 사용하기에 적합하였다.

2. 자료 수집 및 분석

본 연구의 자료 수집은 문헌연구 및 대학 재학생을 대상으로 설문을 실시하였다. 먼저 구성된 설문 문항에 대해서는 관련 전문가인 교육학 교수 2인의 내용 타당도를 확보하여 수정·보완하여 사용하였다. 대학생들의 온라인 토의수업에 대한 활용과 적용에 대한 실제 및 효과에 대한 측정은 온·오프라인 설문을 동시에 활용하여 시행할 수 있도록 구성하였다. 온라인 설문의 경우는 구글 설문지를 활용하여 링크를 연계하도록 배부되었다. 온·오프라인 설문조사 기간은 모두 2020년 11월 6일부터 2020년 12월 5일까지 총 4주간에 걸쳐서 실시되었다. 온·오프라인으로 배부된 설문지는 온라인 65 부, 오프라인 196부로 총 261부가 회수되었다. 이 중에서 설문에 성실하게 응답하지 않은 21부를 제외한 총 240부를 최종적으로 활용하여 분석에 사용하였다.

수집된 자료 분석은 Windows용 SPSS 21.0 프로그램으로 분석하였다. 연구대상자의 특성, 온라인 토의 수업 활용과 적용, 온라인 토의수업에 대한 효과 등을 비교해보기 위해서 빈도분석, 기술통계분석, 교차분석, T검증, F검증, Scheffe 검증을 실시하였다.

IV. 연구결과

1. 인구 통계학적 특성

본 연구대상의 인구 통계학적 특성은 다음 [표 2] 와같다. 성별은 남자 94명(39.20%), 여자 146명 (60.80%)으로 여성이 많았다. 연령별로는 20세 이하가 109명(45.40%)으로 가장 많았으며, 다음으로 24세 이상이 47명(19.50%), 21세 33명(13.80%), 22세 27명 (11.30%), 23세 24명(10.00%)의 순이였다. 학년별로는 2학년이 109명(45.50%)으로 가장 많았으며, 다음으로 3학년 56명(23.30%), 1학년 50명(20.80%), 4학년 25명(10.40%)의 순으로 나타났다. 전공계열별로는 사범계열 152명(63.30%), 인문사회계열 35명(14.60%), 예체능계열 31명(12.90%), 자연공학계열 22명(9.20%) 의 순으로 나타났다.

표 2. 인구 통계학적 특성

2. 대학 온라인 토의수업의 실제

대학 온라인 토의수업의 실제는 다음과 같은 결과로 나타났다. COVID19 이후 총 4개 대학에 재학 중인 학생들의 수강 교과에서 온라인 토의수업의 활용 비중은 ‘20% 이하’(30.00%)가 가장 많았고, 다음으로 ‘20%∼ 40%’(20.80%)로 나타났다. 계열별로 살펴보면 인문사회계열에서는 수강 교과목 중 ‘80%∼100%’(5.00%)가 가장 많았으며, 자연공학계열에서는 ‘20% 이하’(5.00%) 가, 예체능계열(3.80%)과 사범계열(19.20%)에서는 ‘20%∼40%’가 가장 많았다(p<.001, χ²=52.440).

표 3. 온라인 토의수업 활용도 및 선호강좌

*p<.05, ***p<.001

수강 교과에서 토의수업에 대한 선호도는 ‘전공 교과’(56.30%)가 가장 많았으며, 다음으로 ‘교직’(18.80%), ‘교양’(10.40%)의 순이었다. 전공계열에서 수강 교과에 대한 선호도에 유의한 차이가 있었는데, 전체 수강 교과와 동일한 순으로 나타났다. 그러나 예체능 계열에서는 ‘교직’(0.80%)보다 ‘교양’(2.90%)이 더 높은 순이었다(p<.05, χ²=25.870).

온라인 토의수업은 ‘실시간 쌍방향 화상수업’(78.3%) 에서 가장 많이 이루어지고 있었으며, 다음으로 ‘비실시간 사전 녹화방식 수업’(20.10%)이었다. 그 밖에 수업 외 시간을 활용하여 따로 모임을 통한 토의수업 형태였다. 대학생들의 온라인 토의수업 선호유형도 ‘실시간 쌍방향 화상수업’(76.70%)이 가장 많았다.

표 4. 온라인 토의수업 형태 및 선호유형

온라인 토의수업의 선호방식은 ‘LMS 활용’의 경우 ‘보통이다’(44.20%)가 가장 많았으며, ‘실시간 화상 토의’의 경우 ‘그렇다’(40.40%)가 가장 많았다.

표 5. 온라인 토의수업 선호방식

온라인 토의수업의 참여도를 살펴보면 토의수업 진행에 적극적으로 참여한 대학생들은 206명(85.80%)이었으며, 34명(14.20%)이 적극적으로 참여하지 않았다고 하였다. 온라인 토의수업에 적극적으로 참여하게 되는 경우는 ‘타인의견 통한 많은 배움’(28.30%)이 가장 많았으며, 다음으로 ‘수업에서 강제시행’(25.80%), ‘학점을 잘 받기 위함’(24.20%)의 순이었다. 기타 의견으로는 ‘여러 관점과 의견을 나눌 수 있어서’, ‘원활한 토의 진행을 위해서’, ‘내 의견을 밝히기 위해서’ 등이었다. 온라인 토의수업에 적극적으로 참여하지 않는 이유는 ‘원격수업 상 의사소통의 어려움’(33.30%)이 가장 많았으며. 다음으로 ‘토의 자체의 어려움’(24.20%)이었다. 기타 의견으로는 ‘부담감’, ‘어색해서’, ‘구성원이 화면을 켜지 않은 경우’, ‘다른 구성원이 적극적으로 참여하지 않는 경우’ 등이 있었다.

표 6. 온라인 토의수업의 참여 정도

3. 온라인 토의수업의 효과

온라인 토의수업의 효과로 온라인 토의수업의 방식에 따른 역량은 다음과 같이 나타났다. ‘LMS 활용’과 ‘실시간 화상토의’ 방식은 ‘지식형성능력’(t=-.5.638, p<.001), ‘문제해결능력’(t=-6.687, p<.001), ‘의사소통 능력’(t=-9.264, p<.001), ‘협업능력’(t=-8.437, p<.001), ‘대인관계능력’(t=-9.526, p<.001)에서 모두 유의한 차이가 있었으며, 모두 ‘실시간 화상토의’의 경우가 더 높았다.

표 7. 온라인 토의수업 방식에 따른 역량

*p<.05, **p<.01, ***p<.001

전공계열에 대한 차이를 분석한 결과에서는 ‘LMS 활용’의 경우에는 ‘협업능력’(F=3.816, p<.05)과 ‘대인관계 능력’(F=3.161, p<.05)’에서 유의한 차이가 있었는데, ‘협업능력’은 사범계열이 3.38(.969)로 가장 높았으며, ‘대인관계능력’은 예체능계열이 3.13(.922)으로 가장 높았다. ‘실시간 화상토의’에서는 ‘협업능력’(F=3.912, p<.01)에서 유의한 차이가 있었으며, 인문사회계열이 3.94(1.110)로 가장 높았다.

표 8. 온라인 토의수업 방식의 계열별 역량

*p<.05, **p<.01

온라인 토의수업 방식에 따른 수업 효과는 ‘LMS 활용’과 ‘실시간 화상토의’는 ‘수업흥미도’(t=-6.914, p<.001), ‘수업만족도’(t=-4.716, p<.001), ‘수업이해도’(t=-4.255, p<.001), ‘수업참여도’(t=-7.182, p<.001), ‘수업집중도’(t=-8.278, p<.001)에서 모두 유의한 차이가 있었으며, ‘실시간 화상토의’의 경우가 더 높게 나타났다.

표 9. 온라인 토의수업 방식에 따른 수업 효과

***p<.001

계열별 차이를 분석한 결과 ‘LMS 활용’에서는 유의한 차이가 없었고, ‘실시간 화상토의’의 경우 ‘수업이해도’(F=3.380, p<.05)와 ‘수업참여도’(F=3.990, p<.01) 에서 유의한 차이가 있었다. 사범계열에서 가장 높은 항목은 ‘수업이해도’ 3.75(.855)와 ‘수업참여도’ 3.95(.848)였다. Scheffe의 사후분석 결과에서는 ‘실시간 화상토의’의 ‘수업이해도’ 항목에서 사범계열(3.79) 과 인문사회계열(3.74)이 자연공학계열(3, 14)보다 높게 나타났다.

표 10. 온라인 토의수업 방식의 계열별 수업 효과

*p<.05, **p<.01, ***p<.001, †: Scheffe’s test

‘LMS 활용’과 ‘실시간 화상토의’에서 학습자가 인식한 온라인 토의수업에 대한 어려움의 동의 정도는 ‘질문과 피드백의 어려움’(t=8.976, p<.001), ‘토의 수업의 익숙하지 않음’(t=3.337, p<.01), ‘자기의견에 대한 두려움’(t=-4.615, p<.001), ‘온라인 끊김의 지장’(t=-2.787, p<.01), ‘수업집중력 저조’(t=4.813, p<.001), ‘토의 중 긴장감 저조’(t=7.796, p<.001)에서 유의한 차이가 있었다. ‘LMS 활용’이 높게 나타난 항목은 ‘질문과 피드백의 어려움’ 3.30(1.003), ‘토의수업의 익숙함 저조’ 3.26(1.003), ‘수업집중력 저조’ 3.13(1.014), ‘토의 중 긴장감 저조’ 3.31(1.066)이었다. 반면에 ‘실시간 화상 수업’이 더 높게 나타난 항목은 ‘자기의견에 대한 두려움’ 3.20(1.114)과 ‘온라인 끊김의 지장’ 3.50(1.241)이었다.

표 11. 온라인 토의수업 어려움의 동의 정도

**p<.01, ***p<.001

V. 논의 및 결론

본 연구는 온라인 토의수업의 활용 실태와 토의 수업에 따른 효과에 관해 살펴보고자 하였다. 이를 위해 2020년도 2학기 서울과 경기지역 총 4개 대학의 재학생을 대상으로 설문조사를 실시하여 분석하였다. 본 연구에서 도출된 연구결과를 중심으로 요약하여 논의하면 다음과 같다.

첫째, COVID19 이후 대학 전체 수강 교과에서 온라인 토의수업의 활용은 저조한 상태였다. 비록 COVID19 이후 급격하게 이루어진 온라인수업이었지만 온라인 토의수업의 활용 비중은 현저히 낮고, 잘 이루어지지 않고 있었다. 수강 교과에서 온라인 토의 수업을 활용하는 비중은 ‘20% 이하’(30.00%)가 가장 많았으며, 다음으로는 ‘20%∼40%’(20.80%)로 나타났다. 또한 대학생들의 수강 교과에서 온라인 토의수업 활용에 대한 연구결과를 구체적으로 살펴보면 ‘없음’(14.20%) 과 ‘20% 이하’(30.00%)의 누적 비율만도 44.20%에 이른다. 이는 전체교과에서 토의수업을 활용하는 교과 비중이 과반수도 안된다는 것을 의미하고 있으며, 따라서 대학 온라인 토의수업은 전체적으로 잘 이루어지지 않고 있음을 의미하고 있다. 권해연[31]은 토의수업은 특정한 주제나 문제점에 대해 자신의 의견과 아이디어를 자유롭게 제시하기에 현대사회에서 필요한 의견제시와 더불어 상대방의 의견을 경청하는 포용력이 함께 존재하는 대화법이라 하였다. 이렇듯 토의수업은 COVID19 상황에서 미흡한 대학 온라인수업의 보완뿐만 아니라 인재 양성을 위한 미래사회 적응과 역량 확대를 위해 더욱 필연적인 과정이다. 또한 대학생들의 온라인 토의 수업에 대한 선호도 전공교과(56.30%)에 편중된 만큼 폭넓은 교과 영역에서 온라인 토의수업에 대한 역량 강화가 보편적으로 이루어져야 함을 시사하고 있다. 이렇듯 대학 온라인 토의수업은 대학생들의 역량 강화에 반드시 필요한 과정이지만 교과학습 과정에서 기본적으로 토의 기회가 제공되지 않으면 의미가 없다. 이러한 온라인 토의수업의 기회 제공을 위해서는 기본적으로 플랫폼 활용이 가능한 기술적 기반이 먼저 마련되어 있어야 한다. 그러나 아직은 급작스러운 COVID19 상황에서 대학에서 이러한 토의환경에 적합한 기술적 기반은 충분히 제공되고 있지 않음을 시사하고 있다. 또한 교수자와 학생들도 기술적 활용 능력을 갖추고 있어야 토의 수업이 원활하게 진행될 수 있으나 이에 대한 교육이나 습득 능력은 아직 부족한 상황인 것을 나타내고 있다. 따라서 대학에서는 온라인 토의수업의 활성화를 위해서 먼저 온라인 토의수업 환경에 적합한 기술적 연계 및 교육적 지원이 이루어져야 하며, 이를 바탕으로 수업의 질을 더욱 향상시켜 나가야 한다.

둘째, 온라인 환경기반에서 이루어지는 토의 수업에 대해 대학생들은 대부분 적극적인 참여 인식과 태도를 보이고 있었다. 온라인이라는 특수한 환경기반에서 접근하는 토의수업이지만 대학생들의 토의수업 참여 인식은 오프라인에서 이루어지는 토의수업과 비교하여 변화적 양상 없이 모두 긍정적인 인식과 태도를 유지하고 있다. 김윤정 외[29] 연구에서도 대학생들이 토의기반 수업 진행에서 가장 중요한 요인으로 인식한 것은 능동적인 참여였으며, 오프라인 토의수업 연구 결과에서도 실제 참여 인식이 높게 나타났다. 이는 서로 다른 환경기반에서 이루어지는 토의수업이라도 대학생들의 사전 참여 인식에는 차이가 없다는 점을 시사하고 있다. 장경원[32]은 비판적 사고력과 문제해결능력, 협동능력, 적응력 등의 역량개발은 교수학습과정에서 학습자의 적극적인 참여를 통해 개발될 수 있다고 하였다. 이렇듯 대학 온라인 토의수업에서도 대학생들의 능동적인 참여 인식이 지속해서 유지될 수 있으며, 이러한 적극적인 참여가 지속되기 위해서는 온라인 토의 수업을 적극적으로 권장하는 분위기를 조성해야 하며 더불어 교수자의 참여 인식도 중요하게 작용함을 시사한다. 한편 대학생들이 온라인 토의수업에서 적극적으로 참여하게 되는 것은 ‘타인의견을 통한 배움(28.30%)’도 있었지만 ‘수업에서 강제시행(25.80%)’이나 ‘학점 잘 받기 위함(24.20)’이 서로 비슷한 비율로 나타나고 있는 만큼 이는 대학생들이 토의수업에 대한 진정한 의미를 이해하기보다 수업에서 시행되는 교수자의 수동적인 지침에 따른 학습 결과로도 해석될 수 있다. 또한 대학생들이 적극적으로 참여하지 않게 되는 경우가 ‘원격수업상 의사소통의 어려움’(33.30%)과 ‘토의 자체의 어려움’(24.20%)으로 제시되었다. 여기에서 대학 온라인 토의 수업은 플랫폼을 매개체로 활용하여 진행되기에 토의 수업에서 사용되는 플랫폼의 구성과 접근성에 있어 대학생들이 토의 참여에 대해 매우 불편함을 느끼고 있다는 것을 나타낸다. 따라서 온라인 토의수업에서 원활한 의사소통이 가능한 적절한 환경구성으로 토의 수업의 적극적인 참여가 가능하게 해야 한다. 또한 대학생들에게 온라인 토의수업의 진정한 의미를 먼저 이해시키고, 수업과 연계되는 다양한 토의방법의 시도로 실제적 도움이 되는 토의수업의 실현과 실천으로 이어지도록 하는 수업과정의 구성이 중요하다.

셋째, 대학 온라인 토의수업은 직접적인 의사소통으로 의견을 제시하고 경청하도록 하는 토의과정이 대학생들에게 더 효과가 있다. ‘실시간 쌍방향 화상 수업’(78.30%)의 경우가 토의활용 비중이 더 높으며, 이는 교수자들도 토의수업 진행에 더 원활한 환경 조건이 형성되어있다는 것을 내포한다. 또한 대학생들도 ‘실시간 쌍방향 화상수업’(88.00%)에서 진행되는 토의 수업을 더 선호하는 만큼 교수자와 대학생 모두 원활한 토의과정과 진행에 대한 긍정적 인식의 결과라 할 수 있다. 이렇듯 대학 온라인 토의수업의 적절한 환경구성은 원활한 토의과정으로 인하여 긍정적 인식 형성과 선호도에 영향을 주게 된 것으로 볼 수 있다. 또한 대학 온라인 토의수업 방식에서 ‘지식형성’, ‘문제해결’, ‘의사소통’, ‘협업’, ‘대인관계능력’에 대한 역량과 ‘수업흥미도’, ‘수업만족도’, ‘수업이해도’, ‘수업참여도’, ‘수업집중도’에 대한 효과는 모두 ‘실시간 화상토의’에서 높게 나타났다. 이렇듯 대학 온라인 토의수업은 실시간 쌍방향 화상 수업에서‘실시간 화상토의가 이루어지는 경우 더 폭넓게 강화될 수 있다.

넷째, 대학생들이 인식한 온라인 토의수업의 어려운 정도는 토의수업의 접근 방식에 따라 달라진다. ‘LMS 활용’의 경우 ‘질문과 피드백’, ‘수업집중력’, ‘토의에 대한 긴장감’ 등이 거론되었고, 실시간 화상토의에서는 ‘자기의견에 대한 두려움’이나 ‘온라인 끊김의 지장’ 등을 제시하고 있다. 즉 ‘LMS 활용’의 경우 토의 진행에 있어 대학생들의 소통 단절 측면의 어려움이 강하며, ‘실시간 화상토의’에서는 즉각적인 실행에서 오는 토의과정의 어려움으로 서로 간 차이를 나타내고 있다. 임선애[33]는 토의방식의 활용은 수업의 역동성과 과정 평가적인 변화로 나타나며, 이에 토의수업에서 강조되어야 할 점은 문제적 상황 속에서 의사결정을 하기 위해 타협하고 조절하며 협동적으로 사고하게 하는 것으로 학생이 지식 구성과 활용의 주체가 되어야 한다고 하였다. 임화경 등[34]도 토의수업은 학습자의 다양한 관점과 시각, 사고의 유연성, 문제해결력, 협동력, 창의력, 의사소통력 등을 관찰하고 신장시키는 것에 중점을 두고 목표 달성을 위해서 교수자는 학습활동에 적합한 학습 주제와 목표의 결정, 토의유형과 방법의 결정, 학습활동 과정 관찰 및 코칭 평가를 통한 피드백의 철저한 준비를 제시하고 있다. 이렇듯 대학생들의 적극적이고 자발적인 참여를 위해서는 토의수업에 대한 사전 준비과정이 필요하며, 미리 충분한 내용을 학습한 차후에 온라인수업에서 토의진행을 실시하는 것이 더 효과적임을 의미한다.

본 연구를 기반으로 대학 온라인 토의수업의 활성화를 위한 효과적인 방안 및 개선 요건을 다음과 같이 제시할 수 있다.

첫째, COVID19로 인하여 온라인수업이 병행되고 있는 현시점에서 토의수업은 소통부재 및 학습격차 등을 해결하는 데 일조하며, 온라인수업의 한계를 보완하여 대학생들의 역량을 강화해 나가는 데 많은 도움이 된다. 이에 온라인수업에서 토의활용의 확대와 활성화를 위한 적극적인 대학의 권장과 대학생 및 교수자의 기술활용 능력이 요구된다. 대학 온라인 토의수업을 위한 기본적인 플랫폼 기반의 토의 가능한 체계와 학습 기회 제공이 선행되어야 한다. 또한 대학 온라인수업 내 토의활용에 대한 교수자의 적극적이고 강한 실천 의지와 방향 설정도 중요하다. 이미 오프라인 수업에서 토의 수업 적용에 대해 높게 강조한 만큼 온라인의 특수조건 상황에서도 토의수업 활성화를 위한 교육적 환경이 제공되어야 한다. 따라서 대학 온라인수업에서 직접적인 토의수업 연계로 동기부여 및 인재양성을 위한 다각도의 노력으로 교육의 질적 향상으로 이어지도록 해야 한다.

둘째, 대학 온라인 토의수업의 유형과 방식에 따라 대학생들이 영향받는 효과는 달라진다. 그러므로 대학생들이 선호하는 온라인 토의수업 방식을 더욱 활용하고, 온라인 상황에서 토의수업이 원활하게 이루어질 수 있도록 제약적 조건들을 파악하여 즉각적으로 보완해야 한다. 온라인 토의수업의 전개는 온라인 플랫폼을 매개로 하는 특정한 상황에서 무조건 적용하기에 원활하지만은 않은 것이 사실이다. 따라서 온라인 플랫폼의 이해와 분석을 바탕으로 적절한 토의수업 방식이 적용 가능한 진행이 요구되며, 온라인 토의수업에서 나타난 대학생 참여 및 선호 등에 대한 인식과 더불어 토의활용 형태에 따른 역량 및 효과를 근본으로 적합한 토의 수업의 방향을 모색해 나가야 한다.

셋째, 온라인 토의방식에 따라 대학생들의 역량과 효과에는 차이가 있기에 이를 기반으로 온라인 토의 수업이 구성되고 조직되어야 한다. 온라인 토의수업의 적용 형태는 능동적인 토의 참여에 영향을 주게 되므로 수업 과정에서 온라인 토의수업의 필요성과 그 의미를 먼저 잘 이해하도록 하여 각자의 역량 향상을 위해 많은 도움이 되도록 한다. 대학생 스스로 토의수업의 필요성을 인지하면 보다 적극적이고 자발적인 참여로 이어지며, 토의수업의 효과는 더 높게 강화된다. 또한 토의과정에서 대학생들의 적극적인 동기가 유발될 수 있는 수업내용과 구성요소를 내재하여야 한다. 이에 온라인수업에서 대면 토의수업과 유사한 실시간 화상토의는 즉각적인 토의 실행으로 대학생들에게 더 의미가 있고 여러 면에서 효과적인 것을 알 수 있다. 이러한 면에서 동기유발을 지속할 수 있도록 익숙한 매체사용을 위한 지속적인 교육과 훈련이 제공되어야 하며, 수업 매체 한계를 극복할 수 있는 토의과정의 개발 및 적용 또한 현저히 필요하다.

넷째, 대학생들에게 원활한 의사소통과 교류를 위한 토의 방법의 제공으로 두려움을 없앨 수 있는 교육환경을 조성하도록 토의에 대한 준비과정을 제공해야 한다. 실시간 화상토의에서 직접적인 토의방법에 대해 갑작스럽게 의견제시를 하는 경우 두려움과 거부감이 더 강할 수 있고, 의견 수정을 할 수 없다는 점에서 온라인토의과정에서 시간적인 여유 제공과 토의 준비과정 절차에 대한 보완이 이루어져야 한다. 이에 대학생들에게 토의주제를 사전에 알려주고 이에 대한 적절한 준비를 할 수 있는 충분한 시간적 여유와 과정의 제공으로 토의내용에 대한 근본적인 이해를 바탕으로 토의 수업이 진행되도록 해야 한다. 이처럼 온라인 토의수업의 효과를 위해서는 대학생들의 요구를 반영한 선호하는 온라인 환경을 분석하고, 이에 적절한 다양한 토의 방법을 모색하여 흥미적인 요소를 더할 필요가 있다. 이를 통해서 다각적이고 다양한 의견제시 및 경청 가능한 창의 사고능력 확대를 기반으로 한 토의수업이 진행되도록 해야 한다.

마지막으로 본 연구는 연구결과에서 나타난 대학생들의 인식을 바탕으로 온라인 토의수업에 대한 효과에 대해 시사점을 제공하고자 하였으나 더욱 보완된 연계로 지속적인 후속 연구가 필요하다. COVID19로 인하여 온라인수업으로 변경된 대학들이 많아 연구대상 표집의 한계로 비율적 차이가 있었다. 이에 대학 전공계열에 따른 균형 있는 더 많은 연구대상의 의견 수렴을 통한 연구 확장이 필요하다. 그리고 대학 온라인 토의 수업 방법의 다양한 개발을 위해 온라인 토의수업 적용 후의 변화양상 등 폭넓은 다양한 관점의 연구가 지속해서 이루어져야 할 것이다.