Journal of Engineering Education Research (공학교육연구)

Korean Society for Engineering Education (한국공학교육학회)
권호 표지
DOI QR코드

DOI QR Code

A Case Study on Item Analysis and Standard Setting of the Physics Basic Ability Test for Engineering College Students

공학계열 대학생 물리 기초학력평가 문항분석 및 성취수준 설정 사례연구

  • Lee, Keumho (Center for Data & Outcomes, Korea University of Technology & Education) ;
  • Jung, Hyekyung (Department of Human Resource Development, Korea University of Technology & Education)
  • 이금호 (한국기술교육대학교 데이터성과센터) ;
  • 정혜경 (한국기술교육대학교 HRD학과)
  • Received : 2023.11.01
  • Accepted : 2023.11.27
  • Published : 2023.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study is to examine the validity of assessing basic-level proficiency in physics among incoming engineering freshmen through item analysis and standard setting. For empirical analysis, we examined the physics subject taken by the freshman class of 2021 at K University, considering its significance for engineering students. In this study, we initially performed item analysis utilizing both classical test theory and item response theory. Subsequently, leveraging the item and test information, we employed a modified Angoff method and the Bookmark method for standard setting. Consequently, the difficulty level initially set during item development was found to be higher than the actual performance level exhibited by the students. This study highlights a discernible disparity between the expected university standard and the real proficiency level of incoming freshmen in terms of basic academic ability in physics. Based on these research findings, a comprehensive discussion on the fundamental academic competence of engineering students was conducted, underscoring the necessity for formulating a tailored learning approach leveraging the outcomes from the basic ability test.

Keywords

References

  1. 강유진.김지나(2013). 물리학습에서의 인지적 신념과 동기 신념에 대한 공과대학 학생의 인식과 교수자의 기대 비교. 공학 교육연구 16(2), 50-57.
  2. 김석우(2015). 교육평가의 이해. 서울: 학지사.
  3. 노태완(2008). 고등학교 제7차 교육과정을 이수한 공과대학 신입생의 수학 및 과학 과목에 대한 기초학력 평가 및 분석. 2008 공학교육학술대회 및 공과대학장협의회 워크샵 발표자료집, 431-434.
  4. 문공주.남형주(2018). 고교 물리 선택 이수와 입시전형에 따른 공학계열 대학 신입생의 물리 학업성취도 비교-2017년 C 대학교 공과대학 신입생을 중심으로-. 학습자중심교과교육연구 18(8), 155-169.
  5. 박덕희(2017). 학업 저성취 대학생을 위한 일대일 학습공동체 프로그램 효과 분석. 학습자중심교과교육연구 17, 375-402.
  6. 배상훈.윤수경(2016). 한국대학에서 대학기관연구(Institutional Research) 도입 관련 쟁점과 시사점. 아시아교육연구 17(2), 367-395.
  7. 변태진(2020). 고교 과목 이수 및 수능 과목 선택과 대학 일반물리학 학업성취도와 관계 분석 연구: 지방대 공과대학 사례를 중심으로. 새물리 70(4), 364-373.
  8. 성태제(2009). 문항반응이론의 이해와 적용. 서울: 교육과학사
  9. 송영욱(2019). 대학 물리학 수업이 공과대학 학생들의 물리 이미지 및 인식에 미치는 영향. 새물리 69(6), 637-648.
  10. 이영태.박성석(2019). 공학교육의 기초학력 강화를 위한 AP (Advanced Placement)제도의 도입 및 활용방안, E-AP로 공학교육의 기초를 다지자. 공학교육동향 26(3), 18-22.
  11. 이종승(2009). 현대교육평가. 서울: 교육과학사
  12. 이진숙 외(2021). 대학의 AI 기반 맞춤형 강의 추천 시스템 개발 및 실제 적용 사례 연구: K 대학을 중심으로. 교육공학연구 37(2), 267-307.
  13. 임의진.전의성.이용원(2019). 유럽 언어 공통기준 연계를 통한 영어 독해 시험의 수준설정: 수정된 앙고프 방법과 북마크 방법 비교. 교육평가연구 32(3), 523-548.
  14. 장윤선.성태제(2009). 문항반응이론에 기초한 준거설정 방법 비교. 교육평가연구 22(3), 659-680.
  15. 정미강.양유정(2016). 대학생의 기초학습능력 지원을 위한 교수-학습 참여자의 인식과 요구. 교육문화연구 22(2), 101-126. https://doi.org/10.24159/JOEC.2016.22.2.101
  16. 표용수.박준식(2010). 대학수학 기초학력 부진학생을 위한 기초수학 지도 방안. 수학교육 논문집 24(3), 525-541.
  17. 한국교육과정평가원(2007.12.7). 2007학년도 대학수학능력시험 채점결과 보도자료.
  18. 한국교육과정평가원(2022.12.8). 2023학년도 대학수학능력시험 채점 결과 보도자료.
  19. 황영식(2023). 기관분석(IR)에 기반을 둔 한.미 대학정보공시 시스템 비교연구. 학습자중심교과교육연구 23(7), 233-253.
  20. 황정규 외(2016). 교육평가의 이해. 서울: 학지사.
  21. Cizek, G. J., & Bunch, M. B.(2006). Standard setting: A guide to establishing and evaluating performance standards on tests. California: Sage Publications.
  22. Embretson, S. E., & Reise, S. P.(2000). Item response theory for psychologists. New Jersey: L. Erlbaum Associates.
  23. Hambleton, R. K., & Swaminnthan, H.(1985). Item response theory: Principles and application. Massachusetts: KluwerNijhoff.
  24. Hambleton, R. K., Swaminnthan, H., & Jane Rogers, H. (1991). Fundamentals of item response theory. California: Sage Publications.
  25. Montebello, M.(2018). AI injected e-learning. Cham, Switzerland: Springer International Publishing.
  26. Skaggs, G., & Tessema, A.(2001). Item disordinality with the bookmark standard setting procedures. Paper presented at the 2001 annual meeting of the National Council on Measurement in Education.
  27. van der Linden, W. J., & Hambleton, R. K. (Eds.).(1997). Handbook of modern item response theory. New York: Springer-Verlag.
  28. Yen, W. M., & Fitzpatrick, A. R.(2006). Item response theory. In R.L. Brennan (Ed.), Educational measurement (4th ed., pp.111-153). Wesport, CT: Praeger Publishers.
  29. Zieky, M. J.(2001). So much has changed: How the setting of cutscores has evolved since the 1980s. In G. J. Cizek (Ed.), Setting performance standards: concepts, methods, and perspectives(pp. 19-51). Mahwah, NJ: Lwarence Erlbaum Associates