A Study on Teaching the Method of Lagrange Multipliers in the Era of Digital Transformation

라그랑주 승수법의 교수·학습에 대한 소고: 라그랑주 승수법을 활용한 주성분 분석 사례

The method of Lagrange multipliers, one of the most fundamental algorithms for solving equality constrained optimization problems, has been widely used in basic mathematics for artificial intelligence (AI), linear algebra, optimization theory, and control theory. This method is an important tool that connects calculus and linear algebra. It is actively used in artificial intelligence algorithms including principal component analysis (PCA). Therefore, it is desired that instructors motivate students who first encounter this method in college calculus. In this paper, we provide an integrated perspective for instructors to teach the method of Lagrange multipliers effectively. First, we provide visualization materials and Python-based code, helping to understand the principle of this method. Second, we give a full explanation on the relation between Lagrange multiplier and eigenvalues of a matrix. Third, we give the proof of the first-order optimality condition, which is a fundamental of the method of Lagrange multipliers, and briefly introduce the generalized version of it in optimization. Finally, we give an example of PCA analysis on a real data. These materials can be utilized in class for teaching of the method of Lagrange multipliers.

라그랑주 승수법(Method of Lagrange Multipliers)은 등식 제약조건하에서 미분가능한 함수의 최대, 최소를 구하는 대표적인 방법이다. 선형대수학, 최적화 이론, 제어 이론을 포함하여 최근에는 인공지능 기초수학에서도 널리 활용되고 있다. 특히 라그랑주 승수법은 미분적분학과 선형대수학을 연결하는 중요한 도구이며, 주성분 분석(Principal Component Analysis, PCA)을 포함한 인공지능 알고리즘에 많이 활용되고 있다. 따라서 교수자는 대학 미분적분학에서 처음 라그랑주 승수법을 접하는 학생들에게 구체적인 학습 동기를 제공할 필요가 생겼다. 이에 본 논문에서는 교수자가 학생들에게 라그랑주 승수법을 효과적으로 교육하는데 필요한 통합적인 시야를 제공한다. 먼저 다양한 전공의 학생들이 계산에 대한 부담을 덜고 원리를 쉽게 이해할 수 있도록 개발한 시각화 자료 및 파이썬(Python) 기반의 SageMath 코드를 제공한다. 또한 라그랑주 승수법으로 행렬의 고윳값과 고유벡터를 유도하는 과정을 상세히 소개한다. 그리고 라그랑주 승수법을 간단한 경우에 대한 증명에서 시작하여 일반화된 최적화 문제로 확장하고, 수업에서 학생들이 라그랑주 승수와 PCA를 활용하여 실제 데이터를 분석한 결과를 추가하였다. 본 연구는 대학수학을 지도하는 다양한 전공의 교수자들에게 도움이 될 기초자료가 될 것이다.