Assessing the accuracy of the maximum likelihood estimator in logistic regression models

로지스틱 회귀모형에서 최우추정량의 정확도 산정

When we compute the maximum likelihood estimators of the parameters for the logistic regression models, which are useful in studying the relationship between the binary response variable and the explanatory variable, the standard error calculations are usually based on the second derivative of log-likelihood function. On the other hand, an estimator of the Fisher information motivated from the fact that the expectation of the cross-product of the first derivative of the log-likelihood function gives the Fisher information is expected to have similar asymptotic properties. These estimators of Fisher information are closely related with the iterative algorithm to get the maximum likelihood estimator. The average numbers of iterations to achieve the maximum likelihood estimator are compared to find out which method is more efficient, and the estimators of the variance from each method are compared as estimators of the asymptotic variance.

반응이 두 가지로 나타나는 자료에서 설명변수와 반응변수와의 관계를 연구할 때 많이 사용되는 로지스틱 회귀모형에 대하여 그 모수들을 최우추정법으로 구할 때 추정량의 표준오차는 보통 로그우도함수의 2차도함수에 바탕을 두어 계산하게 된다. 한편 피셔정보량이 로그우도함수의 1차도함수를 제곱한 통계량의 기대값으로도 계산된다는 점에 착안하여 얻어지는 피셔정보량의 추정량도 이와 거의 비슷한 대표본 성질을 갖는 것으로 알려져 있다. 이러한 피셔정보량의 추정량들은 최우추정량을 구할 때의 반복 알고리즘과 깊은 관련을 갖고 있다. 어느 방법이 더 효과적으로 최우추정량을 계산하는 지 평균반복횟수를 비교하고 대표본분산의 추정량으로서 각 방법에서 계산되는 분산의 추정량들을 비교하였다.