Mura Defect Enhancement based on Saliency Map in TFT-LCD Image

TFT-LCD 영상에서 Saliency Map 기반의 얼룩성 결함 강조

Abstract

In this paper, we propose the defect emphasis in TFT-LCD panel image. The defect emphasis image consist of S(Shape) map and B(Brightness) map. S map based on DoG(difference of gaussian) is made with the mura defect shape characteristic. And B map use defect intensity property that defect intensity is higher than background. The experiments were conducted to evaluate the performance of the proposed defect emphasis method. The results of experiments show the validity of the defect emphasis using the proposed method.

1. 서 론

최근 스마트 기기의 수요 증가로 인하여 LCD 패널과 같은 평판 패널 디스플레이 산업은 다양한 응용 제품 산업에 광범위하게 적용되고 있다. 디스플레이 패널 산업 분야는 기술 개발보다 생산성 향상을 위한 비용 절감 방안을 모색하고 있다[1-4]. 이는 디스플레이 패널에 대한 결함 자동 인식 시스템의 필요성을 보여준다.

TFT-LCD 액정의 불균일한 분포, 미세한 이불, 영상 획득 장비에 의한 잡음 및 공정상의 요인 등은 TFT-LCD 패널 영상에 존재하는 얼룩성 결함(Mura)을 검출함에 있어서 방해 요인으로 작용한다[4-5].

TFT-LCD 패널의 표면은 BLU(Back Light Unit)의 부족한 광량으로 인한 휘도의 불균일성이 존재하며, 박막 트랜지스터(Thin Film Transistor; TFT)의 전기 및 열적 특성으로 인한 잡음의 발생이 불가피하다. 따라서 결함이 내재된 TFT-LCD 패널은 휘도가 불균일한 배경과 다양한 잡음 및 결함 정보가 혼재되어 나타나게 되고, 이때의 TFT-LCD 패널 내 배경, 잡음 및 결함 정보의 양상은 아래의 Fig. 1과 같이 나타난다. Fig. 1에서 알 수 있듯이 획득되는 LCD 표면 영상 신호는 배경, 잡음 및 결함 정보가 서로 독립적이지 않고, 융합된 형태로 구성됨을 알 수 있다.

Fig. 1.Signal pattern of TFT-LCD panel.

따라서 얼룩성 결함 검출을 용이하게 만들기 위한 연구가 진행되고 있다. 대체로 배경신호를 평활화 하거나 잡음 신호를 억제 또는 결함 신호를 강조한다. TFT-LCD 패널 영상의 결함 검출을 용이하게 하기 위한 대표적인 방법으로는 B-Spline을 이용한 방법이 있다[1]. 이는 4개의 3차 polynomial을 이용하여 TFT-LCD 영상의 표면을 추정하여 결함 검출을 용이하게 하는 방법이다. 그러나 B-Spline을 이용한 표면 추정 기법은 표면을 추정할 때 사용되는 샘플의 위치에 따라 TFT-LCD 패널 영상의 표면 추정 성능이 상이하다는 문제점이 있다. 인간시각시스템을 응용한 CSF(Contrast Sensitivity Function)을 이용하여 TFT-LCD 패널 영상을 개선한 방법이 연구되었다[5]. 일반적으로 TFT-LCD 패널의 결함 검사가 목시검사자의 육안에 의존적임을 고려할 때 인간시각시스템 기반의 결함 검출의 타당성을 제공한다. 그러나 CSF 기반의 영상 개선 방법은 영상의 주파수 특성을 이용하기 때문에 배경과 결함신호의 주파수 대역이 유사할수록 배경신호의 왜곡이 심화되는 문제가 발생한다. 또한 얼굴 인식 분야에서 조명변화를 억제하기 위하여 제안된 SQI[6-8]를 TFT-LCD 패널 영상에 적용하여 BLU에 의해 발생된 배경신호를 억제하는 방법이 연구되었다[9]. 그러나 SQI에 기반한 영상 개선 방법은 변화량이 급격한 윤곽선과 같은 영역을 결함으로 인식하고 있으므로, 경계가 불명확한 얼룩성 결함의 경우 견실한 성능을 보장할 수 없다. 따라서 본 논문에서는 경계가 불명확한 얼룩성 결함 검출 성능 향상을 위하여 Saliency map 기반의 결함 강조 기법을 제안한다. 본 논문에서 제안하는 얼룩성 결함 강조 기법은 얼룩성 결함이 가지는 형태적인 특성을 이용하였다. 제안 방법은 결함의 형태적 특성과 휘도 값 정보를 이용하여 구성된 S(Shape) map과 B(Brightness) map을 구성하고, 두 가지의 map을 결합하여 얼룩성 결함 검출이 용이하도록 개선된 영상 Saliency map을 획득한다. 제안 방법은 배경 영역과 구별되는 결함의 특성을 고려함으로써 얼룩성 결함을 효과적으로 강조할 수 있다. 특히 제안 방법은 한도에 가까운 결함 또한 효과적으로 강조함으로써 결함 검출이 용이하도록 TFT-LCD 패널 영상을 개선하였다.

본 논문의 구성은 다음과 같다. 2장에서 얼룩성 결함의 특성에 대하여 살펴보고, 3장에서 제안한 영상 개선 기법을 설명한다. 그리고 4장에서 실험을 통하여 제안 방법의 성능을 검증하고, 마지막으로 5장에서 결론을 맺는다.

 

2. 얼룩성 결함의 특성

TFT-LCD 패널에서 가장 빈번하게 발생하는 결함은 얼룩성 결함으로[10-11], 주로 액정 주입 시 발생하거나 액정이 고르게 확산되어 있지 않고 뭉쳐 있을 때 나타난다. 얼룩성 결함은 대게 매우 낮은 휘도 대비를 가지고 결함의 경계가 불명확하며, 결함의 내부 휘도 또한 불균일하다는 특징을 가진다. 이러한 얼룩성 결함은 불명확한 경계로 인하여 목시검사자에 의한 검사 과정 중에서도 수율이 낮게 나타나며, 불량으로 판정되지 않고 검수되는 경우가 빈번하다.

Fig. 2는 실제 TFT-LCD 패널에 나타나는 대표적인 얼룩성 결함 영상으로 타원으로 표시된 영역 내에 결함이 존재하고 있다. Fig. 2(a)는 실제 TFT-LCD 패널 영상을 나타내며, Fig. 2(b)는 결함의 위치를 확인하기 위하여 히스토그램 평활화를 적용한 영상이다.

Fig. 2.TFT-LCD defect image, (a) real TFT-LCD mura defect image, and (b) histogram equalized image of (a).

TFT-LCD 패널 영상에 존재하는 결함은 배경에 비하여 휘도차가 크고 경계가 뚜렷하여 검출이 용이한 결함부터 육안 식별이 어려운 한도성 결함까지 존재한다. 특히 결함과 배경 영역의 휘도차가 매우 적은 한도성 결함은 배경의 잡음과 신호 세기가 유사하여 검출이 매우 어렵다. 이러한 점은 TFT-LCD 패널 영상 개선의 당위성을 제공한다.

 

3. Saliency map 기반의 결함 강조 기법

얼룩성 결함은 다양한 발생 원인에 의해 선 얼룩, 점 얼룩 등의 형태로 나타나지만 한도성 결함은 대체적으로 원형으로 나타난다. 따라서 본 논문에서는 이러한 한도성 결함의 형태적인 특성을 고려하여 TFT-LCD 패널 영상을 개선한다.

본 논문에서 고려하는 한도성 결함은 원형으로 나타나며, 배경과의 휘도차를 가지고 있다. 따라서 이러한 결함의 특성을 고려하여 입력된 TFT-LCD 패널 영상으로부터 각각 S map과 B map을 생성한다. S map은 결함의 형태적인 특성을 고려하였다. 원형으로 존재하는 한도성 결함을 강조하기 위하여 DoG (Difference of Gaussian) 필터를 설계한다. DoG 필터는 대표적인 원형 검출 필터인 LoG(Laplacian of Gaussian) 필터의 근사를 위해 사용되며, 아래의 식과 같이 정의된다.

여기서 G(x, y, σ1)와 G(x, y, σ2)는 표준편차 σ1과 σ2를 가지는 가우시안 필터를 나타낸다.

설계된 DoG 필터를 이용하여 결함을 강조하기 위하여 가우시안 필터 G(x, y, σ1)의 표준편차 σ1를 결함의 반지름과 동일한 크기로 설정한다. 또한 DoG 필터를 구성하는 두 개의 가우시안 필터에 대한 표준편차의 비율이 식 (2)와 같을 때 LoG 필터와의 오차가 최소가 된다[11].

가우시안 필터 G(x, y, σ1)의 표준편차 σ1이 결정되면, 식 (2)를 이용하여 두 번째 가우시안 필터 G(x, y, σ2)를 설계할 수 있으며, DoG 필터를 적용한 S map은 아래의 수식과 같이 정의한다.

여기서 I(x, y)는 입력된 TFT-LCD 패널 영상을 의미하고, c은 S map의 결과가 0과 1사이의 값을 가지도록 정규화하기 위한 상수이다.

또한 한도성 결함은 그 크기가 미소하지만 배경과의 휘도차이를 가진다. 따라서 S map을 이용한 결함 정보 이외에 휘도 값을 고려한 B map을 구성한다. 배경에 비해 높은 휘도 값을 가지는 결함을 강조하기 위하여 식 (4)와 같이 낮은 휘도 값은 억제시키고 높은 휘도 값은 강조한다.

여기서 In(x, y)는 0과 1사이의 값을 가지도록 정규화된 TFT-LCD 패널 영상을 의미하며, m은 입력 영상의 평균 값을 의미한다. 또한 c와 γ는 양의 값을 가지는 상수이다.

결함의 형태적 특성을 반영한 S map과 휘도 값을 반영한 B map으로부터 최종적으로 결함이 강조된 영상 IE(x, y)를 식 (5)와 같이 구성한다.

여기서 α는 각 영상의 반영 정도를 표현하는 가중치를 의미하며, º 은 가중치가 곱해진 S map과 B map의 Hadamard product 연산을 의미한다.

Fig. 3은 모의 영상으로부터 결함 강조를 위한 과정을 보여준다. Fig. 3(a)는 다양한 휘도 값을 가지는 결함을 포함한 TFT-LCD 모의영상을 의미하며, Fig. (b)는 입력 영상의 히스토그램 평활화 영상이다. Fig. 3(c)와 Fig. 3(d)는 각각 S map과 B map을 나타내며, Fig. 3(e)는 S map과 B map으로부터 획득된 Saliency map을 보여준다. 개선된 영상은 입력 영상에 비하여 결함이 효과적으로 강조된 결과를 보여주며, 이는 제안 방법의 타당성을 보여준다.

Fig. 3.Construction of the defect enhancement image, (a) artificial TFT-LCD surface image, (b) histogram equalized image of (a), (c) S map, (d) B map, and (e) Saliency map.

 

4. 실험 결과 및 고찰

제안 방법의 성능을 평가하기 위하여 실제 TFT- LCD 패널 영상 및 유사 영상을 이용하여 실험을 진행하였다. 실험환경은 CPU Intel (R) Core i5 @2.67 GHz, RAM 4GB이다.

Fig. 4는 Fig. 3의 원 영상에 대하여 CSF 기법과 제안 기법을 적용한 결과를 보여준다. Fig. 4(a)는 Fig. 3(a)의 원 영상에 CSF 기법을 적용한 결과를 보여주며, Fig. 4(b)는 Fig. 3의 원 영상에서 화살표로 표시된 지점의 1차원 프로파일과 제안 방법 및 CSF을 적용하였을 때의 1차원 프로파일로 비교하여 나타내었다.

Fig. 4.Result of Fig.3(a), (a) result of CSF, (b) 1D line profile of results of defect emphasis method and input image.

Fig. 4의 결과는 입력 영상과 제안 방법 및 CSF에 의한 결과 영상의 신호의 바이어스를 일치시켰을 때의 1차원 프로파일을 나타낸다. 제안 방법의 결과는 입력된 TFT-LCD 패널의 유사 영상 내에 속한 결함 신호를 매우 강조하였음을 보여주며, 이는 입력 영상과 CSF 기법에 의한 결함 강조에 비하여 제안 방법을 통한 결함 강조 영상을 이용하였을 때 결함 검출이 매우 용이해졌음을 의미한다.

Fig. 5는 실제 TFT-LCD 패널 영상에 대한 실험 결과를 보여준다. Fig. 5(a)는 입력된 실제 TFT- LCD 패널 영상을 보여주면, Fig. 5(b)는 입력 영상에 대한 히스토그램 평활화 영상이다. Fig. 5(c)와 Fig. (d)는 입력 영상에 대한 CSF와 제안 기법을 적용한 결과이다. 입력 영상은 표적과 배경사이의 휘도차가 매우 작으므로 육안으로도 판별하기 어려우며, CSF 기법을 적용한 결과는 표적이 일정 크기로 강조가 되었지만 실제 표적의 크기만큼 효과적으로 강조되지 못하였으며, 배경 영역은 효과적으로 억제되지 못하였다. 그러나 제안 기법을 적용한 영상은 입력 영상에 비하여 결함 영역이 매우 강조되었음을 보여준다. Fig. 6은 Fig. 5의 표적 영역에 대한 입력 영상과 제안 기법을 적용한 결과 영상의 1차원 프로파일을 비교하여 나타내었다. 앞선 모의 영상의 결과와 유사하게 입력 영상에 비하여 제안 기법을 적용한 결과에서의 결함 검출이 매우 용이해졌음을 보여준다.

Fig. 5.Result of proposed method, (a) real TFT-LCD surface image, (b) histogram equalized image of (a), (c) CSF, and (d) proposed method.

Fig. 6.1D line profile of Fig. 5.

Fig. 7과 Fig. 9는 각각 다른 실제 TFT-LCD 패널 영상에 CSF와 제안 기법을 적용하여 나타내었다. 입력 영상에 포함된 결함들은 눈으로 식별이 어려우나 제안 방법을 적용한 결과 결함은 매우 강조되었으며, 결함 검출이 용이한 영상으로 개선되었음을 확인할 수 있다. Fig. 8의 1차원 프로파일은 기존 방법에 비하여 제안 방법의 결과가 매우 우수함을 보여준다.

Fig. 7.Result of proposed method 2, (a) real TFT-LCD surface image, (b) histogram equalized image of (a), (c) CSF, and (d) proposed method.

Fig. 8.1D line profile of Fig. 7.

Fig. 9.Result of proposed method 3, (a) real TFT-LCD surface image, (b) histogram equalized image of (a), (c) proposed method, and (d) 1D line profile.

 

5. 결 론

본 논문에서는 TFT-LCD 패널 영상에 포함된 얼룩형 결함을 강조하기 위한 알고리즘을 제안하였다. 얼룩형 결함 검출의 성능을 향상시키기 위하여 결함의 특성을 고려하여, S map과 B map을 구성하였다. S map은 결함의 형태적 특성을 고려하여 DoG 필터 기반의 영상이며, B map은 결함 영역의 휘도 값이 배경 영역의 휘도 값과 차이가 난다는 특성을 고려하여 획득되었다. 이러한 결함의 특성 정보를 기반으로 획득된 두 개의 map에 각각의 가중치를 적용하여 결합함으로써 배경 대비 결함의 휘도 값을 강조하는 결함 강조 영상을 구성하였다. 제안 방법은 실제 환경에서 획득된 TFT-LCD 패널 영상과 유사 영상을 이용하여 결함 강조 성능을 확인하였다. 실험 결과는 제안 방법을 이용한 TFT-LCD 패널 영상에 포함된 얼룩형 결함 강조의 타당성을 확인하였다.