1. 서 론
테블릿 PC, 스마트폰 등 새로운 전자기기가 보급되고 있는 현대 사회에서 그 정보를 출력하는 장치로서 TFT-LCD, LED, AMOLED, 전자 종이 등 다양한 화면 출력 장치가 개발되어 사용되고 있다. 이러한 평판 디스플레이는 전자기기의 발전에 따라 점진적으로 집적화되고 있어 사용자에게 큰 편의를 가져 다 주었지만, 생산자 입장에서는 불량률을 줄이고 생산 효율을 극대화하기 위해 더욱 높은 해상도를 가지는 다양한 검사장비가 필요하게 되었다[1]. 실제 평판 디스플레이 제조에는 다양한 결함에 대응하기 위해 패턴 검사기, 매크로 검사기, 어레이 검사기 등여러 장비가 이용되고 있다. 이들 중 패턴 검사기는 기판 화소의 미세한 패턴 결함을 광학식으로 검출하는 장비로서 가장 범용성이 높은 검사 장비이다. 이러한 패턴 검사기는 검사부와 리뷰단으로 구성되는데 검사부에서는 신속하게 기판 전체를 검사하여 결함의 위치를 검출하고 리뷰단에서는 검출된 불량을 정확히 찾아내 분석하여 수리(repair)하거나 재작업 (rework)하여 종합수율을 향상시키는 역할을 한다.
한편 컴퓨터 모니터를 중심으로 사용되던 평판 디스플레이들이 다양한 기기에 적용되기 시작하면서 검사 대상의 형태 또한 다양해져 지금까지 다수의 결함 검출 알고리즘들이 연구되어왔다[2-7]. 이러한 결함 검출 알고리즘들 중에는 패턴 불량이나 얼룩(mura)을 검출하기 위해 1차원 또는 2차원의 코사인 변환을 이용하는 방법[2-3], 신경망을 이용하는 방법 [4-5], 멀티 스케일을 이용하여 결함 영역을 구분하는 방법[6], 카메라 특성에 기인한 기학학적 특성을 제거하여 성능을 개선하는 방법[7] 등이 있다. 이러한 방법들의 수행 시간과 결함 검출 성능은 생산 효율과 직결되기 때문에 각 제조업체는 개별 공정 환경에 맞추어 적합한 알고리즘을 채택하여 사용하게 된다.
본 논문에서는 아래의 문장들에서 구체적으로 설명되는 패턴검사기의 리뷰단에 사용할 수 있는 결함 검출 알고리즘을 제안한다. 패턴검사기의 검사부에는 고속 검사를 위하여 검출하고자 하는 결함의 크기에 맞춘 해상도에 따라 복수의 라인 스캔 카메라가 기판의 한 라인 전체를 같은 시간에 검사할 수 있도록 병렬로 설치된다. 기판은 수평 이송 장치에 의해 한 방향으로 전송되는데 이 때 라인 스캔 카메라를 통해 기판의 각 라인에 대한 영상 정보를 얻게 된다. 검사부에서는 검사할 화소와 인접한 패턴의 대응하는 화소의 밝기를 비교하여 결함을 판단한다. 리뷰단에서는 고배율의 영역 카메라를 검사부에서 판단된 결함의 위치들로 이동하여 영상 정보를 얻고 작업자가 육안으로 불량을 진단하여 수리나 재작업을 선택하게 된다. 이 때 미숙련자는 정확한 결함을 찾아내는데 오랜 시간이 걸리고 특히 검사부에서 판단된 결함의 위치가 다수인 경우 주어진 택트 타임(tact time)내에 전체 결함에 대한 진단을 할 수 없게 된다. 이러한 문제를 해결하기 위해 본 논문에서는 다양한 배율을 가질 수 있는 리뷰단의 영역 카메라에서 결함의 위치를 자동으로 검출하기 위한 방법을 제안한다.
기존에 이를 위해 주변 패턴의 밝기 값을 이용하여 결함을 검출하는 방법이 있다. 입력 영상에서 검사하고자 하는 픽셀과 패턴 간격만큼 떨어져 있는 주변 네 방향의 픽셀들에 대한 밝기 값 평균을 구하고 이를 검사하고자 하는 픽셀의 밝기 값과 비교하여 결함을 검출하는 방법이다. 알고리즘이 간단하여 결함 판별 속도가 빠르지만 조명이 불균일한 경우 패턴 간격만큼 떨어진 화소가 완전히 동일한 밝기 값을 가질 수 없고 카메라 특성에 따른 왜곡이 존재하는 경우 패턴 간격에 픽셀 오차가 발생할 수 있어 다수의 오검출을 발생 시키는 문제점을 가진다. 또한 미리 정해진 패턴 주기에 따라 동작하는 방식이므로 리뷰단에서 임의의 배율로 진단을 수행할 수 없는 제한점이 있다.
본 논문에서는 이러한 문제점을 해결하기 위해 PCSR-G(Precise Comparison with Staggered Reference for Gray-scale image) 기반의 새로운 결함 검출 방법을 제안한다. PCSR-G 기법은 참조 영상과 입력 영상간의 정렬에 의한 오차인 픽셀 공차에 강인한 방법이다[8-9]. 제안된 방법은 영상 해석을 통해 패턴 간격을 자동으로 측정하여 별도의 참조 영상을 사용하지 않고 주변 패턴 정보를 이용해 결함을 검출하도록 한다. 또한 패턴 간격 정보를 이용해 픽셀 공차와 밝기 분포에 대한 추가적인 정보를 추출하고 적용함으로써 기존 PCSR-G 기법의 성능을 개선한다.
본 논문의 구성은 다음과 같다. 2장에서 기존 PCSR-G 기법에 대해 설명하고, 3장에서는 제안하는 결함 검출 알고리즘에 대해 설명한다. Ⅳ장에서는 모의실험을 통해 제안 기법의 성능을 분석하고 Ⅴ장에서 결론을 내린다.
2. PCSR-G 알고리즘
PCSR-G 알고리즘은 참조 영상과 입력 영상 간 픽셀 공차에 강인하면서 경계 부분에서 결함 오검출율을 개선하기 위해 제안된 알고리즘이다[8]. PCSR-G 알고리즘에서는 참조 영상 R(x,y) 과 입력 영상 I(x,y) 각각에 대해 모폴로지(Morphology) 팽창과 축소 연산을 차례로 수행하여 픽셀 공차를 반영할 수 있도록 식 (1)부터 (4)에서와 같이 각 영상에 대한 최대(max)와 최소(min) 영상을 구한다. 여기서 변수 ρ는 최대값과 최소값의 반영 정도를 결정하기 위한 파라미터이며 S는 인접한 픽셀을 참조하기 위해 식 (5)에서와 같이 정의된다.
Fig. 1은 PCSR-G 알고리즘을 의사코드로 표현한 것이다. 참조 영상과 입력 영상 각각에 대하여 최대 영상과 최소 영상의 밝기 변화를 비교하여 밝기 변화가 상대적으로 큰 영상을 기준으로 결함을 판단한다. 예를 들어 Fig. 1의 첫 번째 조건문이 참인 경우 입력 영상이 보다 큰 밝기 변화를 보이고 있으므로 입력 영상을 기준으로 결함을 판단하게 된다. 구체적으로 큰 밝기 변화를 보이는 영상이 그렇지 않은 영상의 최대 및 최소 영상의 범위를 기준치 이상으로 초과해서 벗어나는지를 판단하게 된다. Fig. 1의 첫 번째 조건문이 참인 경우 입력 영상이 참조 영상에 대한 최소 영상과 최대 영상 범위를 벗어나는 경우 결함을 표시하기 위한 함수 D(x,y)가 1로 설정된다.
Fig. 1.Pseudo code of PCSR-G algorithm.
PCSR-G 기법은 모폴로지 연산을 기반으로 최대 및 최소 영상을 사용하여 동작하므로 정렬 상태가 완벽하지 않더라도 결함 검출이 가능하다. 하지만 결함이 없는 참조 영상이 반드시 필요하고 픽셀 공차를 위한 ρ와 같은 결함 검출 성능에 영향을 주는 파라미터가 실험을 통해 결정되어야 한다. 또한 불균일한 조명에 의한 밝기 변화를 고려하지 못하는 단점들이 있다. 본 논문에서는 자기 참조 방식을 통해 참조 영상을 사용하지 않고 픽셀 공차를 위한 파라미터를 영상 해석을 통해 결정하는 동시에 불균일한 조명에 의한 밝기 변화를 고려할 수 있는 자기 참조 방식의 개선된 PCSR-G 기법을 제안한다.
3. 제안하는 결함 검출 알고리즘
Fig. 2는 제안하는 자기 참조 PCSR-G를 이용한 결함 검출 알고리즘의 흐름도이다. 제안된 방법은 별도의 참조 영상을 사용하지 않고 이웃에 위치한 네방향의 패턴 영상을 참조 영상으로 이용한다. 이때 수평 또는 수직 방향으로 패턴 간격만큼 떨어진 위치에서 정확히 대응하는 참조 픽셀을 얻기 위해 영상의 기울어짐이 존재하지 않아야 한다. 이를 위해 수평과 수직 방향의 패턴이 영상의 x축과 y축 방향과 각각 일치하도록 기울어짐 보정을 수행한다. 이어서 패턴 영상의 경계 정보를 이용해 패턴 간격을 측정한다. 패턴 간격 정보를 이용해 PCSR-G의 성능을 개선하기 위한 픽셀 공차와 밝기 오차 파라미터를 추정한다. 최종적으로 자기 참조 PCSR-G 단계에서는 패턴 간격 정보와 추출된 픽셀 공차 및 밝기 오차 파라미터에 따라 이웃에 있는 네 방향의 패턴 정보를 참조 영상으로 간주하여 결함 검출을 수행한다.
Fig. 2.Flow chart of Self-reference PCSR-G method.
3.1 기울어짐의 보정
평판 디스플레이의 패턴은 다수의 수직과 수평 방향의 라인들로 구성된다. 기울어짐 보정은 이러한 수직과 수평 방향의 라인들을 영상의 x축과 y축 방향과 일치시키는 과정이다. 이를 위해 캐니 경계 검출기(Canny edge detector)[10]를 이용해 수직, 수평 방향의 라인을 검출하고 허프 변환(Hough transform)[11]을 이용해 수직, 수평 방향의 라인이 x, y축과 이루는 각을 구하고 기울어짐을 보정한다. 만약 기구 오차가 충분히 작아 영상 기울어짐을 무시할 수 있는 경우 다음의 과정은 생략된다.
캐니 경계 검출 과정에서는 먼저 가우시간 마스크를 적용하여 입력영상의 노이즈를 제거하고, 수직 방향과 수평 방향의 소벨 연산자(Sobel operator)를 각각 적용하여 수평 방향과 수직 방향에 대한 기울기 (gradient) 영상을 별도로 얻는다. 이렇게 얻어진 각각의 기울기 영상에 대하여 비 최대값 억제(Nonmaximum suppression) 과정과 히스테리시스 문턱치화(Hysteresis thresholding)를 차례로 수행하여 수평 방향과 수직 방향에 대한 에지 영상을 획득한다. 각각의 에지 영상에 대하여 식 (6)에서와 같은 극좌표계 파라미터 (θH,ρH)를 이용하는 허프 변환을 수행하여 가장 강한 수평 라인이 x축과 이루는 각도와 가장 강한 수직 라인이 y과 이루는 각도를 차례로 구하고 이를 평균하여 영상의 기울어진 정도를 구한다.
3.2 패턴 간격 측정
본 소절에서 제안하는 패턴 간격 측정 방법은 작업자가 임의의 배율을 선택할 수 있는 경우에 한하여 적용하기 위한 방법이다. 만약 미리 정해진 배율만을 이용하는 경우 각각의 배율에 대한 패턴 간격을 사전에 구하고 이를 이용하는 것이 효율적이다. 제안된 방법은 사용자 인터페이스를 통해 대략적 패턴 간격을 입력 받는 경우 이를 바탕으로 정확한 패턴 간격을 산출한다. 제안된 방법은 블록 정합 기법을 근간으로 하는데 패턴 원영상의 경우 균일한 밝기를 가지는 평탄한 영역이 큰 비중을 차지하므로 오정합의 가능성이 커진다. 이에 패턴 간격 측정은 소벨 연산자를 통해 얻은 기울기 정보를 문턱치화한 이진 영상을 통해 다음과 같이 이루어진다.
수평 방향의 패턴 간격 dx를 구하는 과정은 다음과 같다. 사용자로부터 원영상을 통해 실제 패턴 주기의 50%를 초과하고 150% 이내의 크기를 가지는 사각형을 입력 받는다. Fig. 3에서 반투명 처리된 블록은 이진 영상에 이를 표시한 것이다. Fig. 3에서와 같이 블록의 크기를 M×N이라 하고 좌측상단 좌표를 (x0,y0)라 할 때 수평 방향으로 p만큼 떨어진 위치에 있는 블록과의 상관도 Cx(p)는 식 (7)과 같다. 한편 Rx(p)는 수평 방향으로 p만큼 떨어진 위치가 주어진 블록과 정합이 잘 이루어지는지를 표시하기 위한 함수로 식 (8)과 같이 정의된다. 즉 p만큼 떨어진 위치에서의 상관도가 자기 상관도 대비 Tp 이상인 경우에만 Rx(p)의 함수값은 1이 된다.
Fig. 3.Block matching for estimating pattern interval.
패턴 간격은 Rx(p)의 배수관계를 이용해 다음과 같이 결정된다. 식 (9)의 rx(α)는 수평 방향의 패턴주기를 α로 가정하였을 경우 l번의 패턴 주기가 이어지는 동안 몇 회 주어진 블록과 정합되는지를 표시한다. 최종적인 x축 방향의 패턴 간격 dx는 식 (10)에서와 같이 결정되며 이러한 과정을 수직 방향으로 반복하여 y축 방향의 패턴 간격 dy가 결정된다.
3.3 픽셀 공차 및 밝기 오차 추정
2장에서 설명된 바와 같이 PCSR-G 기법에서는 입력 영상과 참조 영상 간에 발생할 수 있는 정렬 불일치 문제를 식 (1)~(4)에 표시된 최소, 최대 영상을 통해 해결한다. 이 때 최소, 최대 영상을 정확하게 산출해 낼 수 있다면 PCSR-G 기법의 성능을 극대화 할 수 있다. 제안된 기법에서는 이웃하는 패턴을 참조 영상으로 이용하게 되므로 Fig. 4에 도시된 것과 같은 패턴 간 픽셀 공차(ρ)를 영상 해석을 통해 추정하여 PCSR-G 기법의 성능을 개선할 수 있다.
Fig. 4.Pixel tolerance between patterns.
입력 영상과 참조 영상으로 이용되는 패턴간 픽셀 공차를 추정하기 위해 본 논문에서는 Fig. 5에서와 같이 참조 화소의 이웃하는 두 화소의 밝기값을 선형화하고 식 (11)에서와 같은 비례식을 통해 이를 얻는다. 이러한 특정 화소에서 수평 방향으로의 픽셀 공차는 모든 가능한 화소에서 추정되고 식 (12)에서와 같이 이의 평균값 ρx,avg을 얻는다. 한편 이러한 과정은 수직 방향으로도 동일하게 이루어져 수직 방향에 대한 픽셀 공차의 평균값 ρy,avg이 추정된다. PCSR-G 기법에서 최소, 최대 영상은 수직 방향과 수평 방향중 보다 큰 픽셀 공차를 보이는 방향에 의존하므로 최종적인 픽셀 공차 ρ는 식 (13)에서와 같이 각 방향의 픽셀 공차 가운데 큰 값으로 결정된다.
Fig. 5.Estimation of pixel tolerance using linearization of intensity.
불균일한 조명에서 검사 화소와 패턴 간격만큼 떨어져 있는 참조 화소의 밝기값은 차이가 발생할 수 있다. 이러한 밝기 차이를 보정하기 위해 본 논문에서는 패턴 간격 정보를 바탕으로 패턴간 밝기 차이를 구하고 이를 결함 판정에 이용한다. 이를 위해 x축과 y축 방향으로의 밝기 변화를 함수 TX(x)와 TY(y)를 이용해 각각 저장한다. TX(x)는 x 좌표 지점에서의 화소가 수평 방향으로 한 주기 다음 화소와 가지는 평균적 밝기 변화로 정의되고 Fig. 6의 의사코드와식 (14)에 의해 얻어진다. Fig. 6의 의사코드에서는 x좌표를 가진 모든 화소에 대하여 수평 방향으로 한주기 다음 화소와의 밝기값 차이를 누적한다. 만약 두 화소 중에 결함이 존재하는 경우 조명에 의한 밝기 변화가 아닌 큰 차이값이 비정상적으로 누적될 수 있다. 제안된 기법에서는 Fig. 6의 의사코드에서와 같이 기준치 TB 이내의 화소들에 대해서만 밝기값 차이를 누적하므로 결함에 의한 영향을 배제한다. 누적된 밝기값의 차이 ST(x)는 식 (14)에서와 같이 누적 유효 화소수 neff로 나누어져 TX(x)가 얻어진다. 동일한 과정을 수직 방향으로 반복하여 TY(y)를 구한다.
Fig. 6.Pseudo code of estimating brightness difference.
3.4 자기 참조 PCSR-G
자기 참조 PCSR-G 기법은 별도의 참조 영상을 사용하지 않고 입력 영상에서 검사하고자 하는 픽셀에 대해 패턴 간격만큼 떨어져 있는 주변 4 방면의 패턴 영역을 참조 영상으로 사용하게 된다. 따라서 참조 영상에 대한 최소, 최대 영상은 입력 영상의 최소, 최대 영상이 되므로 기존 PCSR-G 알고리즘과는 달리 자기 참조 PCSR-G 알고리즘에서는 식 (15)와 (16)에서와 같이 입력 영상에 대한 최소, 최대 영상만을 구하게 된다. 이 때 픽셀 공차 ρ는 앞서 설명된 픽셀 공차 추정 방법을 통해 얻은 값이 이용된다.
Fig. 7은 오른쪽 방향의 패턴 영역을 참조 영상으로 사용하는 자기 참조 PCSR-G 알고리즘에 대한 의사코드를 보이고 있다. 제안된 Fig. 7의 자기 참조 PCSR-G 알고리즘은 Fig. 1의 기존 PCSR-G 알고리즘과 유사한 흐름도를 가지는데 그 차이점은 다음과 같다. 먼저 자기 참조 PCSR-G 알고리즘에서는 참조 영상으로 이웃하는 패턴 영역을 사용하므로 기존 PCSR-G 알고리즘에서 참조 영상 R(x,y)은 오른쪽 방향의 패턴 영역 I(x+dx,y)로 대체된다. 이 때 오른쪽 방향의 패턴 영역이 영상 내에 존재하지 않는 경우 반대 방향인 왼쪽 방향으로 2 패턴 간격만큼 떨어진 영역을 참조 영상으로 사용한다. 다음으로 Fig. 7의 두 번째 행에서와 같이 제안된 기법은 입력 영상과 이웃 영상과의 모든 비교에 있어서 TX(x)를 반영하여 패턴 간에 발생할 수 있는 조명에 의한 밝기 변화를 고려한다. 끝으로 제안된 기법에서는 결함의 정도를 세분화하였다. 구체적으로 기존 PCSR-G 기법에서는 최소 또는 최대 영상을 문턱치 이상으로 벗어나는 경우에 결함을 표시하기 위한 함수 D(x,y)를 1로 설정하고 그렇지 않은 경우 0으로 설정한다. 반면 제안 기법에서는 최소 또는 최대 영상을 문턱치 이상 벗어나는 강한 결함의 경우 D(x,y)를 2로 결정하고 최소 또는 최대 영상을 벗어나지만 문턱치 이상 벗어나지 않는 경우 D(x,y)를 1로 결정한다.
Fig. 7.Pseudo code of Self-Reference PCSR-G algorithm.
이러한 과정은 오른쪽 패턴 영상에 이어 왼쪽, 위쪽, 아래쪽 패턴 영상을 참조 영상으로 이용하여 차례로 수행된다. 각 과정에서 얻어진 D(x,y)는 합산되고 합산된 값이 기준치 TD 이상인 경우 최종 결함으로 판정된다. 이처럼 4 방향의 패턴 영상을 모두 참조 영상으로 이용하여 판단하는 방법을 사용함으로써 특정 방향의 패턴 영상에 결함이 포함되어 있는 경우에도 정확한 결함 판정을 수행할 수 있다.
4. 실험 결과
4.1 실험 환경
제안 기법의 성능 평가를 위해 Fig. 8에 보이는 것과 같은 1024 × 1000의 해상도를 가지는 두 가지 타입의 TFT-LCD 패턴 영상을 이용하였다. 제안된 기법의 성능은 기존 리뷰단에서 사용하고 있는 주변 패턴과의 밝기 비교를 이용한 기법과 참조 영상을 이용하는 기존 PCSR-G 기법과 비교되었다. 먼저 주변 패턴과의 밝기 비교를 이용한 기법에서는 전처리 과정으로 중간값(median) 필터링과 형태학 침식(morphology erosion) 필터링을 사용한다. 이후 특정 픽셀의 결함을 판단하기 위해 사전에 주어진 패턴주기 정보에 따라 4 방면의 이웃하는 패턴내의 동일 화소에 대한 평균 밝기값을 구하고 이를 검사하고자 하는 화소와 비교하는 방법이다. 한편 참조 영상을 이용하는 PCSR-G 기법을 위해서는 주기 정보에 따라 한 주기에 해당하는 영상을 원본 영상으로부터 취하여 참조 영상으로 이용하였다.
Fig. 8.Test images. (a) A-Type pattern image, (b) B-Type pattern image.
4.2 픽셀 공차 추정에 따른 결함 검출 성능
제안된 픽셀 공차 ρ의 추정에 따른 결함 검출 성능을 비교 평가하기 위해 픽셀 공차를 임의로 정한 경우와 성능을 비교하였다. Fig. 9의 (a)는 결함이 없는 패턴의 형태를 보여주기 위한 영상이고 (b)는 결함이 포함된 영상이다. Fig. 9의 (c)는 픽셀 공차 ρ를 0.8로 설정한 경우에 대한 결함 검출 결과이고 (d)는 제안된 픽셀 공차 추정 방법을 사용한 경우에 대한 결함 검출 결과이다. 이 때 추정된 ρ값은 0.4161이다. Fig. 9로 부터 제안된 픽셀 공차 추정 방법을 사용하는 경우 왼편 상부에 있는 결함을 포함하여 전반적인 결함이 보다 정확하게 검출됨을 확인할 수 있다.
Fig. 9.Defect detecting performance comparison according to pixel tolerance. (a) No defect image, (b) Defect image, (c) Defect detection result using randomly chosen pixel tolerance, (d) Defect detection result using the proposed pixel tolerance estimation method.
Table 1은 사용자로 하여금 원영상과 결함영상을 육안으로 비교하여 화소 단위로 결함 위치를 표시하게 한 후 양 방법의 결함 검출 성능을 정량적으로 비교한 것이다. Table 1로부터 제안된 픽셀 공차 추정 방법을 통해 보다 정확한 결함 정보를 얻게 됨을 알 수 있다. 이러한 결과는 모의실험에서와 같이 픽셀 공차가 적정 값 이상으로 설정되는 경우 동적 범위가 큰 최소, 최대 영상이 생성되고, 이것이 결함을 판별하는 범위를 필요 이상으로 넓히게 되어 결함을 정상 영역으로 판별하는 것에 기인한다.
Table 1.Comparison of defect area according to pixel tolerance setting method
4.3 조명 변화에 대한 결함 검출 성능
제안하는 결함 검출 알고리즘은 조명에 의한 밝기 오차 정보를 획득하여 이를 결함 검출 시 반영하므로 밝기 오차에 의해 정상 영역이 결함으로 오검출 되거나 결함이 검출되지 않는 문제를 해결할 수 있다. 이러한 조명 변화에 대한 결함 검출 성능을 명확히 입증하기 위해 Fig. 10의 (a)에서와 같이 줄무늬 형태의 조명에 의해 영상의 변화가 뚜렷한 입력 영상을 이용하였다.
Fig. 10.Comparison of defect detecting performance according to local illumination change. (a) Input image including illumination change, (b) Conventional neighboring brightness comparison method, (c) Conventional PCSR-G method, (d) Proposed self-reference PCSR-G method.
기존 주변 패턴과의 밝기 비교를 이용한 기법의 경우 Fig. 10의 (b)영상과 같이 결함 영역이 검출되기는 하나 다수의 오검출이 발생함을 알 수 있다. 이는 패턴 간격만큼 떨어져 있는 4 방면의 화소 중 조명에 의해 그 밝기 값이 크게 차이나는 화소가 포함되는 경우 결함이 아닌 화소를 결함으로 판별하기 때문이다. 또한 기존 PCSR-G 알고리즘의 경우에서도 입력 영상의 결함이 아닌 부분들이 미리 정해진 참조 영상과 비교하여 조명에 의해 그 밝기 값이 크게 다르게 변화된 경우 Fig. 10의 (c)에서와 같이 결함으로 검출된다. 하지만 본 논문에서 제안하는 자기 참조 PCSR-G 알고리즘의 경우 주변 패턴 정보를 이용할 때 밝기 오차 정보를 반영하므로 Fig. 10의 (d)에서와 같이 급격한 조명 변화에도 성공적으로 결함을 검출할 수 있다.
4.4 제안하는 알고리즘의 결함 검출 성능
Fig. 11은 A-타입 패턴 영상에 대한 결함 검출 성능 평가 결과이다. Fig. 11의 (a)에서와 같이 기존 주변 패턴과의 밝기 비교를 이용한 기법의 경우 결함을 일정 부분 검출하였으나 기존 PCSR-G 기법을 사용한 결과인 Fig. 11의 (b)와 제안된 자기 참조 PCSR-G 기법을 사용하는 Fig. 11의 (c)와 비교하여 결함의 일부 영역을 찾아내지 못함을 알 수 있다. 한편 기존 주변 패턴과의 밝기 비교를 이용한 기법의 경우 주변 패턴이 존재하지 않는 경우 반대편으로 두 주기 떨어진 패턴을 이용한다. 예를 들어 아래 방향의 패턴이 존재하지 않는 경우 위 방향으로 두 주기 떨어진 패턴을 이용하게 된다. 이 때 해당 방향으로 조명에 의한 전역 밝기 변화가 크게 나타나는 경우 Fig. 11의 (d)에서와 같이 오검출을 야기한다. 한편 Fig. 11의 (b)에서와 같이 기존 PCSR-G 기법의 경우 제안된 기법과 거의 동일한 수준의 결함 검출이 가능하나 조명의 밝기가 참조 영상과 비교하여 상이하거나 일정치 않은 영역에서 Fig. 11의 (e)에서와 같이 오검출이 발생하였다. 반면 제안된 자기 참조 PCSR-G 기법의 경우 오검출이 없을 뿐 아니라 Fig. 11의 (c)에서와 같이 사용자가 판단한 결함 영역과 비교하여 96% 일치하는 수준의 결함 검출 성능을 보인다.
Fig. 11.Performance evaluation for A-type pattern image. (a) Conventional neighboring brightness comparison method, (b) Conventional PCSR-G method, (c) Proposed self-reference PCSR-G method, (d) False alarm area of the conventional neighboring brightness comparison method, (e) False alarm area of the conventional PCSR-G method.
Fig. 12는 B-타입의 패턴 영상에 대한 결함 검출 성능을 보이고 있다. Table 2는 사용자가 평가한 결함 영역과 비교하여 각 기법의 결함 크기와 검출율을 수치적으로 비교한 것이다. 기존 주변 패턴과의 밝기 비교를 이용한 기법의 경우 Fig. 12의 (a)에 표시된 원 내부에서와 같이 결함을 검출해 내지 못하는 결과가 나타난다. 한편 기존 PCSR-G 기법과 자기 참조 PCSR-G 기법은 기존 주변 패턴과의 밝기 비교를 이용한 기법과 달리 누락되는 위치 없이 결함을 검출하고 있다. 하지만 Table 2에서와 같이 기존 PCSR-G 기법의 검출율은 제안된 자기 참조 PCSR-G 기법에 비해 상대적으로 낮게 나타난다. 이러한 검출율의 차이는 제안된 기법의 경우 공차 추정을 통해 보다 정확한 공차값을 이용하기 때문이다.
Fig. 12.Performance evaluation for B-type pattern image. (a) Conventional neighboring brightness comparison method, (b) Conventional PCSR-G method, (c) Proposed self-reference PCSR-G method.
Table 2.Comparison of defect area for B-type pattern image
4.5 결함 검출 시간 비교
결함 검사를 위한 알고리즘의 경우 검출 성능뿐만 아니라 그 처리속도가 실제 머신 버전에 적용할 수 있는 수준으로 충분히 짧아야 한다. 제안 기법의 경우 픽셀 공차 및 전역 밝기 변화 추정 등의 추가 연산이 요구되므로 처리속도 저하를 피할 수 없다. 이에 그래픽 카드의 GPU(Graphic Processing Unit)를 CPU와 같은 범용 연산 장치로 사용가능하게 하는 GPGPU(General-Purpose computing on Graphics Processing Units) 기술을 활용하여 제안된 기법의 처리속도를 개선하였다. 구체적으로 NVIDIA 사의 CUDA(Compute Unified Device Architecture) 기술을 활용하였는데 화소 기반의 연산 단위를 스레드 (thread)로 할당하였고 가능한 GPU내의 전역 메모리를 이용하지 않고 공유 메모리를 효과적으로 이용할 수 있도록 블록(block)을 할당하였다. 또한 램 영역의 데이터가 GPU의 전역 메모리에 빠르게 전송될 수 있도록 CUDA의 핀드 메모리(pinned memory) 기술 등을 활용하였다[12,13].
Table 3은 실제 적용되고 있는 기존 주변 패턴과의 밝기 비교를 이용한 기법과 제안된 자기 참조 PCSR-G 기법의 처리속도를 비교한 것이다. 실험에는 인텔사의 E8400 3.0GHz CPU, 4G 바이트의 램, 512개의 CUDA 프로세서가 내장된 GTX580 그래픽 카드가 탑재된 개인용 컴퓨터가 이용되었다. Table 3으로부터 제안된 기법이 기존 적용되고 있는 기법에 비해 CPU에서는 약 3배의 연산 시간을 추가로 요구하지만 GPU를 통해 구현되었을 경우 기존 기법에 비해 약 7배 빠른 처리가 가능하여 제안된 기법이 실제 시스템에 실질적으로 적용 가능함을 알 수 있다.
Table 3.Comparative evaluation for processing time
5. 결 론
본 논문에서는 평판 디스플레이의 결함 검출을 위해 참조영상을 사용하지 않으면서 픽셀 공차 문제와 조명의 불균일한 밝기 분포에 강인한 결함 검출 알고리즘을 제안하였다. 구체적으로 기울기 보정을 한 입력 영상에 패턴 간격을 측정하여 픽셀 공차와 밝기 오차 정보를 획득한 후, 픽셀 공차와 밝기 오차 정보가 반영된 자기 참조 PCSR-G 알고리즘을 사용하는 방법을 제안하였다. 모의실험을 통해 제안된 방법이 기존 기법에 비해 오검출을 줄이면서 결함을 보다 정확하게 검출할 수 있음을 보였다. 또한 GPGPU 기술을 통해 제안된 방법을 구현하여 제안된 기법이 기존 활용되는 알고리즘 대비 약 7배의 속도 향상이 가능함을 보였다.
참고문헌
- D.H. Jung, “Status and Challenges of LCD Inspection Equipment Techniques,” Journal of the Korea Information Display Society, Vol. 7, No. 2, pp. 3-9, 2006.
- D. Tsaia, S. Chuanga, and Y. Tsenga, “One-dimensional-based Automatic Defect Inspection of Multiple Patterned TFT-LCD Panels using Fourier Image Reconstruction,” International Journal of Production Research, Vol. 45, No. 6, pp. 1297-1321, 2007. https://doi.org/10.1080/00207540600622464
- Y. Yang, N. Li, and Y. Zhang, “Automatic TFT-LCD Mura Detection based on Image Reconstruction and Processing,” Proceeding of IEEE International Conference on Consumer Electronics, pp. 240-244, 2013.
- L.F. Chen, C.T. Su, and M.H. Chen “A Neural-network Approach for Defect Recognition in TFT-LCD Photolithography Process,” IEEE Transactions on Electronics Packaging Manufacturing, Vol. 32, No. 1, pp. 1-8, 2009. https://doi.org/10.1109/TEPM.2008.926117
- T. Li, J. Tsai, R. Chang, L. Ho, and C. Yang “Pretest Gap Mura on TFT LCDs using the Optical Interference Pattern Sensing Method and Neural Network Classification,” IEEE Transactions on Industrial Electronics, Vol. 60, Issue 9, pp. 3976-3982, 2013. https://doi.org/10.1109/TIE.2012.2207658
- C. Jung, S.M. Lee, B. Yun, J. Lee, I. Choi, and K. Park, “TFT-LCD Defect Detection using Mean Difference Between Local Regions Based on Multi-scale Image Reconstruction,” Journal of Korea Multimedia Society, Vol. 15, No. 4, pp. 439-448, 2012. https://doi.org/10.9717/kmms.2012.15.4.439
- J. Lee, K. Lee, C. Chung, K. Park, Y. Park, and B. Lee, “Pattern Elimination Method Based on Perspective Transform for Defect Detection of TFT-LCD,” Journal of Korea Multimedia Society, Vol. 15, No. 6, pp. 784-793, 2012. https://doi.org/10.9717/kmms.2012.15.6.784
- H. Onishi, Y. Sasa, K. Magai, and S. Tatsumi, “A Pattern Defect Inspection Method by Parallel Grayscale Image Comparison without Precise Image Alignment,” Proceeding of IEEE Conference of the Industrial Electronics Society, Vol. 3, pp. 2208-2213, 2002.
- K. Lee, M. Jang, and P. Park, “A New Defect Inspection Method for TFT-LCD Panel using Pattern Comparison,” The Transactions of The Korean Institute of Electrical Engineers, Vol. 57, No. 2, pp. 307-313, 2008.
- J.F. Canny, “A Computational Approach to Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, Issue 6, pp. 679-697, 1986. https://doi.org/10.1109/TPAMI.1986.4767851
- R.O. Duda and P.E. Hart, “Use of the Hough Transformation to Detect Lines and Curves in Pictures,” Communications of the ACM, Vol. 15, No. 1, pp. 11-15, 1972. https://doi.org/10.1145/361237.361242
-
NVIDIA CUDA Programming Guide(2009),
http://www.nvidia.com/content/cudazone/download/OpenCL/NVIDIA_OpenCL_ProgrammingGuide.pdf (accessed Jan. 2013). - C. Jeong, J. Yoo, and P. Park, “A Defect Inspection Method for TFT Panel using the Compute Unified Device Architecture (CUDA),” IEEE International Symposium on Industrial Electronics, pp. 779-782, 2009.
피인용 문헌
- 푸리에 광학의 디스플레이 기판 결함 검출에의 활용 vol.28, pp.1, 2017, https://doi.org/10.3807/kjop.2017.28.1.001
- 사출성형 자동차부품의 외관 비전검사 방법 vol.23, pp.2, 2015, https://doi.org/10.6109/jkiice.2019.23.2.127