Efficient CT Image Denoising Using Deformable Convolutional AutoEncoder Model

Abstract

CT 영상의 획득 및 전송 등의 과정에서 발생하는 잡음은 영상의 질을 저하시키는 요소로 작용한다. 따라서 이를 해결하기 위한 잡음제거는 영상처리에서 중요한 전처리 과정이다. 본 논문에서는 딥러닝의 convolutional autoencoder (CAE) 모형에서 기존 컨볼루션 연산 대신 deformable 컨볼루션 연산을 적용한 deformable convolutional autoencoder (DeCAE) 모형을 이용하여 잡음을 제거하고자 한다. 여기서 deformable 컨볼루션 연산은 기존 컨볼루션 연산보다 유연한 영역에서 영상의 특징들을 추출할 수 있다. 제안된 DeCAE 모형은 기존 CAE 모형과 같은 인코더-디코더 구조로 되어있으나 효율적인 잡음제거를 위해 인코더는 deformable 컨볼루션 층으로 구성하고, 디코더는 기존 컨볼루션 층으로 구성하였다. 본 논문에서 제안된 DeCAE 모형의 성능 평가를 위해 다양한 잡음, 즉, 가우시안 잡음, 임펄스 잡음 그리고 포아송 잡음에 의해 훼손된 CT 영상을 대상으로 실험하였다. 성능 실험 결과, DeCAE 모형은 전통적인 필터 즉, Mean 필터, Median 필터와 이를 개선한 Bilateral 필터, NL-means 방법 뿐만 아니라 기존의 CAE 모형보다 정성적이고, 정량적인 척도 즉, MAE (Mean Absolute Error), PSNR (Peak Signal-to-Noise Ratio) 그리고 SSIM (Structural Similarity Index Measure) 면에서 우수한 결과를 보였다.

Noise generated during the acquisition and transmission of CT images acts as a factor that degrades image quality. Therefore, noise removal to solve this problem is an important preprocessing process in image processing. In this paper, we remove noise by using a deformable convolutional autoencoder (DeCAE) model in which deformable convolution operation is applied instead of the existing convolution operation in the convolutional autoencoder (CAE) model of deep learning. Here, the deformable convolution operation can extract features of an image in a more flexible area than the conventional convolution operation. The proposed DeCAE model has the same encoder-decoder structure as the existing CAE model, but the encoder is composed of deformable convolutional layers and the decoder is composed of conventional convolutional layers for efficient noise removal. To evaluate the performance of the DeCAE model proposed in this paper, experiments were conducted on CT images corrupted by various noises, that is, Gaussian noise, impulse noise, and Poisson noise. As a result of the performance experiment, the DeCAE model has more qualitative and quantitative measures than the traditional filters, that is, the Mean filter, Median filter, Bilateral filter and NL-means method, as well as the existing CAE models, that is, MAE (Mean Absolute Error), PSNR (Peak Signal-to-Noise Ratio) and SSIM. (Structural Similarity Index Measure) showed excellent results.

I. Introduction

의료영상에서 CT(Computed Tomography, 컴퓨터 단층촬영)는 X-선이 환자 신체 일부를 흡수 혹은 투과하여 인체 내부 장기, 뼈 등에 대한 정밀한 영상을 촬영하고 이를 분석해 환자의 질병을 진단하는 매우 유용한 첨단 의료장비이다. 하지만 이를 획득 및 전송 또는 외부 요인으로 인해 생성된 잡음은 영상의 품질을 저하시켜 의료영상 분석의 방해요소로 작용한다. 특히, 저선량 CT 영상인 경우 방사선량을 줄이면 상대적으로 안전하지만, 잡음이 증가하고 정확도가 떨어진다. 따라서 CT 영상에서 정확한 영상 판독을 위해 효과적인 잡음제거는 영상 복원 분야에서 매우 불가결한 요구조건이다[1].

영상에 흔히 존재하는 잡음에는 가우시안 잡음 , 임펄스 잡음 그리고 포아송 잡음 등이 대표적이다[2-3]. 영상처리 분야에서 이러한 잡음을 제거하기 위한 다양한 방법들이 제안되었으나 대부분 특정 공간 도메인에서 정의된 방법들이다. 전통적인 방법인 Mean 필터, Median 필터 외에도 이를 개선한 Bilateral 필터[4], NL-means 방법[5-6] 등이 여기에 속한다. 이 방법들은 특정한 잡음제거만을 위해 설계된 필터들이다. 따라서 필터의 특성과 잡음분포의 특성이 일치하지 않을 경우 잡음제거하는데 효과적이지 못하다.

최근 몇 년간 딥러닝 중 CNN (convolutional neural network) 모형과 AE (autoencoder) 모형 등이 잡음제거에 주로 사용되었으며, 정성적이고 정량적인 측면에서 우수한 성능을 보였다[7-9]. 원래 CNN 모형은 영상인식에 특화된 모형으로 다수의 컨볼루션 층과 풀링 층을 거쳐 차원을 줄여나가며, 이를 통해 영상이 가진 특징들을 추출하여 잡음을 제거하였고, AE 모형은 인코더-디코더 구조를 갖고 입력값과 같은 출력값을 비지도 학습에 의해 재구성 한다. CAE (convolutional autoencoder) 모형은 CNN 모형과 AE 모형의 결합 형태로서 AE 모형에서 완전 연결층을 CNN 모형의 컨볼루션 층으로 대체하여 얻어진 모형으로 기존 CNN 모형보다 뛰어난 잡음 제거력을 갖고 있고, 최근에는 잡음제거를 위해 CAE 모형으로부터 변형된 모형들이 많이 개발되고 있다[7][10-11].

본 논문에서는 기존 CAE 모형에 deformable 컨볼루션 연산을 적용한 DeCAE (deformable convolutional autoencoder) 모형을 통해 잡음 제거 성능을 향상시키고자 한다. CAE 모형은 인코더와 디코더 모두 컨볼루션 층으로 구성된 AE 구조인 반면에 DeCAE 모형의 인코더는 deformable 컨볼루션 층으로 구성되고, 디코더는 기존 컨볼루션 층으로 구성된 AE 구조이다. 여기서, deformable 컨볼루션 연산은 추가적인 2D 오프셋 연산을 통해 기존 컨볼루션 층 보다 유연한 형태 변형을 통해 다양한 특징추출이 가능한 컨볼루션 연산이다[12-15]. 최근 딥러닝 모형에 deformable 컨볼루션 연산 사용으로 기존 컨볼루션 연산보다 많은 이점으로 인해 객체 탐지, 영상 분할 등에 사용되고 있다[16].

본 논문에서는 제안된 DeCAE 모형의 성능을 평가하기 위해 다양한 잡음, 즉, 가우시안 잡음, 임펄스 잡음 그리고 포아송 잡음하에서 전통적인 공간 필터인 Mean 필터, Median 필터와 기존의 딥러닝의 CAE 모형과 비교하였다. 성능실험에서 비교척도로서 직접 눈으로 평가하는 정성적인 비교와 PSNR (Peak Signal-to-Noise Ratio), MAE (Mean Absolute Error)와 SSIM(Structural Similarity Index Measure)을 통한 정량적인 비교를 수행한다[17-18].

본 논문은 다음과 같이 구성되어 있다. 제 II 장에서는 관련 연구로서 잡음 모형과 딥러닝의 CAE 모형에 대해 논의하고, 제 III 장에서는 DeCAE 모형을 이용한 잡음제거 방법에 대해 논의한다. 제 IV 장에서는 영상 실험을 통해 정성적이고, PSNR, MAE, SSIM 척도에 의한 정량적인 비교를 수행하고 제 V 장에서 결론을 맺는다.

II. Preliminaries

1. Noise Models

X∈R^{m × n} 와 Y∈R^{m × n}을 각각 원영상과 잡음영상이라 할 때 잡음 정도가 α인 가우시안 잡음 모형은 식 (2.1)과 같다.

Y = X + α × Z ,       (2.1)

여기서 Z는 평균이 0이고 표준편차가 1인 표준정규분포를 갖는 확률변수를 나타낸다.

잡음 비율 p인 임펄스 잡음 모형은 식 (2.2)와 같다.

\(\begin{aligned}Y=\left\{\begin{array}{l}X: \text { with probability } 1-p \\ \eta: \text { with probability } p\end{array}\right.\end{aligned}\)       (2.2)

여기서 η은 픽셀값이 0 또는 255(혹은 1)인 잡음을 나타낸다.

잡음 정도가 α인 포아송 잡음 모형은 식 (2.3)과 같다.

Y = X + α × P(λ),       (2.3)

여기서 P(λ)는 평균 λ인 포아송 분포를 갖는 확률 변수를 나타낸다.

2. CAE Model

잡음 제거를 위한 CAE 모형은 Fig. 2.1과 같이 인코더-디코더 구조를 갖고 있고 DNN(deep neural network)의 완전 연결 층 대신 CNN의 컨볼루션 층을 갖는 모형이다. 다시 말하면, CAE 모형은 AE 모형의 인코더에는 컨볼루션 층과 풀링 층으로 구성되며, 디코더에는 컨볼루션 층과 업샘플링 층을 사용하여 얻어진 모형으로 AE 모형에 비해 영상처리에 적합하다[19-21].

Fig. 2.1 CAE architecture for image denoising

Fig. 2.1에서 CAE의 구조를 살펴보면, 인코더에서 세번의 컨볼루션 층과 두 번의 맥스풀링 층을 통해 크기를 줄여나가며 영상의 의미 있는 특징들을 추출하며, 디코더에서 세 번의 컨볼루션 층과 두 번의 업샘플링 층들을 통해 잡음제거 영상을 출력한다. 학습은 재구성 오차에 의해 얻어진 손실 함수가 최소가 되도록 비지도 학습에 의해 이루어진다.

III. The Proposed DeCAE model forImage Denoising

1. Deformable Convolution

먼저 일반적인 3×3 컨볼루션을 생각해보자. 그러면 컨볼루션 커널의 각 위치를 식 (3.1)과 같이 표현할 수 있다.

R = {(-1, -1), (-1, 0), ...,(0, 1), (1, 1)}       (3.1)

각 위치 p_n∈R의 커널값을 w(p_n)라 표시하고, 특징맵에서 임의의 위치 p₀∈R의 픽셀값을 x(p₀)라 표시할 때, 임의의 위치 p₀에서의 일반적인 컨볼루션 연산은 식 (3.2)와 같다.

\(\begin{aligned}y\left(p_{0}\right)=\sum_{p_{n} \in R} w\left(p_{n}\right) x\left(p_{0}+p_{n}\right)\end{aligned}\)       (3.2)

deformable 컨볼루션은 식 (3.2)에서 픽셀값 x(p₀ + p_n)에 오프셋 ∆p_n을 더함으로서 식 (3.3)과 같이 얻어진다.

\(\begin{aligned}y\left(p_{0}\right)=\sum_{p_{n} \in R} w\left(p_{n}\right) x\left(p_{0}+p_{n}+\triangle p_{n}\right)\end{aligned}\)       (3.3)

식 (3.3)에서 x(p₀ + p_n + ∆p_n)은 유연한 형태의 수용영역을 나타낸다. 여기서 ∆p_n는 정수가 아닌 유리수임으로 x(p₀ + p_n + ∆p_n)의 값은 양선형 보간법에 의해 도출한다 [12].

Fig. 3.1은 일반적인 컨볼루션과 deformable 컨볼루션에서의 그리드를 보여주고 있다.

Fig. 3.1 Illustration of sampling grids in 3 × 3 standard and deformable convolutions: (a) regular sampling grid of standard convolution, (b),(c),(d) deformed sampling locations with augmented offsets in deformable convolution

Fig. 3.1에서 보면 (a)는 기존 컨볼루션 연산의 3 × 3필터이다. 이 경우 필터 내 고정된 수용 영역에서만 특징을 추출하게 된다. (b),(c),(d)는 deformable 컨볼루션 연산이 특징을 추출하는 영역이고, (a) 영역보다 유연한 영역에서 다양한 패턴의 특징을 추출할 수 있다.

Fig. 3.2는 3 × 3 deformable 컨볼루션 연산을 나타내고 있다.

Fig. 3.2 Architecture of 3 × 3 deformable convolution

Fig. 3.2의 구조처럼 deformable 컨볼루션 연산에는 입력 특징 맵에서 기존 컨볼루션 연산뿐만 아니라 추가적인 2D 오프셋이 존재하며, 오프셋 영역을 학습하는 컨볼루션 연산의 정보를 받아 출력 특징 맵을 생성한다.

2. Proposed DeCAE Model

우리는 잡음제거를 위해 CAE 모형을 개선한 DeCAE 모형을 제안하고자 한다. Fig. 3.3은 제안된 DeCAE 모형의 구조를 나타내고 있다.

Fig. 3.3 DeCAE architecture for image denoising

Fig. 3.3에서 보는 것처럼, DeCAE 모형의 가장 큰 특징은 인코더에서 일반적인 컨볼루션 층 대신 deformable 컨볼루션 층을 사용한다. 여기서 각 층 아래 숫자는 영상에 적용된 필터의 크기를 나타낸다.

DeCAE 모형은 입력으로 잡음 영상을 취하고 목표 영상으로 원본 영상을 설정한 다음 지도 학습에 의해 출력 영상과 목표 영상과의 픽셀 값의 차이가 최소가 되도록 학습을 통해 잡음이 제거된 영상을 얻는다.

학습 데이터 (X, Y)을 가지고 이들 과정을 설명하고자 한다. 여기서 X는 잡음 없는 영상, Y는 잡음 영상이다. 먼저, 인코더에서는 잡음 영상 Y을 잠재 표현 H로 매핑한다. 이를 매핑함수 f을 사용하여 수식으로 표현하면 식 (3.4)와 같다.

H = f(W* Y + b),       (3.4)

여기서 *는 deformable 컨볼루션 연산자이고 W는 입력층과 잠재 표현 사이 가중치 행렬 그리고 b은 바이어스이다.

디코더에서 각 디코더 과정은 잠재 표현 H로부터 입력차원과 같은 형태로 재구성된다. 이를 매핑함수 g을 사용하여 수식으로 표현하면 식 (3.5)와 같다.

\(\begin{aligned}\widehat{X}=g\left(V^{*} H+c\right)\end{aligned}\)       (3.5)

여기서 *는 컨볼루션 연산자이고, V는 디코더에서 잠재 표현과 출력층 사이 가중치 행렬 그리고 c은 바이어스이다.

DeCAE 모형은 식 (3.6)에 주어진 오차 제곱이 최소가 되도록 학습이 진행된다.

\(\begin{aligned}L(X, \hat{X})=\|X-\hat{X}\|^{2}\end{aligned}\)       (3.6)

본 논문에서 최적화 알고리즘으로 Adam을 사용한다[22][23][24]. 여기서 Adam 알고리즘을 사용하는 이유는 잡음 데이터에 뛰어난 적응력과 처리 속도를 개선하기 위해서이다.

IV. Experiment and Results

1. Performance experiment

본 논문에서 제안된 DeCAE 모형의 잡음제거 성능을 평가하기 위해 전통적 잡음제거 방법인 Mean 필터, Median 필터와 이를 개선한 Bilateral 필터와 NL-Means 방법, 기존 딥러닝 모형인 CAE 모형과 비교하고자 한다. 여기서 Mean 필터, Median 필터는 3 × 3 크기의 필터를 사용하였다. 그리고 CAE 모형은 Fig. 2.1에서 보는 것처럼 인코더와 디코더가 각각 3개의 층으로 구성되어 있다. 본 실험에서는 최적화 알고리즘으로 Adam을 사용하였으며 반복수는 100으로 설정하였다.

성능실험에서 사용된 영상은 Kaggle의 COVID-19 방사선 데이터셋을 사용하였다[25-26]. 우리는 데이터 셋에서 3616장의 COVID-19 CT 영상을 사용하여 실험하였다. 모형 학습을 위해 훈련 영상, 검증 영상과 테스트 영상의 비율을 60% (2169장): 20% (723장): 20% (724장)로 분할하였다.

실험에 사용된 잡음영상은 II.1절의 잡음모형에서 여러 잡음비율에 따라 얻어진다. Fig. 4.1은 실험 데이터 셋에서 원영상에 대한 대표적인 잡음영상들을 나타낸다.

Fig. 4.1 Original image and noisy images from COVID-19 Radiography Dataset​​​​​​​

Fig. 4.1(a)은 원 영상, Fig. 4.1(b)는 식 (2.1)에서 α = 0.10인 경우 얻어진 가우시안 잡음영상, Fig. 4.1(b)는 식 (2.2)에서 p = 0.05인 경우 얻어진 임펄스 잡음영상, Fig. 4.1(c) 는 식 (2.3)에서 α = 0.10, λ = 1인 경우 얻어진 포아송 잡음영상을 나타낸다.

제안된 DeCAE 모형의 학습 과정을 그래프를 통해 확인하고자 한다. 여기서는 학습 반복수가 증가함에 따라 손실함수의 변화추이를 살펴보았다. Fig. 4.2는 COVID-19 방사선 데이터셋에서 고려되는 3가지 잡음영상에 대해 학습 반복수에 따른 DeCAE 모형의 수렴상태를 보여주고 있다. 여기서 train 과 validation는 각각 훈련 데이터와 검증 데이터에서 모형의 손실함수를 나타낸다.

Fig. 4.2 DeCAE model convergence for noisy images from COVID-19 Radiography Dataset​​​​​​​

Fig. 4.2로부터 훈련 데이터와 검증 데이터에서 모든 잡음에서의 그래프가 비슷한 수렴 형태를 보였다. 학습이 진행됨에 따라 손실함수가 0.001 근처로 수렴하고 있음을 알 수 있다. 특히, Fig. 4.2 (b)의 임펄스 잡음에서는 손실함수 값이 0.001 이하로 수렴하는 것을 확인할 수 있다. 이는 DeCAE 모형이 안정적인 학습을 바탕으로 뛰어난 잡음 제거능력을 갖고 있음을 의미한다.

2. Comparison of Results

2.1 Qualitative Comparison

Fig. 4.3은 COVID-19 방사선 데이터셋에서 여러 잡음 제거 방법들을 Fig. 4.1(b)의 가우시안 잡음영상에 적용하여 얻은 실험 결과이다.

Fig. 4.3 Experiment results for Gaussian noisy image in Figure 4.1(b)​​​​​​​

Fig. 4.3에서 보면, Mean 필터, Median 필터, Bilateral 필터는 모두 심하게 흐릿한 영상 결과를 보였고. NL-Means 방법은 이들 필터보다는 더 흐릿한 영상 결과를 보였으나, 딥러닝 모형과 비교해서는 흐릿한 영상 결과를 보였다. DeCAE 모형은 CAE 모형과 비교하여 비슷한 결과를 보였으며 위의 전통적인 필터들보다 좋은 화질의 영상을 보였다.

Fig. 4.4는 COVID-19 방사선 데이터셋에서 여러 잡음 제거 방법들을 Fig. 4.1(c)의 임펄스 잡음영상에 적용하여 얻은 실험 결과이다.

Fig. 4.4 Experiment results for impulse noisy image in Figure 4.1 (c)​​​​​​​

Fig. 4.4에서 보면, 기대한 바와 같이 Median 필터는 Mean 필터보다 좋은 잡음제거 결과를 보였다. 이는 전통적인 필터가 특정 잡음제거만을 위해 설계되었음을 알 수 있다. 여기서 Mean 필터는 임펄스 잡음을 거의 제거하지 못함을 알 수 있으며, Bilateral 필터와 NL-Means 방법 또한 임펄스 잡음이 일부 존재함을 알 수 있다. DeCAE 모형은 CAE 모형과 함께 좋은 잡음 제거 결과를 보였다.

Fig. 4.5는 COVID-19 방사선 데이터셋에서 여러 잡음 제거 방법들을 Fig. 4.1(d)의 포아송 잡음영상에 적용하여 얻은 실험 결과이다.

Fig. 4.5 Experiment results for Poisson noisy image in Figure 4.1(d)​​​​​​​

Fig. 4.5 에서 보면, DeCAE 모형은 CAE 모형과 함께 Fig. 4.1(a)의 원 영상과 가까운 영상을 얻었고, 전통적인 방법에서는 Bilateral 필터와 NL-Means 방법이 Mean 필터와 Median 필터보다 잡음제거력이 좋은 것처럼 보였다.

2.2 Quantitative Comparison

모형의 성능 평가를 육안으로 비교하는 정성적인 평가는 한계점이 존재한다. 본 실험에서 모형의 정량적인 성능 평가를 위한 대표적인 척도로서 PSNR, MAE와 SSIM을 사용하였다[16][17].

X∈R^{m × n}을 원 영상, Ŷ∈R^{m × n}을 복원영상이라 할 때 PSNR는 식 (4.1)과 같이 정의된다.

\(\begin{aligned}P S N R=20 \times \log _{10}\left(\frac{M A X}{\sqrt{M S E}}\right)\end{aligned}\),       (4.1)

여기서 MAX는 영상의 최대 픽셀값(1 또는 255)을 나타내고 MSE는 식 (4.2)와 같다.

\(\begin{aligned}M S E=\frac{1}{m n} \sum_{i \in m \times n}\left\{X_{i}-\hat{Y}_{i}\right\}^{2}\end{aligned}\),      (4.2)

PSNR값이 클수록 화질이 우수하다고 말할 수 있다. MAE는 식 (4.3)과 같다.

\(\begin{aligned}M A E=\frac{1}{m n} \sum_{i \in m \times n}\left|X_{i}-\widehat{Y}_{i}\right|\end{aligned}\),      (4.3)

MAE 값은 0에 가까울수록 원영상과 유사하며 따라서 이 작을수록 잡음제거 방법이 성능이 뛰어나다는 것을 의미한다.

SSIM은 위의 평가 척도와는 달리 잡음영상 Y과 복원 영상 Ŷ사이의 구조적 유사도를 측정한 척도로 식 (4.4)와 같이 정의된다.

SSIM(Y, Ŷ) = l(Y, Ŷ)·c(Y, Ŷ)·s(Y, Ŷ).       (4.4)

여기서 l(luminance, 휘도), c(contrast, 대조), s(structure, 구조)이며, 이들은 각각 식 (4.5), 식 (4.6), 식 (4.7)과 같다.

\(\begin{aligned}l(Y, \hat{Y})=\frac{2 \mu_{Y} \mu_{\hat{Y}}+C_{1}}{\mu_{Y}^{2}+\mu_{\hat{Y}}^{2}+C_{1}}\end{aligned}\),       (4.5)

\(\begin{aligned}c(Y, \hat{Y})=\frac{2 \sigma_{Y} \sigma_{\hat{Y}}+C_{2}}{\sigma_{Y}^{2}+\sigma_{\hat{Y}}^{2}+C_{2}}\end{aligned}\),       (4.6)

\(\begin{aligned}s(Y, \hat{Y})=\frac{\sigma_{Y \hat{Y}}+C_{3}}{\sigma_{Y} \sigma_{\hat{Y}}+C_{3}}\end{aligned}\).       (4.7)

여기서 μ_Y는 Y의 평균, μ_Ŷ는 Ŷ의 평균, σ_YŶ는 Y,Ŷ의 공분산 그리고 C₁, C₂, C₃는 분모가 0이 되는 것을 방지하기 위한 안정화 변수이다. SSIM값이 1에 가까울수록 원영상과 완전한 구조적 유사도를 가진다고 할 수 있다. 따라서 SSIM 값이 클수록 잡음 제거 영상이 원영상과 가깝다고 할 수 있다.

본 실험에서는 각각의 모형에 대해 테스트 데이터에서 10회 반복 실험하여 도출된 성능 수치, 즉, MAE, PSNR, SSIM의 평균값으로 나타내었다.

Table 4.1은 Fig. 4.1(b)의 가우시안 잡음영상에서 여러 방법들을 적용하여 얻은 성능 수치이다.

Table 4.1 Performance comparison of denoising methods for Gaussian noisy images in Fig. 4.1(b)​​​​​​​

Table 4.1로부터 DeCAE 모형이 모든 척도 하에서 가장 뛰어난 수치를 보였고, 다음으로 CAE 모형 순으로 나타났다. 두 모형 즉, DeCAE 모형과 CAE 모형 간의 성능 수치는 잡음 정도 (α = 0.10)와 CT 영상에 영향을 받는다. 따라서 많은 잡음이 포함된 복잡한 영상일수록 DeCAE 모형의 deformable 컨볼루션 연산 사용으로 인해 성능 수치 차이는 커질 수 있다[27]. 전통적인 방법에서는 NL-Means 방법, Bilateral 필터 순으로 나타났다.

Table 4.2는 Fig. 4.1(c)의 임펄스 잡음영상에서 여러 방법들을 적용하여 얻은 성능 수치이다.

Table 4.2 Performance comparison of denoising methods for impulse noisy images in Fig. 4.1 (c)​​​​​​​

Table 4.2로부터 PSNR 관점에서 보면, DeCAE 모형이 가장 좋은 성능을 보였고, MAE와 SSIM 관점에서는 Median 필터, DeCAE 모형 순으로 나타났다. 여기서 DeCAE 모형과 Median 필터의 SSIM 수치를 비교해 보면, 각각 0.9806과 0.9831로 큰 차이가 나지 않는 것을 알 수 있다.

Table 4.3은 Fig. 4.1(d)의 포아송 잡음영상에서 여러 방법들을 적용하여 얻은 성능 수치이다.

Table 4.3 Performance comparison of denoising methods for Poisson noisy images in Fig. 4.1(d)​​​​​​​

Table 4.3의 결과를 보면, DeCAE 모형은 모든 척도에 대해 성능이 가장 뛰어남을 알 수 있고, 그 다음으로 CAE 모형 순으로 좋은 성능을 보이는 것을 확인할 수 있다. 이들 간의 성능 차이는 DeCAE 모형의 deformable 컨볼루션 연산 사용에 기인한다.

V. Conclusions

CT 영상과 같은 디지털 방사선 영상은 획득 및 처리과정에서 생성된 잡음을 효과적으로 제거하는 일은 의료영상 분석에서 매우 중요한 일이다.

지금까지 영상처리 분야에서 잡음을 제거하기 위한 많은 방법들이 제안되었으나 주로 공간 도메인에서 정의된 잡음제거 방법이고, 이 방법들은 특정 잡음만을 제거하기 위해 설계하였다. 그러나 실제 영상에서 사전에 잡음의 특성을 파악하는 일은 번거로운 작업일 뿐 만 아니라 결코 쉬운 일이 아니다. 따라서 잡음 정보를 만족하지 못하는 경우 성능이 현저히 떨어지는 경향이 있다.

오늘날 딥러닝 모형은 잡음제거와 같은 영상처리 분야에서도 우수한 성능을 보이고 있다. 특히, 딥러닝 모형 중 CNN 모형과 AE 모형이 주로 잡음제거 하는데 사용되었다.

본 논문에서는 CT 영상에서 잡음제거를 위해 기존 CAE 모형의 변형인 DeCAE 모형을 제안하였다. DeCAE 모형은 기존 CAE 모형과 같이 인코더-디코더 구조를 갖고 있으며, 인코더의 일반적인 컨볼루션 층을 deformable 컨볼루션 층으로 대체하여 효과적인 잡음제거 영상을 얻는 구조이다. 여기서 deformable 컨볼루션은 기존 컨볼루션보다 추가적인 2D 오프셋 연산을 통해 유연한 영역에서 영상의 특징들을 추출을 통해 잡음제거 성능향상을 꾀하였다.

본 논문에서는 제안된 DeCAE 모형의 성능을 전통적인 방법인 Mean 필터, Median 필터, 이를 개선한 Bilateral 필터, NL-Means 방법과 기존의 딥러닝 모형인 CAE 모형과 비교하였다. 성능 실험은 다양한 잡음에 의해 훼손된 CT 영상을 통해 정성적 성능 평가와 MAE, PSNR 그리고 SSIM 척도를 통한 정량적 성능 평가로 이루어졌다. 성능실험 결과, 정성적인 비교에서 보면 DeCAE 모형은 기존의 CAE 모형과는 유사한 잡음제거 결과를 보였고 전통적인 방법보다는 원영상과 가까운 선명한 영상 결과를 얻었다. 정량적인 비교에서 보면, DeCAE 모형은 모든 잡음 영상에서 모든 척도 하에서 CAE 모형보다 좋은 수치를 보였고, 전통적인 방법들과의 비교에서도 임펄스 잡음 영상에서 MAE와 SSIM 척도 하에서 Median 필터를 제외하고 좋은 수치를 보였다.

본 논문에서는 제안된 DeCAE 모형을 평가하기 위해 COVID-19 CT 영상에 극한하여 실험하였다. 향후 연구에서는 다양하고 독특한 수 많은 패턴의 잡음을 갖는 복잡한 영상에서 여러 딥러닝 모형과의 성능 비교의 필요성이 있다고 사료된다.