초음파 영상에서의 초고분해능 합성곱 신경망 알고리즘의 시뮬레이션 및 실험 연구

Simulation and Experimental Studies of Super Resolution Convolutional Neural Network Algorithm in Ultrasound Image

Abstract

초음파는 의료분야에서 비파괴적 및 비침습적인 질병 진단에 널리 활용되고 있다. 진단의료영상의 질병진단 정확도를 향상시키기 위하여 공간 분해능을 향상시키는 것은 매우 중요하다. 본 연구에서는 초음파 영상에서의 초고분해능 합성곱 신경망 알고리즘 (super resolution convolutional neural network, SRCNN)을 모델링하여 적용 가능성을 분석하고자 한다. 연구는 Field II 시뮬레이션과 open source로 제공되는 임상 간 혈관종 초음파 영상을 사용한 실험 연구로 수행되었다. 제안하는 SRCNN 알고리즘은 저분해능 (low resolution, LR)에서 고분해능 (high resolution)으로 end-to-end 방식의 학습이 적용될 수 있도록 모델링하였다. 시뮬레이션 결과 Field II 프로그램을 통한 팬텀 영상에서의 반치폭 값은 SRCNN을 사용하였을 때 LR에 비하여 41.01% 향상되는 것을 확인하였다. 또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM)) 평가 결과는 시뮬레이션과 실제 간 혈관종 영상에서 SRCNN이 가장 우수한 값으로 도출되었다. 결론적으로 SRCNN의 초음파 영상에서의 적용 가능성을 증명하였고, 나아가 다양한 진단의료분야에서의 사용이 가능할 것으로 기대한다.

Ultrasound is widely used in the medical field for non-destructive and non-invasive disease diagnosis. In order to improve the disease diagnosis accuracy of diagnostic medical images, improving spatial resolution is a very important factor. In this study, we aim to model the super resolution convolutional neural network (SRCNN) algorithm in ultrasound images and analyze its applicability in the medical diagnostic field. The study was conducted as an experimental study using Field II simulation and open source clinical liver hemangioma ultrasound imaging. The proposed SRCNN algorithm was modeled so that end-to-end learning can be applied from low resolution (LR) to high resolution. As a result of the simulation, we confirmed that the full width at half maximum in the phantom image using a Field II program was improved by 41.01% compared to LR when SRCNN was used. In addition, the peak to signal to noise ratio (PSNR) and structural similarity index (SSIM) evaluation results showed that SRCNN had the excellent value in both simulated and real liver hemangioma ultrasound images. In conclusion, the applicability of SRCNN to ultrasound images has been proven, and we expected that proposed algorithm can be used in various diagnostic medical fields.

Ⅰ. INTRODUCTION

초음파는 인체가 들을 수 없는 주파수 범위를 사용하여 다양한 분야에 사용되고 있다. 진단의료분야에서 사용되고 있는 초음파 영상은 인체의 병변을 비파괴적 및 비침습적으로 관찰할 수 있다^[1,2].

이러한 초음파 영상의 화질은 우수한 질병 진단 정확도 얻기 위하여 개선시키는 것이 매우 중요하다. 일반적으로 초음파 영상의 화질을 개선시키는 방법으로 새로운 하드웨어 또는 소프트웨어 기술을 많은 연구자들이 개발하고 있다. 하드웨어 기술로는 기존에 주로 사용되는 PZT 물질보다 우수한 압전결정을 개발하거나 향상된 신호처리 시스템의 개발이 주로 이루어지고 있지만, 유저들의 비용적인 측면에 부담이 될 수 있다^[3]. 이러한 단점을 개선시키기 위해 소프트웨어 기반의 알고리즘을 개발하여 초음파 영상에 적용하는 방법이 널리 활용되고 있다.

특히나, 초음파 영상의 화질 중 분해능 개선에 관한 소프트웨어 기술 개발에 관한 연구들이 다양하게 수행되고 있다. Kim 등의 논문에 의하면 갑상샘 결절을 검출함에 있어 비지역적 평균 기반의 알고리즘을 초음파 영상에 적용하여 전반적인 화질 향상을 달성할 수 있음이 증명되었다^[4]. 최근에는 다양한 딥러닝 또는 인공지능 기반의 알고리즘들이 초음파 영상 분해능 개선에 적극적으로 활용되고 있다^[5-8]. 적대적 생성 신경망 (generative adversarial network, GAN) 및 U-net 기반의 기본적인 딥러닝 구조를 사용하여 휴대용 초음파 장치를 사용한 시스템에서 획득된 영상의 반치폭 (full width at half maximum, FWHM)이 향상됨이 증명되었다^[5]. 또한, 간, 유방, 그리고 갑상샘 영역의 질병 검출 정확도를 향상시키기 위한 방법으로 딥러닝 기반의 잔차신경망 (residual neural network, ResNet) 및 densely connectivity convolutional neural network, DenseNET)이 초음파 영상 분해능 개선에 적용되고 있다^[6-8].

이러한 딥러닝 기반의 공간 분해능을 향상시키는 방법 중 가장 대표적으로 알려진 것이 합성곱신경망 (convolutional neural network, CNN)을 사용하는 것이다. CNN을 기반으로 한 초고분해능 합성곱신경망 (super resolution CNN, SRCNN)은 저분해능(low resolution, LR)에서 고분해능 (high resolution, HR)으로 end-to-end 방식의 학습을 통해 영상 복원에 활용하는 원리를 사용한다^[9].

본 연구에서는 SRCNN 알고리즘을 모델링하여 초음파 영상에 적용 후 분해능 개선의 가능성을 분석하고자 한다. 연구 수행은 시뮬레이션과 open source를 사용한 실제 임상 데이터를 활용하여 수행하였다. SRCNN 알고리즘의 유용성을 증명하기 위한 비교군으로는 bicubic 보간법을 사용하였다.

Ⅱ. MATERIAL AND METHODS

1. 시뮬레이션 및 임상 데이터 획득

시뮬레이션에 사용된 프로그램은 FieldⅡ 이다. FieldⅡ 프로그램은 공간 임펄스 응답 개념을 기반으로 개발되었으며, 펄스파와 연속파를 사용한 다양한 초음파 영상 시스템의 모델링이 가능하다^[10]. 본 연구에 사용된 팬텀 영상은 낭종물질로 구성된 part를 선택하였다.

임상 데이터는 Signal Processing Laboratory에서 제공하는 open source를 간 혈관종 초음파 영상을 사용하였다. Open source 데이터를 활용한 후향적 연구로 연구윤리심의위원회 심의 또는 심의면제 절차를 진행하지 않았다.

2. SRCNN 알고리즘 모델링 및 구성

Fig. 1과 같이 LR 초음파 영상을 HR 초음파 영상으로 복원하기 위하여 사용된 SRCNN은 크게 3가지 부분으로 나누어 설명될 수 있다^[11]. 먼저, LR 영상을 기존의 보간방법 (예, linear, bi-linear, bi-cubic, etc.)을 이용하여 LR upsampling 영상을 획득한 후, CNN layer에서 patch extraction 및 representation을 수행한다. 이와 같은 작업은 입력된 LR upsampling 영상을 patch 형태로 만든 후, 각 patch에 대한 feature map을 생성하는 작업을 수행한다. 이 때, 9×9 convolution filter를 적용하였다. 추출된 feature map에 바이어스를 가중한 후 ReLU 함수를 이용하여 최종적인 값을 다음 layer에 반영한다.

Fig. 1. Used overview of the SRCNN. Feature maps and patches were extracted using layers, and a high-resolution ultrasound image was finally derived.

두 번째 과정은 첫 번째 과정에서 추출한 feature map을 비선형적으로 매핑하는 작업을 수행한다. 해당 작업은 첫 번째 layer를 통해 도출된 결과를 다양한 컨볼루션 layer에 결합하여 도출하는 방식으로 본 논문에서는 5×5 convolution filter를 이용하여 결과를 도출하였다.

마지막 과정은 본 영상의 형태로 재구성한다. 이를 통해 최종적으로 HR 이미지를 생성하게 되며, 원본 영상과 오차를 계산하는 함수는 평균 제곱 오차 (mean square error, MSE)를 적용하였다. 본 연구에는 optimizer로 stochastic gradient descent (SGD)를 사용하였으며, learning rate은 10^-4으로 설정하였다. 총 5000장의 데이터를 사용하였으며, test와 training에 사용된 데이터 비율은 3 : 7로 설정하여 훈련하였고, training 시 validation set과 training set의 비율은 3 : 7을 사용하였다. 입력된 LR 영상의 크기는 100 × 100 pixel로 제안된 모델을 통해 도출된 고해상도 영상의 크기는 400 × 400 pixel 이다.

3. 영상화질의 정량적 평가

시뮬레이션 연구에서 획득한 초음파 영상화질의 정량적 평가 방법으로는 영상의 profile 획득 후 FWHM을 측정하여 분해능의 개선정도를 확인하였다. 또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM))를 시뮬레이션 된 초음파 영상 평가에 사용하였다. 간 혈관종 초음파 영상의 정량적 평가 인자로는 PSNR과 SSIM을 사용하였다. PSNR과 SSIM 평가 수식은 아래와 같다.

\(\begin{aligned}P S N R=10 \log \frac{s^{2}}{M S E}\end{aligned}\)       (1)

s : 영상의 픽셀 최대값

MSE : 평균 제곱 오차 (mean square error)

\(\begin{aligned}\begin{array}{l}\operatorname{SSIM}(x, y) \\ =\frac{\left(2 \mu_{x} \mu_{y}+C_{1}\right)\left(2 \sigma_{x y}+C_{2}\right)}{\left(2 \mu_{x}^{2}+\mu_{y}^{2}+C_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+C_{2}\right)}\end{array}\end{aligned}\)       (2)

μ_x : x의 영상의 평균 휘도 (luminance)

μ_y : y의 영상의 평균 휘도 (luminance)

σ_x : x의 픽셀 간 표준편차

σ_y : y의 픽셀 간 표준편차

C₁ : 1번 안정화 변수

C₂ : 2번 안정화 변수

Ⅲ. RESULT

Fig. 2는 FieldⅡ 시뮬레이션 프로그램을 활용하여 획득한 초음파 낭종 팬텀의 알고리즘 적용 결과 영상들이다. 육안적으로 관찰하였을 때 LR 초음파 영상에서 가장 흐림현상이 강하게 관찰되었고 제안하는 SRCNN 알고리즘을 적용한 결과 영상의 경계부분이 명확하게 도출되는 것을 확인할 수 있었다.

Fig. 2. Result images including SRCNN algorithm using FieldⅡ simulation program.

Fig. 2 - (a)에 표시한 위치에서 획득한 line profile 결과를 Fig. 3에 나타내었다. Profile에서 관찰할 수 있듯이 LR과 bicubic 보간법을 적용하였을 때에 비하여 SRCNN 알고리즘의 peak 값이 두드러지는 경향을 보여주었다.

Fig. 3. Graph for profile with respect to algorithm.

Profile을 기반으로 분석한 FWHM 값은 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 0.800, 0.781, 그리고 0.472 로 도출되었다. SRCNN 알고리즘을 사용한 영상에서 가장 우수한 FWHM 값을 획득할 수 있었고 특히나 LR에 비해서 약 41.01% 향상된 결과값이 도출되었다.

Fig. 4는 시뮬레이션 된 초음파 영상의 PSNR 및 SSIM의 결과 그래프이다. PSNR 값은 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 7.73, 11.93, 그리고 17.50으로 도출되었다. 또한, SSIM 데이터는 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 0.652, 0.776, 그리고 0.840으로 계산되었다. PSNR과 SSIM 결과에서 모두 SRCNN 알고리즘이 가장 우수한 값이 도출되었으며, 제안하는 방법이 LR에 비하여 각각 126.39 및 28.72%가 향상됨을 확인하였다.

Fig. 4. Result graphs for PSNR and SSIM calculations with respect to algorithm in simulated ultrasound images.

Fig. 5는 open source로 획득한 간 혈관종 초음파 영상의 알고리즘 적용에 따른 결과 영상이다. 시뮬레이션 연구와 마찬가지로 육안적으로 관찰하였을 때 SRCNN 알고리즘을 적용한 영상에서 혈관종이 명확하게 관찰되는 것을 확인할 수 있었다.

Fig. 5. Result images including SRCNN algorithm using clinical ultrasound image with live hemangioma.

Fig. 6는 실제 임상 간 혈관종 초음파 영상에서 측정한 알고리즘 적용에 따른 PSNR 및 SSIM의 결과 그래프이다. PSNR 값은 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 17.00, 23.00, 그리고 37.99로 도출되었다. 또한, SSIM 데이터는 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 0.450, 0.687, 그리고 0.871로 계산되었다. 시뮬레이션 결과와 마찬가지로 PSNR과 SSIM 결과에서 모두 SRCNN 알고리즘에서 가장 우수한 값이 도출되었고, 제안하는 방법이 LR에 비하여 각각 123.45 및 93.64%가 향상됨을 확인하였다.

Fig. 6. Result graphs for PSNR and SSIM calculations with respect to algorithm in clinical ultrasound image with liver hemangioma.

Ⅳ. DISCUSSION

SRCNN 알고리즘은 딥러닝을 초고분해능을 획득할 수 있는 영상화질 개선 방법으로 유용하게 활용할 수 있다. LR 영상을 획득한 후 bicubic을 이용하여 HR 영상의 크기와 동일하게 생성하는 기본적인 원리가 사용되므로 최근 진단의료분야에서 널리 사용되고 있는 초음파 검사에 적용 가능성이 매우 높다고 사료된다. 향후 SRCNN의 네트워크를 고차원으로 구성하거나 노이즈 제거 기법을 적절하게 융합하여 활용한다면 현재보다 성능이 우수한 딥러닝 기반의 알고리즘을 임상 초음파 영상에 적용할 수 있을 것으로 기대된다.

본 연구는 실제 임상 초음파 영상에 SRCNN 알고리즘을 적용하기 전에 FieldⅡ 시뮬레이션 프로그램을 활용하였다. SRCNN 알고리즘을 포함한 다양한 데이터가 적절하게 구축되어야 하는 딥러닝 기반의 영상화질 개선 기법을 활용하기 위한 시뮬레이션 프로그램으로 FieldⅡ는 유용하다고 사료된다. 연구에서 사용된 낭종 팬텀 뿐만 아니라 주파수에 따른 초음파 영상 및 다양한 목적 장기들의 영상들을 획득할 수 있어 적용의 분야가 확장될 수 있을 것이다.

간 혈관종의 초음파 소견은 일반적으로 둥근 모양의 고에코 형태의 패턴이다. 혈관종과 간실질의 경계는 뚜렷한 편이나 분해능이 저하된 초음파 영상에서는 진단의 오류를 일으킬 수 있으며 비전형적 소견의 병변을 확인하기 위해서는 분해능의 향상이 도움이 될 수 있다. 따라서 본 연구에서 제안하는 SRCNN 알고리즘을 활용하여 향상된 분해능의 간 초음파 영상을 획득하게 된다면 혈관종 환자의 정확한 진단에 큰 도움이 될 수 있을 것이다. 나아가 다양한 장기들에서 나타날 수 있는 작은 병변 또는 악성종양을 구별하는데 있어 SRCNN 알고리즘은 유용하게 사용될 수 있을 것으로 기대된다.

Ⅴ. CONCLUSION

본 연구에서는 딥러닝 기반의 SRCNN 알고리즘을 모델링하여 초음파 검사 시 적용하고자 하였다. 결론적으로 기존의 방법을 적용한 초음파 영상과 LR 영상에 비하여 SRCNN 알고리즘에서 우수한 정량적 평가 결과가 도출됨이 증명되었다.