Image Augmentation of Paralichthys Olivaceus Disease Using SinGAN Deep Learning Model

SinGAN 딥러닝 모델을 이용한 넙치 질병 이미지 증강

Abstract

In modern aquaculture, mass mortality is a very important issue that determines the success of aquaculture business. If a fish disease is not detected at an early stage in the farm, the disease spreads quickly because the farm is a closed environment. Therefore, early detection of diseases is crucial to prevent mass mortality of fish raised in farms. Recently deep learning-based automatic identification of fish diseases has been widely used, but there are many difficulties in identifying objects due to insufficient images of fish diseases. Therefore, this paper suggests a method to generate a large number of fish disease images by synthesizing normal images and disease images using SinGAN deep learning model in order to to solve the lack of fish disease images. We generate images from the three most frequently occurring Paralichthys Olivaceus diseases such as Scuticociliatida, Vibriosis, and Lymphocytosis and compare them with the original image. In this study, a total of 330 sheets of scutica disease, 110 sheets of vibrioemia, and 110 sheets of limphosis were made by synthesizing 10 disease patterns with 11 normal halibut images, and 1,320 images were produced by quadrupling the images.

수산 양식장에서 어류 질병을 초기에 발견하지 못하는 경우 밀폐된 공간 안에서 확산하기 때문에 집단 폐사로 이어질 확률이 매우 높다. 이런 이유로 질병의 조기 발견은 양식업에서 매우 중요하다. 양식장에서 질병의 확산을 막기 위해서는 초기에 병이 든 어류를 자동식별이 가능한 방법이 필요하다. 최근 딥러닝 기반의 어류 질병 자동식별 방법이 많이 사용되고 있는데, 어류의 질병 이미지가 충분하지 않아 객체 식별에 많은 어려움이 있다. 본 논문은 질병 자동식별 예측을 위한 질병 이미지의 부족 문제를 해결하기 위해서 SinGAN 딥러닝 모델을 이용하여 정상 이미지와 질병 이미지를 합성해 다양한 어류 질병 이미지를 자동 생성하는 방법을 제안한다. 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다. 본 연구에서는 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1,320장의 이미지를 생성할 수 있었다.

I. 서론

최근 세계의 자원관리 보존 조치와 국제법에 따라 원양어업이 점차 줄고 있다. 식량농업기구(FAO)에 따르면 이런 원양어업의 감소로 인해 양식업 산업은 지속해서 성장할 것으로 전망된다[1]. 전남 지역의 천해양식 규모는 2016년부터 계속 증가하는 추세이며, 약 35억 규모로 전국에서 가장 높다[2].

그러나 우리나라 수산 양식장은 연안 해양 환경오염 및 과다 사료 공급에 의한 부패로 인하여 양식 어류의 질병 유발이 심각한 문제로 대두되고 있다. 또한, 어류의 질병으로 양식장 어류 전체에 대한 감염이 되고 양식장 전체의 수질 환경이 악화될 수 있다. 최근 해면 양식어업 규모의 지속적인 증대에 따른 국내 양식장 수산질병의 발생 증가, WTO/FTA 등 수산물 시장개방 확대로 인한 국외 수산질병의 병원균 유입 증가에 대비하여 수산질병의 효과적인 방역과 차단의 필요성이 증대하고 있다. 이런 이유로 양식업에서 어류 질병 예측 연구는 어류 피해를 최소화 가능한 방법으로 주목받고 이다.

어류의 사망 원인은 복합적으로 영양 질환과 같이 어류 자체의 건강상태와 적절하지 않은 수온과 같은 환경적인 문제, 그리고 외부 전염병에 의한 감염으로 볼 수 있다[3]. 따라서 어류의 집단 폐사를 방지하기 위해서는 이 문제를 조기에 발견하고 대처하는 것이 중요하다. 어류 질병의 사전진단과 예방이 불가할 경우 양식장에 질병이 감염 확산으로 이어져 양식장에 큰 피해가 일어난다.

어류 질병을 감지하는 것의 가장 빠른 방법은 어류의 외관을 확인하는 것이다. 그래서 많은 연구자는 컴퓨터 비전 영역[4-6]에서 어류 질병을 감지하기 위해 종종 이미지 처리를 사용한다. 이미지 처리의 장점은 물고기를 직접 만지지 않고 이미지에서 얻은 정보를 처리할 수 있다는 것이다. 최근의 연구는 딥러닝을 통해 질병의 이미지를 학습하고 이를 통해 질병을 분류하는 방법이 많이 사용되고 있고 그 결과도 기존 영상처리 방법보다 좋은 결과를 얻고 있다[7-9]. 하지만 딥러닝을 통해 질병을 찾고 그 정확도를 높이기 위해서는 질병에 대한 다양한 이미지가 필요하다.

영상 학습을 위해 부족한 이미지의 증강 대부분은 이미지 확대, 자르기, 회전 및 전처리와 같은 이미지 처리기법을 사용한다[10]. 그러나 이러한 이미지 증강 기법은 단순히 이미지의 양만 증가시키기 때문에 다양한 질병을 인식하기에는 질적인 한계를 가지고 있다. 이러한 이미지의 질적인 수준(종별 수량, 다양성, 품질)은 질병의 객체 인식의 성능에 큰 영향을 준다. 본 논문은 객체 인식의 성능을 높이기 위해서 다양한 질병에 따라 부족한 질병 이미지를 다량으로 만들어내는 데 목적이 있다.

최근에는 GAN[11]이나 CGAN[12]을 이용한 이미지생성 연구가 주목받고 있다. GAN은 생성자와 판별자사이에 경쟁을 통해 네트워크를 학습하는 방법으로 생성자는 입력 이미지에 가깝게 만들려고 노력하고 판별자는 입력 이미지와의 구분을 위한 노력으로 생성된 가짜 이미지가 실제와 비교하여 구분이 안 될 정도의 그럴듯한 이미지를 생성하는 방법이다. CGAN은 기존 GAN에 조건 이미지를 추가한 모델이다. GAN의 새로운 이미지 생성, 복원, 합성, 변환 등을 수행할 수 있고 흑백 사진을 컬러로 복원하거나 특정 화가의 화풍을 학습하는 등 이미지 분야에 광범위하게 응용되고 있다.

저자들은 이전 연구[13][14]에서 질병 영상이 부족한 문제를 해결하기 위해 CGAN의 일종인 pix2pix[15]과 CycleGAN[16]을 사용하였다. 여기에서 저자들은 쌍 이미지를 정상 이미지와 질병 이미지 모두로 구성하였고 또한 부족한 질병 영상에서 영상증강기법을 이용하여 데이터를 증가시켜 영상생성 성능을 향상했다. 하지만 일부 이미지에서 질병 이미지 생성이 잘되지 않았다.

기존 연구에서는 입력한 질병에서 그럴듯한 이미지들을 생성하지만 [그림 1]과 같이 지느러미 부분만 질병의 이미지가 만들어져야 하지만 범위를 벗어나 몸체 부분까지 생성이 된다. 즉, 기존의 GAN을 통해서 그럴듯한 질병의 이미지를 다양하게 생성할 수 있으나 병에 대한 잘못된 이미지를 생성할 수 있는 문제가 있다. 또한, 기존 GAN을 활용할 경우 많은 이미지가 요구되는데, 질병 이미지를 확보할 수 없는 문제가 여전히 발생하여 학습결과가 좋지 않다.

그림 1.GAN에 의해 잘못 생성된 예

본 논문에서는 기존 GAN의 이러한 문제를 해결하기 위해서 SinGAN을 기반으로 질병 이미지 생성 방법을 제안한다. SinGAN은 여러 이미지를 사용하지 않고 오직 하나의 이미지만으로 학습하는 특징이 있다. 이렇게 학습된 하나의 이미지를 무작위 이미지 생성, 고해상도 이미지 생성, Paint-to-image, 합성, 수정의 작업을 수행할 수 있다. 본 논문에서는 SinGAN의 합성 기능을 사용하여 넙치의 질병 이미지를 생성한다. 본 연구에서는 넙치에서 가장 빈번히 발생하는 3가지 질병 스쿠티카 병, 비브리오증, 림포시스티스에 대해서 SinGAN 기반으로 질병 이미지를 증강한다. 본 연구에서는 넙치 정상 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 연구로서 넙치의 질병과 SinGAN에 대해 소개한다. 3장에서는 SinGAN을 사용한 질병 이미지 생성 방법에 대해서 제안한다. 4장에서는 본 연구에서 제안한 어류 질병 이미지 생성 방법의 실험 결과 및 평가에 대해 논의한다. 마지막으로 5장에서는 결론 및 향후 연구에 관해서 기술한다.

표 1.양식어의 질병 종류 및 증상

II. 관련 연구

1. 양식어의 질병

양식어의 질병은 그 원인(병인)에 따라서 기생 충성 질병, 세균성 질병, 바이러스성 질병으로 크게 3 분류로 나누어진다. 양식어의 질병에 대한 세부적인 내용은 국립수산과학원 홈페이지에 해양수산자료실 어류 질병 정보 [17]의 내용을 참고하였다.

기생충은 모든 어류에 있을 만큼 가장 흔한 기생 물로 자연 상태 또는 자연계에서 질병을 일으키는 경우는 매우 드물다. 하지만 인위적으로 관리하는 양식 어류에서는 질병으로 이어진다. 이처럼 양식어류에 기생하여 질병을 일으키는 질병을 기생충성 질병이라고 한다. 대표적인 질병으로는 스쿠티카증, 백점병, 코스티아증, 트리코디나증이 있다.

병원성 세균은 강한 병원성을 갖고 있지 않고 어류에 감염되어 있더라도 병으로 발현되지는 않는다. 그러나 어류의 저항력이 떨어지게 되면 병원성을 지니게 되는 질병이 세균성 질병이다. 특히, 사료 찌꺼기나 배설물 등에 의해 오염된 어류의 환경 악화 등이 주요한 원인이 된다. 대표적인 질병으로는 연쇄구균증, 장관백탁증, 비브리오병, 에드와드병, 활주세균증, 노카르디아증이있다.

바이러스성 질병은 조직 또는 특정 세포를 파괴하는 감염증으로서 높은 밀도로 사육하는 양식장에서 주로 발생한다. 바이러스는 숙주에 의한 감염되고 감염되면 급성으로 발병하여 폐사 과정이 빠르게 진행된다. 그러므로 바이러스성 질병은 양식장에 유입되지 못하게 하는 것이 가장 좋은 예방책이다. 대표적인 질병으로는상피증생증, 랍도바이러스병, 비루나바이러스병, 림포시스티스병이 있다.

본 논문에서는 질병 이미지를 생성하기 위해서 양식어의 질병의 병원인 기생충, 세균, 바이러스 중에서 대표적인 질병인 스쿠티카병, 비브리오증, 림포시스티스를 중심으로 한다. 이 3가지 질병은 넙치에서 가장 많이 발생하는 대표적인 질병이다. [표 1]은 각 질병에 대해서 증상, 감염경로, 대응책, 예방 대책을 설명하였다.

2. SinGAN 방법

일반적인 GAN을 이용한 이미지 생성 방법은 대량의 데이터 세트로부터 이미지의 분포 z를 학습한 후 그 분포에 따라서 이미지를 생성한다. SinGAN은 하나의 이미지에서 학습해 다양한 이미지를 생성하는 방법으로 기존 GAN과 차별화된다.

SinGAN은 [그림 2]와 같이 하나의 이미지를 작은 스케일(GN)로 부터 큰 스케일(G0) 까지의 생성자 (Generator)와 판별자(Discriminator)를 쌓아 반복적으로 이미지를 생성한다. SinGAN은 하나의 이미지를 N 개의 스케일로 나누고 간 단계마다 순차적으로 학습을 수행하는 Multi-scale Architecture를 따르고 있다.

그림 2.SinGAN의 멀티 스케일 파이프라인[11]

각 스케일 레이어에 존재하는 싱글 스케일 생성기는 [그림 3]과 같다. 각 척도 n에서, 이전 스케일의 이미지인 x_n+1는 업 샘플링되고 입력 노이즈 맵 zn에 추가된다. 그 결과는 5개로 구성된 컨볼루션 레이어에 입력되고 최종 결괏값은 G_n이 된다.

그림 3.SinGAN의 싱글 스케일 생성기[11]

SinGAN의 모델은 실제 이미지 x에 대해서 훈련된 생성자 {G₀, ..., G_N}의 피라미드 형태로 구성된다. 여기서 x_n은 일부 r > 1에 대해서 팩터 r_n에 의한 x의 다운 샘플링이다. 각 생성자 G_n은 해당 이미지 x_n에서 패치 분포를 생성하는 역할을 한다. 이는 G_n이 생성된 샘플의 패치를 x_n의 패치와 구별하고 관련된 판별기 D_n을 속이는 방법을 배우는 적대적 학습을 수행한다. 이 모델의 학습은 가장 작은 규모에서 큰 규모까지 순차적으로 진행하고 각 GAN이 훈련되면 고정 상태로 유지된다. n번째 GAN에 대한 훈련 손실은 식 (1)과 같이 Adversarial과 Reconstruction으로 구성된다.

\(\underset{G_{n}}{\min } \underset{D_{n}}{\max } L_{a d v}\left(G_{n}, D_{n}\right)+\alpha L_{r e c}\left(G_{n}\right)\)       (1)

Adversarial 손실 L_adv는 x_n 단위의 패치 분포와 생성된 \(\tilde{x}_{n}\) 단위의 패치 분포 사이의 거리에 대해 불이익을 준다. Reconstruction 손실 L_rec는 이미지 조작의 중요한 특징인 x_n 을 생성할 수 있는 특정한 노이즈 맵 세트의 존재를 보장한다.

Ⅲ. 질병 이미지 증강 기법

SinGAN을 이용한 질병 이미지 생성 방법은 그림 4 와 같이 2단계로 구성된다. 1단계는 이미지 학습 단계이다. 이미지 학습 단계에서는 정상적인 어류 이미지를 학습한다. 2단계에서는 질병이 합성된 이미지와 마스크 이미지를 SinGAN에 합성을 수행해 질병 이미지가 생성된다.

그림 4.SinGAN을 사용한 질병 이미지 증강 방법

1. 이미지 학습

이미지 학습에 사용된 넙치 이미지의 데이터 세트는 [그림 5]와 같다. 이 이미지들은 인터넷에서 수집하였고 배경 이미지는 제거하였다.

그림 5.학습에 사용된 이미지 예시

SinGAN의 학습 환경은 대부분은 기본 설정값을 사용하였고 네트워크의 레이어 수만 기본 5에서 10으로 변경하였다. 컨볼류션 네트워크는 Conv(3×3)- BatchNorm-LeakyReLU의 컨볼류션 블록 10개를 사용한다. 그리고 32개의 Kernel을 시작하여 4개의 스케일마다 Kernel의 숫자를 2배씩 증가한다.

학습을 위한 시스템은 CPU Intel i7-11700K 3.6GHz, Memory 64GB, GPU GeForce RTX 3080 Ti로 구성하였다. 총 11개의 어류 이미지를 학습하는데 소모된 시간은 총 27시간이다. [그림 6]은 SinGAN 의 학습 과정에서 발생한 Generator와 Discriminator 의 에러율 그래프이다. 이 에러 값은 식 (1)에 입력되는 G_n와 D_n의 값을 그래프로 표현한 것이다. 이 값들은 학습이 진행되는 과정에서 0에 수렴하는 것을 확인할 수 있다.

그림 6.학습과정의 Generator와 Discriminator의 에러율

학습이 완료되면 SinGAN은 학습된 질병 생성 모델 파일들을 생성한다. 각 이미지의 스케일에 따라서 0~N 까지의 폴더를 만들고 각 폴더에는 훈련된 네트워크 가중치 파일 “netG.pth”, “netD.pth”이 포함되어 있다. 또한 0~N까지 폴더의 상위 폴더에는 GAN의 초기 노이즈 값인 “NosieAmp.pth” 파일, 마지막 스케일의 입력 네트워크 가중치 파일인 “Zs.pth”, 이미지 생성을 위한 네트워크 가중치 파일인 “Gs.pth”이 생성되어 있다. 이 파일들은 이미지 생성에 사용된다.

2. 이미지 생성

이미지 생성 단계에서는 질병을 합성한 이미지와 질병에 대한 마스크 이미지를 [그림 7]과 같이 준비한다. 저자들은 스쿠티카병, 비브리오증, 림포시스티스 질병에 대해서 어느 위치에 어떤 형태로 나타날지 알고 있으므로 적당한 위치와 병에 이미지를 정상 이미지에 합성하고 마스크를 만든다.

그림 7.입력에 사용된 이미지와 마스크 예시

SinGAN에 입력으로 사용되는 합성 이미지에는 정상 이미지에 질병 이미지의 추가가 필요하다. [그림 8] 은정상 이미지에 추가할 각 질병 스쿠티카병, 비브리오증, 림포시스티스의 패턴 이미지이다. 질병 별로 다른 패턴들이 사용되었다.

그림 8.이미지 합성에 사용된 각 질병 패턴

이렇게 생성된 합성 이미지와 마스크 이미지를 SinGAN에 입력하여 모델을 동작시키면 [그림 9]와 같은 결과를 얻을 수 있다. 생성된 이미지는 입력된 합성 이미지를 크게 벗어나지 않고 좀 더 자연스럽게 합성된 것을 확인할 수 있다.

그림 9.SinGAN으로부터 자동생성된 질병 이미지 예시

Ⅳ. 실험 결과

1. 실험 결과

본 실험에서는 SinGAN을 사용한 질병 이미지 증강 방법을 사용하여 정상 이미지를 학습하였고 학습된 파일을 사용하여 합성된 이미지를 입력으로 생성 이미지를 만들었다. [그림 10]은 합성 이미지와 생성된 이미지의 차이를 보여준다. 생성된 이미지와 합성 이미지가 비슷해 보이지만 실제로는 미세하게 다르게 생성된 것을 확인할 수 있다. 이렇게 원하는 위치에 질병을 합성할 수 있어 [그림 1]과 같은 현상은 나타나지 않는다. 합성된 원본은 이미지는 이미지가 선명하기는 하지만 질병 패턴과 어류 이미지가 사이에 관련이 없으므로 두 이미지 사이의 경계가 명확하다. 그러나 생성된 이미지는 이 두 이미지 사이의 경계를 유연하게 바꿔준다.

그림 10.합성이미지와 생성된 이미지 비교

[표 2]는 각 질병에 따른 넙치의 질병 이미지를 생성한 결과이다. 각 질병 당 대표되는 2개의 결과물만 샘플로 표시하였다. 결과에서 N값은 스케일 별로 학습된 이미지의 크기 값이다. N이 클수록 학습모델의 출력값과 가깝다. 합성한 입력 이미지에 대해서 N값에 따라서 다르게 이미지가 생성된 것을 확인할 수 있다. N값이 크면 클수록 원본 이미지와 같은 것을 확인할 수 있고 N값이 작으면 작을수록 원본 이미지와는 많은 차이가 나타나는 것을 확인할 수 있었다. 결과적으로 N값은 4 에서 5의 값이 적당한 것을 확인 가능하였다.

표 2. 스케일별 입력 및 생성 이미지

본 실험에서는 SinGAN을 통해서 합성된 이미지를 자연스럽게 생성 가능한 점은 확인할 수 있었다. 또한, 넙치 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.

2. 평가

본 연구 실험에서 생성된 질병 이미지는 이미지를 확 대, 자르기, 회전 및 전처리와 같은 기존에 이미지 증강 기법보다 매우 다양한 질병 이미지를 생성해 낼 수 있었다. 그리고 질병의 위치를 매우 다양하게 바꿀 수 있어서 원한다면 더 많은 이미지를 증강할 수 있다.

하지만 생성 이미지는 합성 이미지의 범위에서 크게 변경되지 않는 단점이 존재한다. 이런 이유로 생성된 이미지가 다양하지만, 입력으로 사용하는 합성된 이미지에 매우 유사한 형태로 생성될 수밖에 없다. 또한, 원본 이미지는 학습을 통해서 신경망에 저장되지만, 입력으로 사용되는 합성 이미지의 정보는 학습되지 않기 때문에 잘못된 합성 이미지를 입력시키면 잘못된 질병이지가 생성될 수 있는 문제도 존재한다. 본 연구에서는 실험을 통해서 위 문제들을 도출할 수 있었고 질병 이미지 생성을 위해서는 SinGAN의 학습모델 개선이 필요하다는 것을 알 수 있었다.

Ⅴ. 결론

딥러닝을 통해 다양한 어류의 질병 예측을 수행하기 위해서는 많은 질병 데이터 세트 확보가 필요하다. 그러나 일반적인 양식장에 질병이 발생한 경우 이를 디지털 정보화하지 않고 바로 제거 해버리기 때문에 질병 이미지에 대한 자료수집이 어렵다. 본 논문에서는 다양한 질병 이미지를 생성하기 위해 SinGAN 딥러닝 모델을 이용한 어류 질병 이미지 증강 기법을 제안하였다. SinGAN 딥러닝 모델은 기존 GAN 모델과는 다르게 여러 이미지를 사용하지 않고 오직 하나의 정상 이미지와 질병 패턴 이미지를 사용하여 학습하는 특징이 있다.

본 연구에서는 SinGAN을 사용한 질병 이미지 증강 방법을 사용하여 정상 이미지를 학습하였고 학습된 파일을 사용하여 합성된 이미지를 입력으로 생성 이미지를 만들었다. 본 연구에서 생성된 이미지와 합성 이미지가 비슷해 보이지만 실제로는 미세하게 다르게 생성된 것을 확인할 수 있다. 본 연구 실험에서는 넙치 이미지 11장에 각 질병 패턴 10가지를 합성하여서 스쿠티카 병 110장, 비브리오증 110장, 림포시스티스 110장으로 총 330장을 만들었고 이를 통해 생성된 이미지는 4배수 하여 1, 320장의 이미지를 생성할 수 있었다.

본 연구에서 제안한 방법을 활용하면 이미지 확대, 자르기, 회전 및 전처리와 같은 기존의 영상 처리 방법보다 더욱 풍부한 이미지를 증강할 수 있다. 일반적인 GAN에서 생성한 이미지는 병의 위치나 모양의 제어가 어려웠지만 SinGAN을 통해서 우리가 원하는 질병의 이미지를 생성할 수 있었다. 그러나 생성된 이미지들은 해상도가 낮아진다. 또한, 합성하고자 하는 질병 이미지밖에 생성할 수 없고 질병 패턴 이미지의 특성을 잘 반영하지 못하는 한계를 가지고 있다. 저자들은 이러한 부분의 문제를 극복하고자 향후 연구로 생성된 이미지의 품질을 높이기 위해서 SinGAN 딥러닝 모델의 계산구조를 개선하는 연구를 진행하고자 한다.

* 본 논문은 2019년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2019R1F1A11059685)