A Study on the Comparison of Learning Performance in Capsule Endoscopy by Generating of PSR-Weigted Image

폴립 가중치 영상 생성을 통한 캡슐내시경 영상의 학습 성능 비교 연구

Abstract

A capsule endoscopy is a medical device that can capture an entire digestive organ from the esophagus to the anus at one time. It produces a vast amount of images consisted of about 8~12 hours in length and more than 50,000 frames on a single examination. However, since the analysis of endoscopic images is performed manually by a medical imaging specialist, the automation requirements of the analysis are increasing to assist diagnosis of the disease in the image. Among them, this study focused on automatic detection of polyp images. A polyp is a protruding lesion that can be found in the gastrointestinal tract. In this paper, we propose a weighted-image generation method to enhance the polyp image learning by multi-scale analysis. It is a way to extract the suspicious region of the polyp through the multi-scale analysis and combine it with the original image to generate a weighted image, that can enhance the polyp image learning. We experimented with SVM and RF which is one of the machine learning methods for 452 pieces of collected data. The F1-score of detecting the polyp with only original images was 89.3%, but when combined with the weighted images generated by the proposed method, the F1-score was improved to about 93.1%.

캡슐 내시경은 식도부터 항문까지 소화기관 전체를 한 번에 촬영할 수 있는 의료기기로, 한 번의 검사에서 평균 8~12시간의 길이와 5만장 이상의 프레임으로 구성된 영상을 생성한다. 그러나 생성된 영상에 대한 분석은 전문가에 의해 수작업으로 진행되고 있어서, 질병 영상 진단을 돕기 위한 영상 분석 자동화에 대한 수요가 증가하고 있다. 그 중에서도 본 연구에서는 위장관 내에서 발견될 수 있는 융기성 병변인 폴립 영상 자동 검출에 초점을 맞추었다. 본 연구에서는 멀티 스케일 분석을 통해 폴립 의심 영역을 추출하고, 이것을 원본 영상과 합성하여 폴립 학습을 강화시킬 수 있는 가중치 영상을 생성하는 기법을 제안한다. 수집한 452장의 데이터에 대해 머신 러닝 기법중 하나인 SVM과 RF로 실험한 결과, 원본 영상을 이용한 폴립 검출의 F1점수는 89.3%였지만, 생성된 가중치 영상을 통해 학습한 결과 F1점수가 93.1%로 향상된 것을 확인하였다.

Fig. 1. Design of Convolutional Neural Network for Polyp Detection

Fig. 2. Conventional Polyp Detection Method

Fig. 3. Edge Detection Process

Fig. 4. Image Generation of Changed Aspect Ratio and Circle Detection Result

Fig. 5. Circle Analysis Direction

Fig. 6. Circle Analysis Process for a Direction

Fig. 7. Merge Single Suspicious Regions

Fig. 8. PSR Evaluation

Fig. 9. Examples of Images Showing High F1-Score

Fig. 10. Examples of Images Showing Low F1-Score

Fig. 11. PSR Image

Fig. 12. PSR-Weighted Images

Table 1. Analysis of Learning Performance for PSR-weighted Image by SVM

Table 2. Analysis of Learning Performance for PSR-weighted Image by RF

Table 3. Analysis of Learning Performance for PSR-weighted Images as Performance of PSR