Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Algorithm for Fabricating 3D Breast Implants by Using MRI and 3D Scan Data

MRI와 3D 스캔 데이터를 이용한 3D 프린팅 유방 인공보형물의 제작 알고리즘

  • Jeong, Young Jin (School of Computer Science and Engineering, College of IT Engineering, Kyungpook National University) ;
  • Choi, Dong Hun (Kyungpook National Univ. Hospital) ;
  • Kim, Ku-Jin (School of Computer Science and Engineering, Kyungpook National Univ.)
  • Received : 2019.11.04
  • Accepted : 2019.12.05
  • Published : 2019.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a method to fabricate a patient-specific breast implant using MRI images and 3D scan data. Existing breast implants for breast reconstruction surgery are primarily fabricated products for shaping, and among the limited types of implants, products similar to the patient's breast have been used. In fact, the larger the difference between the shape of the breast and the implant, the more frequent the postoperative side effects and the lower the satisfaction. Previous researches on the fabrication of patient-specific breast implants have used limited information based on only MRI images or on only 3D scan data. In this paper, we propose an algorithm for the fabrication of patient-specific breast implants that combines MRI images with 3D scan data, considering anatomical suitability for external shape, volume, and pectoral muscle. Experimental results show that we can produce precise breast implants using the proposed algorithm.

Keywords

1. 서 론

 유방암은 전세계적으로 가장 흔한 여성암이며, 발생률은 25.2%로 가장 높다. 국내의 경우도 유방암의 발생률은 급격히 증가하고 있다 [1]. 유방암 환자의 치료로는 유방 절제술이 널리 사용된다. 유방 절제술을 받을 경우, 환자는 팔을 잃은 장애와 비슷한 정도의 우울감을 느낀다고 알려져 있다 [2]. 이에 따라, 유방암 환자의 유방재건수술은 거의 필수로 자리 잡고 있으나 유방재건수술 결과에 대한 환자의 만족도는 높지 않은 실정이다 [3].

 현재까지 유방결손 환자의 유방 재건을 위한 보형물은 크기 및 부피에 따라 몇 단계로 규격이 정의되어 한정된 형태의 정형화된 보형물만이 사용되고 있다. 미용 수술을 목적으로 한 실리콘 유방 보형물이 대부분이며, 이는 서양인 체형을 기준으로 규격이 정해졌다(https://www.natrelle.com 참조). 유방 재건수술은 환자의 실제 유방의 부피와 유사한 인공 보형물을 선택하여 시술된다. 정형화된 인공 보형물을 사용한 수술은 삽입 후에 보형물이 인체에 제대로 위치하기 어렵기 때문에 이물감을 심하게 느끼는 경우가 있다. 또한, 보형물의 이동으로 생긴 빈 공간에 고름이나 피가 차는 장액종이 생겨 재수술을 해야 하는 등의 여러 부작용들이 빈번히 발생한다[4]. Fig. 1(a)에서 유방 보형물과 실제 유방의 형태가 서로 다른 경우를 MRI 영상으로 보인다. Fig. 1에서 (b)는 삽입된 보형물과 유방의 형태가 다른 예를 보이며, ©는 보형물을 삽입하는 과정에서 형태의 차이로 인해 천공이 생긴 예를 보인다. 기존의 정형화된 인공 보형물을 이용하는 경우에는 환자의 기존 유방 모양과 유사하도록 재건하는 것이 어렵고, 개개인에 맞는 맞춤식 대응에 한계가 있다. 부작용을 피하기 위해서는 환자의 기존 유방 형태와 가능한 한 일치하는 형태의 맞춤형 인공 보형물을 사용할 필요가 있다.

MTMDCW_2019_v22n12_1385_f0001.png 이미지

Fig. 1. Photos on breast implanting: (a) Unfitness of theimplant represented in the MRI image, (b) The case of unfitness between the implant and thebreast shape (c) Suture perforation.

 기존의 관련 연구로 MRI 의료영상 또는 3D 스캔데이터를 활용하여 3D 프린팅으로 맞춤형 유방 보형물을 제작한 연구가 있다[5-7]. 의료영상을 이용해 맞춤형 유방 보형물을 제작할 경우, 재건해야 할 유방 부위의 부피는 비교적 정확히 측정하여 제작할 수 있다. 그러나 유방 부위의 의료영상 촬영 시의 환자의 자세는 엎드리거나 유방이 눌린 상태이기 때문에 평소 유방의 형태와 유사하게 제작하기에는 한계가 있다. 3D 스캔 데이터만을 이용해 맞춤형 유방보형물을 제작할 경우, 정상 부위 유방의 외형을 측정하여 재건해야 할 유방의 평소 형태를 비교적 정확하게 반영하여 제작할 수 있다. 그러나, 3D 스캔 데이터로는 피부층의 두께나 흉골의 모양, 위치 등 유방내부의 해부학적 구조를 파악할 수 없고, 이에 따라 제작해야 할 유방 보형물의 부피나 내부의 형태를 정확하게 분석하여 제작할 수 없다[5].

 본 논문에서는 MRI 의료영상과 3D 스캔 데이터를 함께 이용하여 개인 맞춤형 유방 보형물을 제작하는 기법을 제안한다. 환자로부터 유방의 MRI 영상을 촬영하고 스캐너를 통해 3D 스캔 데이터를 생성한다. MRI 영상으로부터 재건해야 할 유방의 부피와 흉벽의 형태 등 해부학적 정보를 추출한다. 3D 스캔데이터에서는 유방이 눌린 상태가 아닌 일상적인 상태의 유방의 외형 정보를 추출하여, 환자의 평소 유방 형태를 정확하게 재건하기 위해 활용한다. 해부학적 정보와 형태 정보를 결합하여 환자 맞춤형의 유방보형물을 제작하기 위한 기술을 제안한다.

 본 논문의 구성은 다음과 같다. 2절에서 관련 연구를 소개한다. 3절에서는 제안된 알고리즘의 개요와 입력 데이터를 획득하는 방법을 보이고, 4절에서는 알고리즘의 각 단계에 대해 세부적으로 설명한다. 5절에서는 제안된 알고리즘을 이용하여 실험한 결과를 기존의 결과와 비교하고, 6절에서 결론과 향후 연구방향을 제시한다.

2. 관련 연구

2.1 맞춤형 유방 보형물 제작 시스템

 맞춤형 유방 보형물 제작과 관련된 연구는 다양한 방법으로 진행되었고[5-7], 이중의 소수 연구는 제품화가 된 경우도 있으며, 대부분 미용을 목적으로 한 제품이다. Vectra사의 XT 스캐너는 각각 2개의 컬러 SLR (Single-Lens Reflex) 카메라를 포함하는 3개의 스테레오 포드가 장착된 모듈식 3D 이미징 시스템이다[8]. 이 시스템에 포함된 소프트웨어는 환자의 흉부를 3D 스캔하여 자동화된 측정 방법으로 환자의 신체구조를 파악한다. 가상환경을 이용하여 보형물을 인체에 삽입하고 수술 후 변화될 유방의 형태를 시각화하는 기능을 제공한다. 이 제품은 측정 자동화와 가상현실을 이용한 시각화 기능을 제공하는 강점이 있으나, 본 목적이 미용을 위한 수술이므로, 유방결손환자와 같이 좌우 유방의 비대칭이 심한 경우에 대해 적용하기는 어렵다.

 Edsander-Nord et al. [9]은 짧은 시간 내에 굳는 석고나 열가소성 시트를 사용하여 환자를 똑바로 세운 상태에서 유방 모양을 측정하는 방법을 제시하였다. 이 방법은 유방의 외형이나 부피를 비교적 정확히 측정 할 수 있다는 장점이 있으나 열가소성 물질을 흉부에 수동으로 누르는 과정에서 유방이 압축되고 그 경계가 임의로 수정되는 문제로 인한 불량 문제가 발생한다.

2.2 영상 분할 및 3D 모델의 정합

 MRI, CT 등의 의료영상이 디지털화 되고, 컴퓨터영상처리 기술이 발전함에 따라 컴퓨터 시스템으로 의료영상을 분석하여 병변 탐지에 도움을 주기 위한 보조 진단 방법 및 도구가 개발되고 있다. 특히 유방분야의 경우는 종양 같은 병변 탐지와 유방 영역 측정에 도움을 주기 위한 연구들이 있다[10-12]. Moftah et al. [10]는 k-means 클러스터링을 이용하여 반복하는 동안 최적의 결과를 유지하는 최적화 방법론을 통해 대상을 식별하기 위한 보다 안정적인 MRI 유방 영상 분할 방법을 제시하였다. 이 연구에서는 기존의 k-means 클러스터링 알고리즘의 효율성을개선하고, 개선된 결과를 유방에 존재하는 암 영역의 분할 및 인식에 사용하였다. Wang et al. [12]은 유방 MRI 영상에서 유방의 내/외부 경계를 자동으로 영상 분할하는 방법을 제시하였다. 이 방법은 지방 영역이 제거된 유방 MRI 영상에 대해 Hessian 기반 필터를 적용해 유방의 외부에서 유방 안쪽 흉벽까지의 영역을 분할한다. 흉부 의료영상에서 유방의 전체영역을 측정하는 데 유용한 방법이다.

 영상 정합은 의료 진단에 사용되는 이종의 의료 영상들을 상호보완 할 수 있도록 하나로 통합할 때 사용된다. 여러 의료 영상 촬영 방법에 따라 부각되어 보이는 신체부위가 다른데, 피부나 지방 그리고 근육 같은 신체의 연조직과 뼈의 구조를 알 수 있는 MRI와 혈액 같이 신체 내부의 액체를 선명하게 표현하는 CT, 비교적 간편하고 저렴하고 좁은 신체 내부를 단층 영상으로 촬영 할 수 있는 의료 초음파 등 이종의 의료영상장비로 촬영된 영상들을 신체 위치에 맞게 정합하여 의료 영상 간의 맹점을 상호 보완하는 방법이다. Porter et al. [13]은 MRI와 초음파 영상에서 주요 혈관을 마커로 활용한 영상 정합 방법을 제시하였다.

3. 제안된 알고리즘의 개요 및 입력 데이터 생성 방법

3.1 알고리즘의 개요

 환자 맞춤형 유방 보형물을 제작하는 알고리즘의 개요는 Fig. 2와 같다.

MTMDCW_2019_v22n12_1385_f0002.png 이미지

Fig. 2. Overview on the Suggested Algorithm.

3.2 MRI 영상과 3D 스캔 데이터의 획득

 맞춤형 유방 보형물 제작에 사용되는 데이터는 좌/우 한쪽의 정상 유방을 가지고 있는 환자의 흉부 MRI 영상과 동일한 환자의 흉부 3D 스캔 데이터를 사용한다. MRI 의료 영상은 2차원의 영상, 즉 단층(slice)이 일정 간격으로 여러 장이 촬영되어 3차원 밀도 정보를 제공하며, 흉골과 피부, 유방 조직 등이 영상 내에서 서로 다른 밀도로 표현된다. 밀도 값의 차이는 영상 내에서 픽셀의 명암의 차이로 표현된다.

 3D 스캔 데이터는 흉부의 외형을 샘플링된 점의 집합으로 표현하며, 점의 집합에 대해 다각형 메쉬(polygonal mesh)를 생성하여 유방을 3차원 곡면 형태로 표현한다. 3D 메쉬 데이터는 삼각면 (triangularface)의 집합으로 구성된다. Fig. 3에서 MRI 영상에서 추출된 한 장의 단층 영상과 3D 스캔 데이터의 예를 보인다.

MTMDCW_2019_v22n12_1385_f0003.png 이미지

Fig. 3. Input data: (a) One slice from the set of breast MRI images, (b) 3D scan data.

 MRI 영상과 3D 스캔 데이터는 서로 다른 3차원 좌표계에서 정의된다. MRI 영상의 경우 DICOM format에 따라 영상의 각 단층은 가로, 세로의 픽셀 수 W, H와 각 픽셀이 표현하는 x, y, z축 방향의 실제 크기(pixcel spacing), Sx, Sy, Sz와 단층 사이의 간격(slice thickness) T 및 MRI 촬영장비 위에서의 환자의 자세(patient postion)에 따라서 결정된 영상의 방향 (image orientation)에 따라 좌표계가 정의된다.

 3D 스캔 데이터의 경우는 3D 스캐너를 손으로 들고 환자 주변을 이동하며 여러 방향에서 촬영한 영상을 3D 모델로 재구성하여 사용된다. 이 과정은 3D 스캐너에서 처리된다. 이때 완성된 전체 3D 스캔 모델에서 스캔을 처음 시작한 방향이 정면 (Z축)이 되고, 전체 3D 모델의 중심점이 원점이 된다.
본 논문에서는 MRI 영상과 3D 스캔 데이터에서 필요한 부분만 취해서 하나의 맞춤형 유방 보형물 모델을 만드는 것이 목표이기 때문에 이 두 가지의 입력 데이터가 가상의 3D 공간에서 신체 구조적으로 일치된 위치에 놓여야 한다. 입력으로 주어진 MRI 영상과 3D 스캔 데이터의 좌표계는 서로 다른 원점과 방향을 가지므로, 입력 데이터에 대한 변환 과정을 거치지 않고 3D 공간에 표현하면 이들이 신체 구조적으로 일치된 위치에 놓이지 않는다. MRI 영상과 3D 스캔 데이터를 신체 구조적으로 일치시켜 표현하기 위해 3D 모델 정합 알고리즘을 적용한다.

4. 환자 맞춤형 유방 보형물 제작 알고리즘

4.1 MRI 영상으로부터 대흉근 모델의 생성

 환자의 MRI 영상에서 정상 부위 유방에 해당하는 부분을 영상 분할한다. 영상 분할은 유방 영역과 대흉근(pectoralis major muscle) 영역으로 나누어 진행한다. 분할된 유방 영역으로 유방의 부피를 측정하여 맞춤형 유방 보형물 3D model이 같은 부피를 가지도록 설정할 때 사용한다. 대흉근의 3D model은 맞춤형 유방 보형물의 흉벽 방향 면의 부분을 구성할 때 사용한다.

 유방 영역의 분할은 분할 기준점들을 이용하여 결정한다. 분할 기준점은 양쪽 유방의 끝 부분(b1, b2)과 가슴뼈 (breastbone)의 앞쪽 중앙 (b3), 대흉근의 양쪽 끝 (b4, b5)으로 구성된다 (Fig. 4 참조). b1과 b2는 환자의 흉부 MRI의 axial 방향 단층 (환자가 서 있을 때 지면과 평행한 단면, Fig. 7의 붉은 테두리평면 참조)을 좌우 두 부분으로 나누어, 각각 아래쪽에서 위로 한 픽셀 줄씩 위로 이동하며 유방 연조직 임계값 T와 처음으로 만나는 두 지점이다. b3는 b1과 b2의 중간지점에서 위로 한 픽셀씩 이동하며 T와 처음 만나는 지점을 찾고, 거기서 더 위로 진행하여 T를 처음으로 벗어나기 시작하는 지점이다. b4와 b5는 대흉근의 양 끝부분인데 이 지점은 사람마다 모양과 위치가 달라 영상 분할을 수행하는 사람의 해부학적 지식과 경험에 의지하여 선택한다 (Fig. 4(a)참조). 흉부 MRI의 axial 단층 영상에서 각 단층에 대해 threshold 방법 [15]으로 임계값을 수동으로 조절해 유방의 연조직 영역이 최대한 잘 나타나도록 선택한다 (Fig. 4(b)참조). Threshold 방법은, 이미지의 각 픽셀의 강도가 설정한 임계값 범위에 속하는 여부를 결정하여 범위 밖의 강도일 경우는 검은색, 범위 내의 강도일 경우는 흰색으로 선택하는 가장 간단한 영상 분할 방법이다. Threshold 방법으로 선택된 영역에서 기준점 b1, b2 보다 아래에 있는 선택 영역을 제거하고, 기준점 b4 및 b5에서 피부에 대한 수직 방향을 기준으로 각각 왼쪽과 오른쪽에 있는 선택 영역을 제거한다. 또 기준점 b4, b3, b5를 지나는 곡선보다 위에 있는 선택 영역을 제거한다 (Fig. 4(c)참조). 제거 과정을 거쳐 남은 영역이 유방 영역이다. 이 영역의 부피를 측정하여 유방 보형물 모델을 생성할 때 참고 자료로 사용한다 [16, 17].

MTMDCW_2019_v22n12_1385_f0004.png 이미지

Fig. 4. Segmentation of breast region: (a) Select base points b1, b2 (the end points of both breasts), b3 (middlepoint of breastbone), b4, b5 (the end points of the pectoral muscle), (b) Breast area selection by threshold (blue color), (c) Final breast area after removing the pectoral muscle area (blue color)

 대흉근 영역의 분할은 흉부 MRI axial 방향의 각 단층에 대해 threshold 방법으로 대흉근을 모두 포함하는 근육 영역을 선택하는 과정부터 시작된다. Fig.5(a)에서 파란색 부분이 선택된 근육 영역이고, 연두색 부분이 앞서 분할한 유방 영역이다. 선택된 근육영역에서 유방 영역을 제거하기 위해 부울 연산(Boolean Operation)의 차집합(difference)을 적용하며, 차집합은 “A and (not B)” 연산에 해당한다[18]. 선택된 근육 영역에서 b4와 b5 보다 위쪽에 있는 영역을 제외하여 대흉근 영역을 분할한다 (Fig. 5(b)참조). Fig. 5(c)에서 파란색으로 표시된 3D 모델이 흉부 MRI axial 방향의 각 단층 영상에서 분할한 대흉근 영역을 3D 모델로 구성한 대흉근 모델이다.

MTMDCW_2019_v22n12_1385_f0005.png 이미지

Fig. 5. Segmentation of the pectoralis major muscle region: (a) Select the pectoral muscle area by threshold (bluecolor), (b) Subtract the breast area from the blue area and delete unnecessary parts based on b3 ~ b5,(c) Visualization of the 3D model of segmented pectoral muscle (blue color)

4.2 흉부 3D 모델의 정합

 서로 다른 지역 좌표계를 가지고 같은 대상을 형상화 하고 있는 다수의 모델을 전역 좌표계에서 대상 형상의 구조적 위치가 비교적 일치하도록 함께 표시하는 과정이 정합이다[19, 20]. 유방 보형물 제작에서 MRI 영상과 3D 스캔 데이터를 정합할 때, 해부학지식이 있는 전문가가 MRI 영상에 표시된 해부학적 신체 구조에 맞게 3D 스캔 데이터를 움직여 적절한 위치로 이동시키는 방법이 현재까지 일반적으로 사용되고 있다. Meterialize사의 Mimics [21]와 같은 의료영상처리 소프트웨어를 사용해서, MRI 영상에 나타나는 뼈나 피부, 장기 등의 위치를 시각적으로 판단하고 3D 스캔 모델을 수동으로 이동(translate), 회전(rotate) 시켜 두 데이터가 일치된 위치에 있도록 작업한다. 이것은 자동화되지 않고 전문가의 수작업에 의존하는 방법이므로 오랜 시간이 소요되고, 작업이 반복되거나 작업자가 바뀔 때 마다 결과물이 달라질 수 있는 문제가 있다.

 본 논문에서는 Landmark-Registration 방법 [22]으로 서로 다른 좌표계를 가진 두 데이터를 전역 좌표계에서 한 개의 3D 모델로 정합하는 방법을 제안한다. 정합 알고리즘은 아래와 같으며, 정합 알고리즘을 적용하기 전과 후의 상태를 각각 Fig. 6과 Fig.7에서 보인다.

 단계 1. MRI 데이터에서 피부 부분을 부각시켜 3D 모델을 생성한다. Threshold 기법을 사용하여 MRI 영상에서 피부 조직에 해당하는 임계값으로 흉부 MRI 영상에서 피부 부분이 잘 나타나도록 영상 분할한 후 3D 모델 MMRI 을 생성한다.

 단계 2. MRI 데이터에서 추출한 피부의 3D 모델 MMRI에서 양쪽 가슴 아래 부분 m1 (노랑), m2 (파랑)과 m1, m2의 중앙 지점 m3 (초록), 양쪽 겨드랑이 아랫부분 m4 (빨강), m5 (보라)을 3차원의 다섯 개 기준점으로 지정한다. 이때의 5개 지점의 선택 기준은 촬영된 MRI 영상에 따라 유연하게 대처해야한다. 환자의 신체 모양과 MRI 촬영 방법에 따라 영상의 결과물에 많은 차이가 생겨 매번 같은 기준으로 5개의 지점을 선택하기는 어려울 수 있다 (Fig. 6(b) 참조).

 단계 3. 3D 스캔 모델 Mscan에서 m1 - m5에 대응하는 다섯 개의 기준점 c1–c5을 지정한다. 기준점m1 - m5에 대응하는 3D 스캔 모델의 기준점 c1 -c5을 지정하는 기준은 m1 - m5를 지정할 때와 같다. 그러나 주어진 MRI 영상과 3D 스캔 모델에 따라 같은 조건으로 같은 지점을 선택할 수 있다는 보장이 없으므로 두 가지 영상을 비교하여 자세의 변화에도 비교적 위치와 모양이 변하지 않는 부위를 확인하여 5개 지점을 선택해야 한다(Fig. 6(c) 참조).

 단계 4. MMRI의 m1 - m5 좌표와 Mscan의 c1 -c5 좌표를 계산한 뒤, m1 - m5 좌표와 c1 - c5 좌표가 일치하도록 Mscan을 변환 (transformation) 하는 행렬을 계산한다.

MTMDCW_2019_v22n12_1385_f0006.png 이미지

Fig. 6. 3D model registration: (a) Coordinate systems for MMRI and Mscan, (b) Landmarks for MMRI, (c) Landmarksfor Mscan.

MTMDCW_2019_v22n12_1385_f0007.png 이미지

Fig. 7. 3D scan model (Mscan) after registration: yellow curves show the contour of 3D scan model on an MRI slice (axial, coronal, sagittal planes) after registration.

4.3 3D 스캔 모델로부터 유방 영역의 분할

 3D 스캔 모델에서 유방 보형물의 전면부 형태를 결정하기 위해 사용될 유방 영역을 분할한다. 유방의 형태가 개인에 따라 다르고 기준점으로 사용할 수 있는 돌출된 뼈 구조가 없기 때문에 유방을 포함하는 영역에서 특징점을 찾아 자동으로 유방 영역만 분할하는 방법은 적용하기 어렵다[5, 24, 25]. 일반적으로 전문의가 경험에 의존하여 수동으로 영역을 지정하여 분할한다. 흉부의 중앙에서 유방의 주름이 시작되는 곳부터 유방의 아래쪽 주름을 지나 유방의 측면경계가 겨드랑이 아래로 들어가지 않는 정도로 유방영역의 아래쪽 경계를 정하고, 유방의 위쪽은 정합된 MRI 영상을 참고하며 유방의 연조직 분포에 따라 적절히 자연스러운 원을 그려 경계를 완성한다(Fig.8 참조). 이 경계선을 기준으로 3D 스캔 모델을 잘라내어 유방 보형물의 전면부 모델 Mbreast을 만든다.

MTMDCW_2019_v22n12_1385_f0008.png 이미지

Fig. 8. Breast region segmentation from a 3D scan meshmodel.

4.4 MRI 영상에서 생성한 3D 모델로부터 대흉근의 분할

 MRI 데이터에서 분할한 대흉근의 3D 모델 MPM에서 유방 보형물의 후면부가 되어줄 부분을 잘라낸다. 앞서 3D 스캔 데이터에서 분할한 유방 전면부의 3D 모델 Mbreast과 MPM을 각각의 위치에 놓고 (Fig. 9(a)참조) Mbreast를 MPM에 투영하여 생긴 경계를 기준으로 메쉬 표면을 선택하여 유방 후면부 모델 Mback을 만든다 (Fig. 9(b)참조). Fig. 9(c)-(d)는 유방 전면부 3D 모델 Mbreast와 유방 후면부의 3D 모델 Mback의 측면과 후면을 제시한다.

MTMDCW_2019_v22n12_1385_f0011.png 이미지

Fig. 9. (a) Breast implant front model Mbreast and pectoral muscle model MPM, (b) Projecting Mbreast to MPM, (c) Sideview of Mbreast and Mback, where Mback is the clipped area of MPM by the projection of Mbreast, (d) Rear viewof Mbreast and Mback.

4.5 유방 보형물의 3D 모델 생성

 4.4절에서 생성한 유방 후면부의 3D 모델 Mback과 유방 전면부의 3D 모델 Mbreast를 하나의 모델로 합쳐 완전한 모양의 유방 보형물 모델 Mimplant을 생성한다. 서로 다른 두 개의 메쉬 모델을 하나로 합치기 위해shrink-wrapping 알고리즘을 이용한다 [26]. 합쳐야하는 두 개의 메쉬를 모두 포함하는 구체 메쉬를 설정한 뒤, 구체 메쉬를 수축시켜 기존의 두 개 메쉬의 표면을 밀착하며 감싸는 곡면을 생성하는 알고리즘이다.

 Mbreast와 Mback 모델을 axial 평면으로 조밀하게 1mm 이하 간격으로 자른다 (Fig. 10(a)). 이렇게 잘려진 각각의 axial 2차원 단면에서 Mbreast와 Mback 모델의 윤곽선 (contour)을 결정하고 (Fig. 10(b)), 이 두 윤곽선을 모두 포함하는 2차원 원을 정한다. 이때 원을 나타내는 정점(vertex)은 1,000개 이상으로 구성된다. 원의 각 정점을 원의 중심으로 조금씩 이동시키는데 (Fig. 10(c)), 어떤 정점이 Mbreast와 Mback 모델의 윤곽선에 닿으면 해당 정점은 이동을 멈춘다. 정점이 원의 중심으로 이동하다가 정점이 윤곽선의 뒷면 (backface)에 닿거나, 원에 중심에 도달하면 해당 정점은 삭제한다. 이 과정은 이동시킬 정점이 하나도 남지 않을 때까지 반복된다. 모든 정점의 이동이 완료된 후 남은 정점을 선으로 연결해 유방보형물 모델 생성을 위한 마스크 슬라이드를 만든다 (Fig.10(d)). 모든 axial 평면에 대해 이 과정을 반복하여 얻은 마스크 슬라이드로 3D 모델을 생성한 결과가 유방 보형물 모델 Mimplant이다 (Fig. 11(a)-(b)).

MTMDCW_2019_v22n12_1385_f0012.png 이미지

Fig. 10. (a) Reslice the front and back of the breast implant, (b) Front and back contours, (c) Shrink the wrapping circle, (d) Slice mask of the breast implant model.

MTMDCW_2019_v22n12_1385_f0009.png 이미지

Fig. 11. Mimplant and Mmold: (a) Front view of Mimplant, (b) Side view of Mimplant, (c) Back view of Mimplant, (d) Mmold. 

4.6 유방 보형물의 몰드 모델 생성

 유방 보형물에 대한 3D 모델을 직접 3D 프린팅하는 방법은 적용이 어렵다. 유방 보형물은 실리콘으로 제작되어야 하지만, 현재까지 실리콘을 출력하는 프린터나 실리콘과 흡사한 물성의 프린팅 소재가 개발되지 않았기 때문이다. 본 논문에서는 기존의 유방보형물 제작 기법과 같이 유방 보형물의 3D 모델을 이용하여 보형물의 실리콘 몰드를 만들고, 그 속에 실리콘을 부어 굳힌 후 몰드를 제거해서 실리콘 유방보형물을 제작하는 방법을 제안하고자 한다.

 4.1-4.5절에서 설명된 과정으로 구성된 유방 보형물의 3D 메쉬 모델 Mimplant의 표면에서 밖으로 2mm의 두께만큼 오프셋 (offset)을 수행한 모델을 생성하고, 보형물의 후면에 실리콘을 부을 수 있는 구멍을 만들어 최종적 단계인 보형물의 실리콘 몰드 모델 Mmold를 생성한다 (Fig. 11(c)). 그리고 생성된 실리콘 몰드 모델을 3D 프린터로 출력한다. 출력물의 내부를 미끄럽게 후처리한 후 구멍을 통해 내부에 실리콘을 부어주면 환자 맞춤형 유방 보형물이 완성된다.

5. 실험 결과

 기존에는 흉부 MRI 영상과 3D 스캔 데이터에서 환자 맞춤형 유방 보형물의 제작에 필요한 부분만 각각 분할하고 정합하여 보형물 실리콘 몰드 모델을 제작하는 연구가 없다. 제안된 알고리즘이 구현되지 않은 시점에서 MRI 영상과 3D 스캔 데이터를 모두 활용하여 환자맞춤형 유방 보형물을 제작하기 위해서는, 알고리즘의 각 단계별로 다음과 같은 과정을 거쳐야 한다. 상용 의료 영상처리 소프트웨어로는 Materialize사의 Mimics [21]를 사용할 수 있다. 아래의 과정을 거쳐 맞춤형 유방 보형물 3D 모델을 생성할 경우, 평균적으로 2시간 정도의 시간이 소요된다.

 단계 1. 의료영상처리 소프트웨어를 사용하여 MRI 데이터에 대해 유방영역과 대흉근 영역의 분할을 수행한다.

 단계 2. 의료영상처리 소프트웨어를 사용하여 MRI 데이터로부터 3D 모델을 구성하고, 이것과 3D스캔 모델을 수작업으로 정합 시킨다.

 단계 3. 3-Matic 및 MeshLab과 같은 모델링 소프트웨어를 사용하여, 3D 스캔 모델에서 유방 영역을 분할하고, Mimics에서 만든 MRI 모델을 추가로 입력하여 유방 보형물 모델을 수작업으로 만든다.

 본 연구에서는 위의 과정들을 하나의 소프트웨어로 집약하여 구현하였으며, 영상 분할과 정합에 있어서는 유방 보형물의 특성에 맞게 특성 값을 미리 설정하여 작업의 속도를 높이기 위해 노력하였다. 숙련된 사용자의 경우 개발된 소프트웨어를 사용하여 30∼40분 정도에 하나의 맞춤형 유방 보형물 실리콘몰드 모델을 제작할 수 있었다.

 제안된 알고리즘은 다음과 같은 실험 환경에서 구현되었다. 본 연구에서 사용된 MRI 영상은 AxiT1FSE 3mm 방법으로 촬영되었고, 각 단층은 가로/세로 512×512 해상도이고, 100장 내외의 단층으로 구성되나 단층의 수는 영상에 따라 달라질 수 있다. 각 단층 간의 간격은 3 mm이다. 3D 스캔 모델은 ArtecEva사의 handheld 3D scanner를 사용해 생성되었다. 알고리즘을 적용하여 유방 보형물의 몰드를 3D모델로 구성한 뒤, 3D 프린터로 FDM 방식인 Stratasys사의 Fortus 380MC를 사용하여 몰드를 출력하였다. 몰드의 재료는 단단한 물성의 ABS-M30을 사용하였다.

 제안된 알고리즘으로 생성된 유방 보형물은 보형물 모델의 생성 시간이 짧을 뿐만 아니라 모델의 후면이 대흉근 형태를 반영하므로 수술 후의 부작용을 줄일 수 있다는 장점을 갖는다. 3D 스캔 데이터에 대해 모델을 생성하는 상용 소프트웨어인 Artec 사의 Artec studio 12(http://www.artec3d.com/3dsoftware)로 유방 보형물 모델을 생성하여 제안된 알고리즘과 성능을 비교하였다. Artec studio 12는 현재 경북대학교 성형외과 병원에서 맞춤형 유방 보형물 연구를 위해 사용되고 있다.

 Fig. 12는 Artec studio 12로 유방 보형물 모델을 생성한 예를 보인다. 제안된 알고리즘에서 사용한 입력 데이터를 동일하게 사용하여 보형물을 생성한 결과는 Fig. 12.(a)에 제시되었다. 보형물의 후면이 가진 특성을 보이기 위해 다른 입력 데이터에 대해 생성한 보형물을 추가하여 Fig. 12.(b)에 제시하였다. Artec studio 12로 만든 모델은 유방 보형물이 인체의 대흉근과 닿는 부분, 즉 후면의 형태가 대흉근의 형태를 반영하지 않는다. 보형물의 후면은 대흉근 형태와 무관하게 유방 전면 부분의 테두리를 경계선으로 하여 내부를 면으로 메운 부드러운 곡면의 형태이다. Fig. 11(c)와 같이 본 연구에서 제안한 방법으로 생성한 모델은 보형물의 후면이 대흉근의 형태를 반영하므로, 실리콘 보형물로 만들어 실제 수술에 사용할 경우 보형물이 신체에 꼭 맞게 안착할 수 있을 것으로 예상된다.

MTMDCW_2019_v22n12_1385_f0010.png 이미지

Fig. 12. Breast implant model created by Artec studio 12 : (a) Front view(left) and back view(right) of the model generated from the input data in fig.3, (b) Front view(left) and back view(right) of the model generated from other input data.

6. 결론 및 향후 계획

 본 논문에서는 MRI 영상과 3D 스캔 데이터를 입력으로 사용하여 각각의 3D 모델을 생성한 뒤 이들을 정합하여 맞춤형 유방 보형물 모델을 제작하는 알고리즘을 제시하였다. 제안된 3D 모델의 분할 및 정합, 유방 영역의 분할 등의 알고리즘은 아직 대부분 수동에 가까운 세미오토메틱 방식이지만, 기존 방식에 비해 제작 과정의 많은 부분이 간편화되었다. 또한, 실험을 통하여 전문가의 수작업을 위주로 수행할 경우에 비해 3배에서 4배 정도 빠른 시간 내에 맞춤형 유방 보형물의 제작이 가능함을 보였다.

 향후에는 제안된 방법에서 좀 더 자동화할 수 있는 부분들을 개선하여, 더 간편한 방식으로 정밀한 맞춤형 유방 보형물 모델을 제작할 계획이다. MRI 영상에서 유방 영역과 대흉근 영역을 분할하는 과정, 그리고 3D 스캔 데이터에서 유방 영역을 발견하는 과정을 자동화하는 알고리즘을 개발하고자 한다. 3D스캔 모델의 정합 과정에서는 마커를 수동으로 지정하지 않고 자동으로 해부학적 특징점을 찾아 정합하는 알고리즘을 개발하고자 한다.

References

  1. 2018 Breast Cancer Facts and Fig.s, http://www.kbcs.or.kr (accessed October 30, 2019).
  2. S. Levy, R. Herberman, M. Lippman, and T. d'Angelo, “Correlation of Stress Factors with Sustained Depression of Natural Killer Cell Activity and Predicted Prognosis in Patients with Breast Cancer,” Journal of Clinical Oncology, Vol. 5, No. 3, pp. 348-353, 1987. https://doi.org/10.1200/JCO.1987.5.3.348
  3. S.K.A. Ghazal, L. Fallowfield, and R.W. Blamey, “Comparison of Psychological Aspects and Patient Satisfaction Following Breast Conserving Surgery, Simple Mastectomy and Breast Reconstruction,” European Journal of Cancer, Vol. 36, No. 15, pp. 1938-1943, 2000. https://doi.org/10.1016/S0959-8049(00)00197-0
  4. N. Handel, T. Cordray, J. Gutierrez, and J.A. Jensen, “A Long-term Study of Outcomes, Complications, and Patient Satisfaction with Breast Implants,” Plastic and Reconstructive Surgery, Vol. 117, No. 3, pp. 757-767, 2006. https://doi.org/10.1097/01.prs.0000201457.00772.1d
  5. M.L. Hintz, Optimising Breast Implant Geometry Using 3-dimensional Imaging, Master's Thesis of Queensland University of Technology, 2017.
  6. M.P. Chae, W.M. Rozen, P.G. McMenamin, M.W. Findlay, R.T. Spychal, and D.J. Hunter-Smith, "Emerging Applications of Bedside 3D Printing in Plastic Surgery," Frontiers in Surgery, Vol. 2, Article 25, pp. 1-14, 2015. https://doi.org/10.3389/fsurg.2015.00001
  7. A. Bauermeister, A. Zuriarrain, and M. Newman, “Three-dimensional Printing in Plastic and Reconstructive Surgery : A Systematic Review,” Annals of Plastic Surgery, Vol. 77, No. 5, pp. 569-576, 2016. https://doi.org/10.1097/SAP.0000000000000671
  8. VECTRA XT 3D Imaging System, https://www.canfieldsci.com/imaging-systems/vectra-xt-3d-imaging-system (accessed October 30, 2019).
  9. A.E. Nord, M. Wickman, and G. Jurell, “Measurement of Breast Volume with Thermoplastic Casts,” Scandinavian Journal of Plastic and Reconstructive Surgery and Hand Surgery, Vol. 30, No. 2, pp. 129-132, 1996. https://doi.org/10.3109/02844319609056394
  10. H.M. Moftah, A.T. Azar, E.T.A. Shammari, N.I. Ghali, A.E. Hassanien, and M. Shoman, “Adaptive K-means Clustering Algorithm for MR Breast Image Segmentation,” Neural Computing and Applications, Vol. 24, No. 7-8, pp. 1917-1928, 2014. https://doi.org/10.1007/s00521-013-1437-4
  11. B.C. Patel and G.R. Sinha, “An Adaptive K-means Clustering Algorithm for Breast Image Segmentation,” International Journal of Computer Applications, Vol. 10, No. 4, pp. 1-4, 2010. https://doi.org/10.5120/1473-1989
  12. L. Wang, B. Platel, T. Ivanovskaya, M. Harz, and H.K. Hahn, "Fully Automatic Breast Segmentation in 3D Breast MRI," Proceedings of 9th IEEE International Symposium on Biomedical Imaging, pp. 1024-1027, 2012.
  13. B.C. Porter, D.J. Rubens, J.G. Strang, J. Smith, S. Totterman, and K.J. Parker, “Three-dimensional Registration and Fusion of Ultrasound and MRI Using Major Vessels as Fiducial Markers,” IEEE Transactions on Medical Imaging, Vol. 20, No. 4, pp. 354-359, 2001. https://doi.org/10.1109/42.921484
  14. DICOM Standard Browser by Innolitics, https://dicom.innolitics.com/ciods (accessed October 30, 2019).
  15. R. Kohler, “A Segmentation System based on Thresholding,” Computer Graphics and Image Processing, Vol. 15, No. 4, pp. 319-338, 1981. https://doi.org/10.1016/S0146-664X(81)80015-9
  16. D. Pandey, X. Yin, H. Wang, M.Y. Su, J.H. Chen, J. Wu, et al., "Automatic and Fast Segmentation of Breast Region-of-interest (ROI) and Density in MRIs," Heliyon, Vol. 4, No. 12, e01042, 2018. https://doi.org/10.1016/j.heliyon.2018.e01042
  17. S. Thakran, S. Chatterjee, M. Singhal, R.K. Gupta, and A. Singh, "Automatic Outer and Inner Breast Tissue Segmentation Using Multi-parametric MRI Images of Breast Tumor Patients," Public Library of Science ONE, Vol. 13, No. 1, E0190348, 2018.
  18. Boolean Operations on Polygons, https://en.wikipedia.org/wiki/Boolean_operations_on_polygons (accessed October 30, 2019).
  19. J. Zhang, J. Wang, X. Wang, and D. Feng, “The Adaptive FEM Elastic Model for Medical Image Registration,” Physics in Medicine and Biology, Vol. 59, No. 1, pp. 97-118, 2014. https://doi.org/10.1088/0031-9155/59/1/97
  20. W. Lee, K.G. Kim, and S.H. Chung, “Volume Measurement of Limb Edema Using Three Dimensional Registration Method of Depth Images Based on Plane Detection,” Journal of Korea Multimedia Society, Vol. 17, No. 7, pp. 818-828, 2014. https://doi.org/10.9717/kmms.2014.17.7.818
  21. Materialise Mimics, https://www.materialise.com/ko/medical/software/mimics (accessed October 30, 2019).
  22. T. Lin, C.L. Guyader, I. Dinov, P. Thompson, A. Toga, and L. Vese, A Landmark-Based Image Registration Model Using a Nonlinear Elasticity Smoother for Mapping Mouse Atlas to Gene Expression Data, UCLA CAM Report 09-51, 2009.
  23. M.P. Chae, D.J.H. Smith, R.T. Spychal, and W.M. Rozen, “3D Volumetric Analysis for Planning Breast Reconstructive Surgery,” Breast Cancer Research and Treatment, Vol. 146, No. 2, pp. 457-460, 2014. https://doi.org/10.1007/s10549-014-3028-1
  24. O.M. Tepper, N.S. Karp, K. Small, J. Unger, L. Rudolph, A. Pritchard, et al., “Three Dimensional Imaging Provides Valuable Clinical Data to Aid in Unilateral Tissue Expander‐ Implant Breast Reconstruction,” The Breast Journal, Vol. 14, No. 6, pp. 543-550, 2008. https://doi.org/10.1111/j.1524-4741.2008.00645.x
  25. L. Kovacs, M. Eder, R. Hollweck, A. Zimmermann, M. Settles, A. Schneider, et al., “New Aspects of Breast Volume Measurement Using 3-dimensional Surface Imaging,” Annals of Plastic Surgery, Vol. 57, No. 6, pp. 602-610, 2006. https://doi.org/10.1097/01.sap.0000235455.21775.6a
  26. Y.K. Lee, C.K. Lim, H. Ghazialam, H. Vardhan, and E. Eklund, “Surface Mesh Generation for Dirty Geometries by the Cartesian Shrinkwrapping Technique,” Engineering with Computers, Vol. 26, No. 4, pp. 377-390, 2010. https://doi.org/10.1007/s00366-009-0171-0