Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Fully automatic Segmentation of Knee Cartilage on 3D MR images based on Knowledge of Shape and Intensity per Patch

3차원 자기공명영상에서 패치 단위 형상 및 밝기 정보에 기반한 연골 자동 영역화 기법

  • Park, Sang-Hyun (Automation and Systems Research Institute, School of Electrical Engineering and Computer Science, Seoul National University) ;
  • Lee, Soo-Chan (Automation and Systems Research Institute, School of Electrical Engineering and Computer Science, Seoul National University) ;
  • Shim, Hack-Joon (School of Electrical Engineering and Computer Science, Seoul National University) ;
  • Yun, Il-Dong (School of Digital Information Engineering, Hankuk University of Foreign Studies) ;
  • Lee, Sang-Uk (School of Electrical Engineering and Computer Science, Seoul National University)
  • 박상현 (서울대학교 전기.컴퓨터공학부 자동화시스템연구소) ;
  • 이수찬 (서울대학교 전기.컴퓨터공학부 자동화시스템연구소) ;
  • 심학준 (서울대학교 전기.컴퓨터공학부) ;
  • 윤일동 (한국외국어대학교 용인캠퍼스 디지털정보공학과) ;
  • 이상욱 (서울대학교 전기.컴퓨터공학부)
  • Received : 2010.01.14
  • Published : 2010.11.25
Download PDF
⟨ Previous Next ⟩

Abstract

The segmentation of cartilage is crucial for the diagnose and treatment of osteoarthritis (OA), and has mostly been done manually by an expert, requiring a considerable amount of time and effort due to the thin shape and vague boundaries of the cartilage in MR (magnetic resonance) images. In this paper, we propose a fully automatic method to segment cartilage in a knee joint on MR images. The proposed method is based on a small number of manually segmented images as the training set and comprised of an initial per patch segmentation process and a global refinement process on the cumulative per patch results. Each patch for per patch segmentation is positioned by classifying the bone-cartilage interface on the pre-segmented bone surface. Next, the shape and intensity priors are constructed for each patch based on information extracted from reference patches in the training set. The ratio of influence between the shape and intensity priors is adaptively determined per patch. Each patch is segmented by graph cuts, where energy is defined based on constructed priors. Finally, global refinement is conducted on the global cartilage using the results of per patch segmentation as the shape prior. Experimental evaluation shows that the proposed framework provide accurate and clinically useful segmentation results.

연골 영역화는 골관절염의 진단이나 치료를 위해 중요하지만, 모양이 얇고 의료영상 내에서 주변 조직과의 명암 차이가 크지 않기 때문에 현재까지 전문가가 많은 시간과 노력을 들여 수동으로 하고 있다. 이에 따라 본 논문에서는 3차원 자기공명(Magnetic Resonance : MR)영상 내에서 연골을 자동으로 영역화하는 기법을 제안한다. 제안하는 기법은 전문가에 의해 수동으로 영역화된 소수의 의료영상을 학습 데이터베이스로 하여 우선 연골을 지역적인 부분(local patch)들로 분할하여 부분별로 영역화한 후, 부분별 결과들을 취합하고 정제하는 과정으로 이루어진다. 연골 영역화를 위해 먼저 위치와 밝기 값의 외관정보 (appearance)를 이용하여 뼈와 연골의 경계(bone-cartilage interface)를 추출해내고, 이 경계를 기준으로 하여 연골이 포함되는 주변 영역을 일정한 크기의 패치로 분할한다. 다음, 분할된 패치들의 정보를 이용해, 패치마다 형상 사전지식(shape prior)과 외관 사전지식(appearance prior)을 얻어내고 두 사전지식 간의 비율을 적응적으로 결정한다. 이후 패치마다 사전지식 정보를 통해 에너지를 정의하고, 그래프 컷(Graph Cut) 기법을 통해 이 에너지를 최소화하는 최적의 영역화 결과를 도출한다. 마지막으로 지역적으로 얻어진 영역화 결과들을 모양 사전지식으로 하여 전체적인 연골에 대해 전역적 개선 과정을 수행한다. 실험 결과를 통해 제안하는 자동 영역화 기법으로 임상적으로 유용한 영역화 결과를 얻을 수 있음을 제시한다.

Keywords

References

  1. X, Bai. et al, ."Video SnapCut: Robust Video Obje ct Cutout Using Localized Classiers," In: SIGGRA PH. (2009), pp. 1-11.
  2. Y, Rubner. et al, "Empirical Evaluation of Dissimil arity Measures for Color and Texture," Computer Vision and Image Understanding 84, 25-43 (2001) https://doi.org/10.1006/cviu.2001.0934
  3. F, Eckstein. et al. "Magnetic resonance imaging (m ri) of articular cartilage in knee osteoarthritis (oa): morphological assessment," Osteoarthritis Cartilag e 14(9) (2006) Suppl A:A46-75 https://doi.org/10.1016/j.joca.2006.02.026
  4. L, Lorigo. et al. "Segmentation of bone in clinical knee mri using texture-based geodesic active cont ours," In: MICCAI. (1998) 1195-1204
  5. P, Bourgeat. et al., "Mr image segmentation of the knee bone using phase information," Medical Imag e Analysis 11(4) (2007) 325-335 https://doi.org/10.1016/j.media.2007.03.003
  6. H, Shim. et al, "3-d segmentation of articular cartil ages by graph cuts using knee mr images from ost eoarthritis initiative," In: SPIE Medical Imaging. (2 008)
  7. V, Lempitsky. et al. "Image segmentation by branc h-and-mincut," In: ECCV. (2008) IV: 15-29
  8. Y, Boykov. et al. "Graph cuts and efficient n-d ima ge segmentation," IJCV70(2) (Feb. 2006) 109-131 https://doi.org/10.1007/s11263-006-7934-5
  9. D, Freedman. et al. "Interactive graph cut based se gmentation with shape priors," In: CVPR. (2005) I: 755-762
  10. M, Kumar. et al., "Obj cut," In: CVPR. (2005) I: 18-25
  11. S, Lee. et al. "3-D Segmentation of Knee Bones on MR images by Constrained Branch-and-Mincut," Probabilistic Models for Medical Image Analysis, in conjunction with MICCAI 2009
  12. Y, Boykov. et al. "An experimental comparison of min-cut/max-flow algorithms for energy minimiza tion in vision," IEEE trans. PAMI, vol.26(9), pp. 1124-1137, September 2004. https://doi.org/10.1109/TPAMI.2004.60
  13. H, Shim. et al., "Simultaneous 3-d segmentation of three bone compartments on high resolution knee mr images from osteoarthritis initiative (oai) using graph-cuts," In: Proceedings of SPIE Medical Imaging. (2009)
  14. P, J, Besl. et al., "A method for registration of 3-D shapes," IEEE Trans. PAMI, vol.14, pp.239-256, Fe bruary 1992. https://doi.org/10.1109/34.121791