• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권1호
• /
• pp.180-194
• /
• 2021

For small image registration, feature-based approaches are likely to fail as feature detectors cannot detect enough feature points from low-resolution images. The classic FFT approach's prediction accuracy is high, but the registration time can be relatively long, about several seconds to register one image pair. To achieve real-time and high-precision rigid registration for small images, we apply deep neural networks for supervised rigid transformation prediction, which directly predicts the transformation parameters. We train deep registration models with rigidly transformed CIFAR-10 images and STL-10 images, and evaluate the generalization ability of deep registration models with transformed CIFAR-10 images, STL-10 images, and randomly generated images. Experimental results show that the deep registration models we propose can achieve comparable accuracy to the classic FFT approach for small CIFAR-10 images (32×32) and our LSTM registration model takes less than 1ms to register one pair of images. For moderate size STL-10 images (96×96), FFT significantly outperforms deep registration models in terms of accuracy but is also considerably slower. Our results suggest that deep registration models have competitive advantages over conventional approaches, at least for small images.

• 한국정보통신학회논문지
• /
• 제23권6호
• /
• pp.652-658
• /
• 2019

사물인터넷을 이화학, 약학, 생물학 및 의학 등 다양한 연구실험분야에 적용한 경우 다양한 센서와 기기를 부착하여 지능적으로 연구장비 및 환경을 모니터링하고 제어함으로써 연구실험자의 안전성과 편의성을 증대시킬 수 있다. 시약의 정확하고 편리한 기록관리 및 실험과정의 연구이력과 근거, 역추적성 등을 위해서는 실시간 시약 계량 및 등록의 연구지원 자동화 서비스를 제공해야 한다. 현재 기존 시약관리방법은 전산 관리방법을 이용하지만 시약등록과 관리가 일체화된 자동화가 많이 이루어져 있지 않다. 또한 수기에 의한 기록 관리가 대부분으로 실험에 대한 기록오류 및 많은 시약에 대한 계량 및 등록에 대한 소요시간이 큰 점 등 번거로움과 문제점들이 많다. 이에 본 논문에서는 영상인식 및 NFC(Near Field Communication) 방식에 의한 시약 등록과 동시에 전자저울로 계량 측정된 시약정보를 자동으로 관리할 수 있는 IoT 기반 실시간 시약 계량 및 등록 방법을 연구하였다.

• Journal of Radiation Protection and Research
• /
• 제44권4호
• /
• pp.149-155
• /
• 2019

Background: Magnetic resonance (MR) image guided radiation therapy system, enables real time MR guided radiotherapy (RT) without additional radiation exposure to patients during treatment. However, MR image lacks electron density information required for dose calculation. Image fusion algorithm with deformable registration between MR and computed tomography (CT) was developed to solve this issue. However, delivered dose may be different due to volumetric changes during image registration process. In this respect, synthetic CT generated from the MR image would provide more accurate information required for the real time RT. Materials and Methods: We analyzed 1,209 MR images from 16 patients who underwent MR guided RT. Structures were divided into five tissue types, air, lung, fat, soft tissue and bone, according to the Hounsfield unit of deformed CT. Using the deep learning model (U-NET model), synthetic CT images were generated from the MR images acquired during RT. This synthetic CT images were compared to deformed CT generated using the deformable registration. Pixel-to-pixel match was conducted to compare the synthetic and deformed CT images. Results and Discussion: In two test image sets, average pixel match rate per section was more than 70% (67.9 to 80.3% and 60.1 to 79%; synthetic CT pixel/deformed planning CT pixel) and the average pixel match rate in the entire patient image set was 69.8%. Conclusion: The synthetic CT generated from the MR images were comparable to deformed CT, suggesting possible use for real time RT. Deep learning model may further improve match rate of synthetic CT with larger MR imaging data.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권3호
• /
• pp.335-343
• /
• 2006

본 논문에서는 수술 전에 획득한 전산화 단층촬영영상에서 추출한 3차원 정보를 수술 중에 획득한 2차원 X-선 투시영상에 실시간으로 표시하기 위하여 표식기 기반 고속 2차원-3차원 영상정합 방법을 제안한다. 정합과정은 전처리 과정과 실시간 정합 과정으로 나누어진다. 전처리 과점에서 가장 많은 계산량을 필요로 하는 DRR의 생성을 그래픽 하드웨어를 이용하여 고속으로 생성하고, 표식기를 부착한 심장 모형데이타에서 자동으로 표식기를 탐색 추출 한다. 실시간 정합 과정은 주축 정합을 이용한 평면 내부 정합과 구좌표계에서 최소 오차 탐색 방법을 이용한 평면 외부 정합 방법으로 분리하여 계층적으로 정합하여 탐색 범위를 6자유도에서 2자유도로 개선하였다. 본 제안방법은 실시간 계산을 최소화함으로써 정확성을 유지하면서 정합의 효율성을 개선하였다.

• 한국멀티미디어학회논문지
• /
• 제17권7호
• /
• pp.818-828
• /
• 2014

After emerging of Microsoft Kinect, the interest in three-dimensional (3D) depth image was significantly increased. Depth image data of an object can be converted to 3D coordinates by simple arithmetic calculation and then can be reconstructed as a 3D model on computer. However, because the surface coordinates can be acquired only from the front area facing Kinect, total solid which has a closed surface cannot be reconstructed. In this paper, 3D registration method for multiple Kinects was suggested, in which surface information from each Kinect was simultaneously collected and registered in real time to build 3D total solid. To unify relative coordinate system used by each Kinect, 3D perspective transform was adopted. Also, to detect control points which are necessary to generate transformation matrix, 3D randomized Hough transform was used. Once transform matrices were generated, real time 3D reconstruction of various objects was possible. To verify the usefulness of suggested method, human arms were 3D reconstructed and the volumes of them were measured by using four Kinects. This volume measuring system was developed to monitor the level of lymphedema of patients after cancer treatment and the measurement difference with medical CT was lower than 5%, expected CT reconstruction error.

• 대한의용생체공학회:의공학회지
• /
• 제25권2호
• /
• pp.111-117
• /
• 2004

현재 치과 방사선 영상에 적용되고 있는 대부분의 영상공제술은 기준점을 이용한 정한에 근거하고 있다. 본 연구에서는 수작업에 의한 기준점 설정 방법을 이용하지 않고 자동적으로 정참을 수행하는 방법을 개발하였다. 두 영상의 기하학적 매칭을 국소적 관심영역(ROI)에 한정시켜서 이 관심영역 간의 상관계수를 비교한다. 두 영역의 상관계수가 최대화되는 affine 또는 perspective 변환 파라미터를 고속의 탐색전략을 이용하여 반복적으로 찾는다. 우선 1/4 스케일 영상에 대하여 근사적인 파라미터를 탐색한 후 다시 원래 영상에 대하여 미세한 매칭이 이루어진다. 개발된 방법은 Gaussian 잡음에 의해 손상된 모의영상을 모의변환을 하지 않은 영상과 동일한 정도의 정확도를 가지고 정합 할 수 있다. 개발된 방법의 perspective 변환을 이용한 정합의 정확도는 수작업에 의한 것보다 17%향상된 결과를 보였다. 결론적으로, 이 방법의 치과 임플란트 영상에의 적용은 거의 실시간으로 자동적이고 잡음에 강인한 정합을 제공한다.

• 전자공학회논문지CI
• /
• 제45권3호
• /
• pp.97-102
• /
• 2008

본 논문은 컬러 질의 영상의 효과적인 검출을 위해 공간 컬러모델 및 특징점 정합 방법을 이용한 객체 기반 영상 검색 방법을 제안한다. 제안하는 방법은 선행 연구 되었던 컬러 히스토그램 방법의 단점을 극복하고, 데이터베이스 영상과 질의 영상의 컬러 유사도를 사용자 조작 없이 실시간 분할 검출한다. 이를 위해 HMMD 모델과 러프 집합 이론을 이용하였다. 여기서 질의 영상의 검출을 위해 질의 영상과 데이터베이스 영상 간의 색상 유사도를 비교하여 관심 영역을 선택하고, 관심 영역에서 SIFT 정합 방법을 이용하여 검색한다. 실험 결과, 본 논문에서 제안하는 방법이 기존 방법보다 우수한 검출율을 보임을 확인하였다.

• Journal of Computing Science and Engineering
• /
• 제6권1호
• /
• pp.1-11
• /
• 2012

Computed tomography (CT) images are widely used for the analysis of the temporal evaluation or monitoring of the progression of a disease. The follow-up examinations of CT scan images of the same patient require a 3D registration technique. In this paper, an automatic and robust registration is proposed for the rigid registration of 3D CT images. The proposed method involves two steps. Firstly, the two CT volumes are aligned based on their principal axes, and then, the alignment from the previous step is refined by the optimization of the similarity score of the image's voxel. Normalized cross correlation (NCC) is used as a similarity metric and a downhill simplex method is employed to find out the optimal score. The performance of the algorithm is evaluated on phantom images and knee synthetic CT images. By the extraction of the initial transformation parameters with principal axis of the binary volumes, the searching space to find out the parameters is reduced in the optimization step. Thus, the overall registration time is algorithmically decreased without the deterioration of the accuracy. The preliminary experimental results of the study demonstrate that the proposed method can be applied to rigid registration problems of real patient images.

• 전자공학회논문지SC
• /
• 제49권4호
• /
• pp.10-16
• /
• 2012

영상 기반 반도체 검사 장비의 검사 고속화와 검사 정확도를 위해, 넓은 FOV와 고해상도를 동시에 가지는 2차원 영상을 획득하는 것은 검사 장비에 필수적이다. 본 논문에서는 정밀도와 FOV 측면에서 양질의 영상 획득을 위한 새로운 영상획득 시스템을 제안하였다. 제안시스템은 하나의 렌즈와 광분할기, 두 개의 카메라 센서, 스테레오 영상획득 보드로 구성되며, 하나의 렌즈를 통해 입력되는 영상을 두 개의 카메라 센서를 통해 동시에 영상 획득한다. 획득된 영상의 정합을 위해, 첫 번째로 Zhang의 카메라 교정 방법을 적용시켜 각각의 카메라를 교정한다. 두 번째로 다른 카메라에서 획득한 두 영상들 사이의 수학적인 정합 함수를 찾기 위해 각 영상의 호모그래피(homography)를 이용하여, 양측 카메라간의 정합 행렬을 계산한다. 영상 호모그래피를 통해서, 획득된 두 영상은 하나의 최종 검사 영상으로의 통합을 위해 최종적으로 정합될 수 있다. 다중 카메라로부터 입력되는 다중 영상들을 활용하는 제안 검사 시스템은 실시간 영상 정합을 위해 매우 빠른 프로세스 유닛의 도움이 필요하다. 이를 위해 CUDA (Compute Unified Device Architecture)기반 병렬 프로세싱 하드웨어 및 소프트웨어를 활용한다. 두 개의 분할된 영상으로부터 실시간으로 정합된 영상을 얻을 수 있었으며, 마지막으로 연속된 실험을 통해 획득한 호모그래피의 정확도를 확인할 수 있다. 실험으로 얻은 결과들은 제안된 시스템과 방법이 대영역 고해상도 검사영상 획득을 위해 효과적임을 보인다.

• 정보과학회 논문지
• /
• 제42권8호
• /
• pp.990-997
• /
• 2015

파노라마 영상 생성관련 분야는 다양하게 연구되어 왔다. 기존의 방식들은 특수목적 하드웨어를 이용하거나, 후처리 소프트웨어를 이용하여 파노라마 영상을 생성한다. 하지만 이 방식들은 비용적인 문제와 조작의 번거로움의 문제가 있다. 또한 영상 내 특징 점의 존재 유무에 따라 정합이 가능한 범위도 제한된다. 본 논문에서는 저비용의 조작이 용이한 실시간 파노라마 동영상 생성 방법을 제안한다. 제안한 시스템에서는 저비용의 범용 하드웨어를 이용하여 영상을 촬영하고, 동영상 압축 스트리밍 방법을 통해 서버로 영상을 전송한 뒤 파노라마 영상을 정합한다. 구현된 시스템의 성능 분석을 통해 파노라마 영상의 생성 시간을 측정하였고 동영상이 생성됨을 확인하였다.