Real-time panoramic stitching algorithm robust to alignment error accumulation

정렬 오류 누적에 강인한 실시간 파노라마 합성 방법

모바일 기기에서 연속적으로 입력되는 영상을 파노라마 합성을 하여 사용자에게 실시간으로 결과를 보여주는 기존의 실시간 파노라마 기법은 트래킹을 기반으로 하고 이미 채워진 영역은 재투영 하지 않기 때문에, 정렬 오류가 누적되고 누적된 정렬 오류가 결과 영상에 그대로 반영되는 문제가 있다. 이를 해결하기 위하여 본 논문에서는 실시간으로 합성된 파노라마 결과에서 정렬 오류가 존재하는 부분과 장면에서 움직이는 물체가 투영된 부분을 판별하고 이 부분만을 다시 투영하는 방법을 제안한다. 정렬 오류가 발생한 부분을 판별하기 위하여, 시간차가 존재하는 여러 장의 영상을 정렬한 후 같은 위치의 픽셀에 속하는 컬러 값을 큐에 저장한다. 정렬 오류가 발생하거나, 움직이는 물체가 존재하는 경우 큐에 저장된 컬러 값의 차이가 커지게 되고 이러한 부분은 다시 투영하여 파노라마 결과 영상에서 오류를 보정하게 된다. 또한 정렬 오류를 최대한 보정하기 위하여 두 단계로 이루어진 블렌딩 방법을 제안한다. 제안하는 방법은 실시간으로 동작하연서 정렬 오류가 발생한 부분을 효과적으로 판별하여 기존의 방법에 비하여 정렬 오류가 줄어듦을 확인하였다.