사진 구도 개선을 위한 딥러닝 기반 반복적 크롭핑

Repeated Cropping based on Deep Learning for Photo Re-composition

본 논문에서는 딥러닝 기법 중 하나인 deep convolutional neural network (DCNN)을 이용하여 영상의 구도를 개선하는 방법을 제시한다. 기존의 구도 개선 방법들은 영상의 주요 물체의 위치를 바탕으로 한 구도 평가 점수를 정의한 뒤 최적화를 통해 평가 점수를 향상시키는 방향으로 영상을 개선한다. 이는 계산량이 많고 기존 주요 물체 검출 알고리즘의 성능에 종속적이기 때문에 영상에 따라 구도 개선이 제대로 수행되지 않는 경우가 존재한다. 본 논문에서는 영상의 특징 추출에 뛰어난 성능을 보이는 DCNN을 이용해 영상을 반복적으로 크롭하여 미학적으로 구도가 개선된 영상을 얻는 방법을 제안한다. 실험 결과 및 사용자 평가를 통해 본 논문에서 제안한 알고리즘이 주어진 영상을 특정 구도 가이드라인(삼분할법, 주요 물체의 크기 등)을 따르도록 자동으로 크롭한다는 것을 보인다.

This paper proposes a novel aesthetic photo recomposition method using a deep convolutional neural network (DCNN). Previous recomposition approaches define the aesthetic score of photo composition based on the distribution of salient objects, and enhance the photo composition by maximizing the score. These methods suffer from heavy computational overheads, and often fail to enhance the composition because their optimization depends on the performance of existing salient object detection algorithms. Unlike previous approaches, we address the photo recomposition problem by utilizing DCNN, which shows remarkable performance in object detection and recognition. DCNN is used to iteratively predict cropping directions for a given photo, thus generating an aesthetically enhanced photo in terms of composition. Experimental results and user study show that the proposed framework can automatically crop the photo to follow specific composition guidelines, such as the rule of thirds.