Abstract
The goal of this paper is to provide performance improvement and stability for satellite data correction of some distortions due to cloud or radiance through distributed processing on cluster. To do this, we proposed and implemented SGE(Sun Grid Engine) based distributed processing methods using local storages and a status table. In the verification, the experiment result revealed that the proposed system on seven nodes improved the processing speed by 138.81% as compare to the existing system and provided good stability as well. This result showed that the proposed distributed processing work is more appropriate to process CPU bound jobs than I/O bound jobs. We expect that the proposed system will give scientists improved analysis performance in various fields and near-real time analysis services.
본 논문은 다양한 분야에서 활용되고 있는 초기의 위성 데이터가 자체적으로 내포하고 있는 많은 왜곡 요소(구름, 광휘 등)에 대한 보정 작업을 클러스터에서 분산 처리함으로써 성능 향상 및 안정성을 제공해 주는 것이 목적이다. 이를 위해 로컬 스토리지와 상태 테이블을 이용한SGE(Sun Grid Engine) 기반 분산 처리 방식을 제안하였고, 시스템으로 구현하였다. 이를 검증하기 위해 7개의 실행노드를 이용한 실험 결과에서는 기존 시스템보다 138.81%의 성능 향상을 가져옴을 알 수 있었으며, 분산 처리 작업에 대한 안정성 또한 확보됨을 보여주었다. 이는 위성 데이터에 대한 분산 처리 작업이 I/O바운드 작업보다는 CPU 바운드 작업에 보다 더 적합하다는 것을 보여주며, 이러한 SGE 기반 분산 처리 방식은 위성영상 데이터를 처리해야하는 다양한 분야에서의 데이터 처리 및 분석 속도 향상을 가져올 수 있고, 더 나아가 근실시간적 서비스를 가능하게 할 것으로 기대한다.
