CUDA 및 분할-정복 기반의 효율적인 다차원 척도법

An Efficient Multidimensional Scaling Method based on CUDA and Divide-and-Conquer

  • 투고 : 2009.12.23
  • 심사 : 2010.01.28
  • 발행 : 2010.04.15

초록

다차원 척도법(multidimensional scaling)은 고차원의 데이터를 낮은 차원의 공간에 매핑(mapping)하여 데이터 간의 유사성을 표현하는 방법이다. 이는 주로 자질 선정 및 데이터를 시각화하는 데 이용된다. 그러한 다차원 척도법 중, 전통 다차원 척도법(classical multidimensional scaling)은 긴 수행 시간과 큰 공간을 필요로 하기 때문에 객체의 수가 많은 경우에 대해 적용하기 어렵다. 이는 유클리드 거리(Euclidean distance)에 기반한 $n{\times}n$ 상이도 행렬(dissimilarity matrix)에 대해 고유쌍 문제(eigenpair problem)를 풀어야 하기 때문이다(단, n은 객체의 개수). 따라서, n이 커질수록 수행 시간이 길어지며, 메모리 사용량 증가로 인해 적용할 수 있는 데이터 크기에 한계가 있다. 본 논문에서는 이러한 문제를 완화하기 위해 GPGPU 기술 중 하나인 CUDA와 분할-정복(divide-and-conquer)기법을 활용한 효율적인 다차원 척도법을 제안하며, 다양한 실험을 통해 제안하는 기법이 객체의 개수가 많은 경우에 매우 효율적일 수 있음을 보인다.

Multidimensional scaling (MDS) is a widely used method for dimensionality reduction, of which purpose is to represent high-dimensional data in a low-dimensional space while preserving distances among objects as much as possible. MDS has mainly been applied to data visualization and feature selection. Among various MDS methods, the classical MDS is not readily applicable to data which has large numbers of objects, on normal desktop computers due to its computational complexity. More precisely, it needs to solve eigenpair problems on dissimilarity matrices based on Euclidean distance. Thus, running time and required memory of the classical MDS highly increase as n (the number of objects) grows up, restricting its use in large-scale domains. In this paper, we propose an efficient approximation algorithm for the classical MDS based on divide-and-conquer and CUDA. Through a set of experiments, we show that our approach is highly efficient and effective for analysis and visualization of data consisting of several thousands of objects.

키워드

참고문헌

  1. Borg, I. and Groenen, P. J. F., Modern Multidimensional Scaling: Theory and Applications, Second Edition, Springer Science+Business Media, New York, NY, USA, 2005.
  2. Shashua, A. and Wolf, L., Kernel feature selection with side data using a spectral approach, Proc. of ECCV 2004, pp.39-53, 2004.
  3. Yang, T., Liu, J., McMillan, L., and Wang, W., A fast approximation to multidimensional scaling, Proc. of the ECCV 2006 Workshop on Computation Intensive Methods for Computer Vision, 2006.
  4. Kirk, D. and Hwu, W.-M., CUDA Textbook, Draft Version, 2009.
  5. OpenCL, Khronos group, http://www.khronos.org/opencl.
  6. Larrabee, Intel, http://www.intel.com/technology/visual/microarch.htm.
  7. CUDA CUBLAS Library Ver.2.3, NVIDIA Corporation, Santa Clara, CA, USA, 2009.
  8. CULA tools, EM Photonics, http://www.culatools.com.
  9. de Silva, V. and Tenenbaum, J.B., Sparse multidimensional scaling using landmark points, Technical Report, Stanford University, 2004.
  10. Faloutsos, C. and Lin, K.-I., FastMap: a fast algorithm for indexing, data-mining and visualization, Proc. of ACM SIGMOD 1995, pp.163-174, 1995.
  11. Pechenizkiy, M., Puuronen, S., and Tsymbal, A., The impact of sample reduction on PCA-based feature extraction for supervised learning, Proc. of ACM SAC 2006 Data Mining Track, pp.553-558, 2006.