정보과학회 논문지 (Journal of KIISE)

  • 제45권1호
  • /
  • Pages.15-21
  • /
  • 2018
  • /
  • 2383-630X(pISSN)
  • /
  • 2383-6296(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

그래프 기반 준지도 학습에서 빠른 낮은 계수 표현 기반 그래프 구축

Graph Construction Based on Fast Low-Rank Representation in Graph-Based Semi-Supervised Learning

  • 오병화 (서강대학교 컴퓨터공학과) ;
  • 양지훈 (서강대학교 컴퓨터공학과)
  • 투고 : 2017.02.03
  • 심사 : 2017.10.25
  • 발행 : 2018.01.15
⟨ 이전 논문 다음 논문 ⟩

초록

낮은 계수 표현(Low-Rank Representation, LRR) 기반 방법은 얼굴 클러스터링, 객체 검출 등의 여러 실제 응용에 널리 사용되고 있다. 이 방법은 그래프 기반 준지도 학습에서 그래프 구축에 사용할 경우 높은 예측 정확도를 확보할 수 있어 많이 사용된다. 그러나 LRR 문제를 해결하기 위해서는 알고리즘의 매 반복마다 데이터 수 크기의 정방행렬에 대해 특이값 분해를 수행하여야 하므로 계산 비효율적이다. 이를 해결하기 위해 속도를 향상시킨 발전된 LRR 방법을 제안한다. 이는 최근 발표된 Fast LRR(FaLRR)을 기반으로 하며, FaLRR이 속도는 빠르지만 실제로 분류 문제에서 성능이 낮은 것을 해결하기 위해 기반 최적화 목표에 추가 제약 조건을 도입하고 이를 최적화하는 방법을 제안한다. 실험을 통하여 제안 방법은 LRR보다 더 좋은 해를 빠르게 찾아냄을 확인할 수 있다. 또한, 동일한 해를 도출하는 방법을 찾아내기는 어렵지만 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내는 Fast MLRR(FaMLRR)을 제안한다.

Low-Rank Representation (LRR) based methods are widely used in many practical applications, such as face clustering and object detection, because they can guarantee high prediction accuracy when used to constructing graphs in graph - based semi-supervised learning. However, in order to solve the LRR problem, it is necessary to perform singular value decomposition on the square matrix of the number of data points for each iteration of the algorithm; hence the calculation is inefficient. To solve this problem, we propose an improved and faster LRR method based on the recently published Fast LRR (FaLRR) and suggests ways to introduce and optimize additional constraints on the underlying optimization goals in order to address the fact that the FaLRR is fast but actually poor in classification problems. Our experiments confirm that the proposed method finds a better solution than LRR does. We also propose Fast MLRR (FaMLRR), which shows better results when the goal of minimizing is added.

키워드

과제정보

연구 과제 주관 기관 : 산업기술평가관리원, 정보통신기술진흥센터

참고문헌

  1. G. Liu, Z. Lin and Y. Yu, "Robust subspace segmentation by low-rank representation," Proc. of the 27th international conference on machine learning, pp. 663-670, 2010.
  2. L. Zhuang, H. Gao, Z. Lin, Y. Ma, X. Zhang and N. Yu, "Non-negative low rank and sparse graph for semi-supervised learning," Proc. of the IEEE conference on computer vision and pattern recognition, pp. 2328-2335, 2012.
  3. Y. Peng, B. L. Lu and S. Wang, "Enhanced low- rank representation via sparse manifold adaption for semi-supervised learning," Neural networks, Vol. 65, pp. 1-17, 2015. https://doi.org/10.1016/j.neunet.2015.01.001
  4. R. Lin, Z. Lin, F. De la Torre and Z. Su, "Fixed-rank representation for unsupervised visual learning," Proc. of the IEEE conference on computer vision and pattern recognition, pp. 598-605, 2012.
  5. S. Xiao, W. Li, D. Xu and D. Tao, "FaLRR: A fast low rank representation solver," Proc. of the IEEE conference on computer vision and pattern recognition, pp. 4612-4620, 2015.
  6. X. Lu, Y. Wang and Y. Yuan, "Graph-regularized low-rank representation for destriping of hyperspectral images," IEEE transactions on geoscience and remote sensing, Vol. 51, No. 7, pp. 4009-4018, 2013. https://doi.org/10.1109/TGRS.2012.2226730
  7. Z. Lin, M. Chen and Y. Ma, "The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices," arXiv preprint, arXiv: 1009.5055, 2010.
  8. J. F. Cai, E. J. Candes and Z. Shen, "A singular value thresholding algorithm for matrix completion," SIAM journal on optimization, Vol. 20, No. 4, pp. 1956-1982, 2010. https://doi.org/10.1137/080738970
  9. R. P. Brent, "An algorithm with guaranteed convergence for finding a zero of a function," The computer journal, Vol. 14, No. 4, pp. 422-425, 1971. https://doi.org/10.1093/comjnl/14.4.422
  10. [Online]. Available: http://www.cad.zju.edu.cn/home/dengcai/Data/d ata.html
  11. D. Zhou, O. Bousquet, T. N. Lal, J. Weston and B.Scholkopf, "Learning with local and global consistency," Advances in neural information processing systems, Vol. 16, No. 16, pp. 321-328, 2004.