Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Orthogonal Nonnegative Matrix Factorization: Multiplicative Updates on Stiefel Manifolds

Stiefel 다양체에서 곱셈의 업데이트를 이용한 비음수 행렬의 직교 분해

  • 유지호 (포항공과대학교 컴퓨터공학과) ;
  • 최승진 (포항공과대학교 컴퓨터공학과)
  • Published : 2009.05.15
Download PDF
⟨ Previous Next ⟩

Abstract

Nonnegative matrix factorization (NMF) is a popular method for multivariate analysis of nonnegative data, the goal of which is decompose a data matrix into a product of two factor matrices with all entries in factor matrices restricted to be nonnegative. NMF was shown to be useful in a task of clustering (especially document clustering). In this paper we present an algorithm for orthogonal nonnegative matrix factorization, where an orthogonality constraint is imposed on the nonnegative decomposition of a term-document matrix. We develop multiplicative updates directly from true gradient on Stiefel manifold, whereas existing algorithms consider additive orthogonality constraints. Experiments on several different document data sets show our orthogonal NMF algorithms perform better in a task of clustering, compared to the standard NMF and an existing orthogonal NMF.

주어진 비음수 데이터를 두 개의 비음수 행렬의 곱의 형태로 표현하는 비음수 행렬 분해(Nonnegative Matrix Factorization)는 비음수 데이터의 다변량 분석에서 폭넓게 사용되고 있는 방법이다. 비음수 행렬 분해는 집단화(Clustering), 특히 문서의 집단화에서 유용하게 쓰일 수 있다. 본 논문에서는 주어진 문서들로부터 구성된 단어-문서 행렬을 두 개의 비음수 행렬의 곱으로 분해할 때, 그 중 하나의 행렬에 직교 제한을 주는 비음수 행렬의 직교 분해(Orthogonal Nonnegative Matrix Factorization) 방법을 다룬다. 현존하는 비음수 행렬의 직교 분해 방법은 직교 제한과 관련된 항을 더해주는 방식을 사용하지만, 여기서는 Stiefel 다양체 위에서의 실제 기울기를 직접 구하여 곱셈의 업데이트 알고리즘을 유도하였다. 다양한 문서 데이터에 대한 실험을 통해 새롭게 유도된 비음수 행렬의 직교 분해 방법이 기존의 비음수 행렬 분해나 기존의 비음수 행렬의 직교 분해보다 문서 집단화에서 우수한 성능을 나타냄을 보였다.

Keywords

References

  1. Lee, D.D., Seung, H.S., 'Learning the parts of objects by non-negative matrix factorization,' Nature 401, pp. 788-791, 1999 https://doi.org/10.1038/44565
  2. Li, S.Z., Hou, X.W., Zhang, H.J., Cheng, Q.S. 'Learning spatially localized parts-based repre sentation,' Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), Kauai, Hawaii, pp. 207-212, 2001 https://doi.org/10.1109/CVPR.2001.990477
  3. Ding, C., Li, T., Peng, W., Park, H., 'Orthogonal nonnegative matrix tri-factorizations for clustering,' Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), Philadelphia, PA, 2006 https://doi.org/10.1145/1150402.1150420
  4. Xu, W., Liu, X., Gong, Y., 'Document clustering based on non-negative matrix factorization,' Proceedings of the ACM SIGIR International Conference on Research and Development in Information Retrieval (SIGIR), Toronto, Canada, 2003 https://doi.org/10.1145/860435.860485
  5. Shahnaz, F., Berry, M., Pauca, P., Plemmons, R., 'Document clustering using nonnegative matrix factorization,' Information Processing and Management 42, pp. 363-385, 2006 https://doi.org/10.1016/j.ipm.2004.11.005
  6. Lee, D.D., Seung, H.S., 'Algorithms for non-negative matrix factorization,' Advances in Neural Information Processing Systems (NIPS). Volume 13, MIT Press, 2001
  7. Gaussier, E., Goutte, C., 'Relation between PLSA and NMF and implications,' Proceedings of the ACM SIGIR International Conference on Research and Development in Information Retrieval (SIGIR), Salvador, Brazil, 2005 https://doi.org/10.1145/1076034.1076148
  8. Choi, S., 'Algorithms for orthogonal nonnegative matrix factorization,' Proceedings of the International Joint Conference on Neural Networks (IJCNN), Hong Kong, 2008
  9. Ding, C., He, X., Simon, H.D., 'On the equivalence of nonnegative matrix factorization and spectral clustering,' Proceedings of the SIAM International Conference on Data Mining (SDM), Newport Beach, CA, pp. 606-610, 2005
  10. Smith, S.T., 'Geometric Optimization Methods for Adaptive Filtering,' PhD thesis, Harvard University, May 1993
  11. Edelman, A., Arias, T., Smith, S.T., 'The geometry of algorithms with orthogonality constraints,' SIAM J. Matrix Anal. Appl. 20(2), pp. 303-353, 1998 https://doi.org/10.1137/S0895479895290954
  12. Stiefel, E., 'Richtungsfelder und fernparallelismus in n-dimensionalem mannig faltigkeiten,' Commentarii Math. Helvetici 8, pp. 305-353, 1935-1936
  13. Lovasz, L., Plummer, M., 'Matching Theory,' Akademiai Kiado, 1986