DOI QR코드

DOI QR Code

Performance Evaluation Methodology in Virtual Environments

가상화 시스템의 성능 평가 방법

  • 장지용 (삼성전자 정보통신연구소) ;
  • 한세영 (서강대학교 컴퓨터학과) ;
  • 김진석 ((주)NHN 플랫폼서비스개발팀) ;
  • 박성용 (서강대학교 컴퓨터학과)
  • Published : 2008.06.30

Abstract

Consolidating servers into a virtualized system increases entire system utilization, while suffers from performance degradation due to the additional virtualization layer. In this paper, we proposed a performance evaluation methodology for comparing virtualized systems with native non-virtualized systems. We defined a system waste rate per consolidated throughput as a metric, and described the method for calculating system waste rate and consolidated throughput for both of virtualized systems and non-virtualized systems. Using the proposing performance evaluation methodology, we established testbeds, evaluated their performance, and compared the metrics of both systems. As a result of the evaluation, we could show the appropriateness of our methodology and analyze the effect of the application characteristics.

가상화 시스템은 시스템 활용률을 높이는 반면, 추가된 가상화 계층으로 인해 응용 프로그램의 성능 저하를 가져오므로, 본 논문에서는 두 가지 측면을 모두 고려하여 비 가상화 시스템과 성능을 비교할 수 있도록 하는 가상화 시스템의 성능평가 방법을 제안하였다. 가상화 시스템과 비 가상화 시스템을 비교할 수 있는 성능 비교 지표(metric)로 통합작업처리량 대비 시스템 낭비율을 정의하고, 가상화 시스템과 비 가상화 시스템에서 각각 시스템 낭비율과 통합작업처리량을 구할 수 있는 방법을 제시하였다. 또한 제안한 성능 평가 방법을 이용하여 다양한 응용 프로그램들을 운영하는 가상화 시스템과 비 가상화 시스템의 성능을 비교함으로써 본 연구에서 제시하는 가상화 시스템의 성능평가 방법이 적합함을 보이고, 더불어 응용 프로그램의 서로 다른 특성이 가상화 시스템에 미치는 영향을 분석하였다.

Keywords

References

  1. M. Rosenblum, T. Garfinkel, “Virtual machine monitors: current technology and future trends,” Computer(IEEE Computer Society), Vol 38, Issue 5, pp.39-47, May, 2005
  2. P. Barham, B. Dragovic, K. Fraser, S. Hand, T. Harris, A. Ho, R. Neugebauery, I. Pratt, and A. Warfeld, “Xen and the Art of Virtualization,” Proceedings of the nineteenth ACM symposium on Operating systems principles, Jun., 2003
  3. L. Cherkasova and R. Gardner, “Measuring CPU Overhead for I/O Processing in the Xen Virtual Machine Monitor,” Technical Report HPL-2005-62, Internet Systems and Storage Laboratory, HP Laboratories Palo Alto, Mar., 2005
  4. B. Clark, T. Deshane, E. Dow, S. Evanchik, M. Finlayson, J. Herne, and J. N. Matthews, “Xen and the Art of Repeated Research,” Proceedings of the FREENIX Track:2004 USENIX Annual Technical Conference, Jun., 2004
  5. VMware, “VMware ESX Server 2 ESX Server Performance and Resource Management for CPUIntensive Workloads,” Technical Report ESX-ENGQ405-133, VMware, Inc
  6. D. A. Menasce, “Virtualization: Concepts, Applications, and Performance Modeling,” 31th International Computer Measurement Group Conference, Dec., 2005
  7. J. P. Casazza, M. Greenfield, and K. Shi, “Redefining Server Performance Characterization for Virtualization Benchmarking,” Technical Report 1535-864X, Intel Corp
  8. httperf. http://www.hpl.hp.com/research/linux/httperf/
  9. IOzone. http://www.iozone.org/
  10. MySQL-Benchmark. http://dev.mysql.com/doc/refman/5.0/en/mysql-benchmarks
  11. J. E. Smith and R. Nair, “Virtual Machines: Versatile Platforms for Systems and Processes,” Elsevier Inc., San Francisco, CA, 2005
  12. A. Menon, J. R. Santos, Y. Turner, G. Janakiraman, and W. Zwaenepoel,“ Diagnosing Performance Overheads in the Xen Virtual Machine Envoronment,” First ACM/USENIX Conference on Virtual Execution Environments (VEE''05), Jun., 2005
  13. A. Menon, A. L. Cox, and W. Zwaenepoel, “Optimizing Network Virtualization in Xen,” 2006 USENIX Annual Technical Conference, Jun., 2006
  14. L. Cherkasova, and R. Gardner, “Measuring CPU Overhead for I/O Processing in the Xen Virtual Machine Monitor,” Technical Report HPL-2005-62, HP Laboratories, Apr., 2005