DOI QR코드

DOI QR Code

A Real-World Workload Generation Tool for Database System Benchmarks

데이터베이스 시스템 벤치마크를 위한 실세계 부하 생성 도구

  • 김기욱 (숭실대학교 대학원 컴퓨터학과) ;
  • 정회진 (숭실대학교 대학원 컴퓨터학과) ;
  • 이상호 (숭실대학교 컴퓨터학과)
  • Published : 2004.12.01

Abstract

Database system benchmarks, which are usually evaluated to use the maximized resource in order to get the best results, arc not likely to simulate the real environment. We propose a workload generator that helps benchmarks be executed in the environment similar to a real world. The workload generator can create memory-bound, CPU-bound, and I/O-bound workloads. The workload generator allows users to create an integrated workload. which is similar to a real workload users run across in practice. Finally, we conducted the experiments that the Wisconsin benchmark was performed with the TPC-C and with the workload generation tool, and showed the feasibility of the proposed workload gen-eration tool comparing with two experimental results.

데이터베이스 시스템 벤치마크는 결과 값의 극대화를 위해 실험 대상 시스템의 가용 자원을 최대화한 상태에서 수행되어 실세계 환경과는 괴리된다는 한계성을 가지고 있다. 실세계에서의 작업 환경과 유사한 환경에서의 벤치마크 시험을 위해 본 논문에서는 기존 벤치마크를 보완할 수 있는 실세계 부하 생성 도구를 제안한다. 본 부하 생성 도구는 시스템의 메모리, 디스크, CPU를 활용하여 운영체제에 직접적인 부하를 생성하며, 실세계 부하와 유사한 통합 부하 ktod성을 지원한다. 본 논문에서는 각 부하 생성 방식, 개발된 부하 생성 도구의 구조, 특징, 구현 방법 등을 기술하였다. 또한 위스콘신 벤치마크를 TPC-C 벤치마크 및 부하 생성 도구와 함께 수행하여 두 성능 평가 실험 결과를 비교하고, 이를 통해 제안하는 부하 생성 도구의 적절성을 보였다.

Keywords

References

  1. A. B. Chaudhri, 'An Annotated Bibliography of Benchmarks for Object Databases,' ACM SIGMOD Record, 24(1), pp.50-57, 1995 https://doi.org/10.1145/202660.202668
  2. P. Martin, W. Powely, H. Y. Li and K. Romanufa, 'Managing Database Server Performance to Meet QoS Requirements in Electronic Commerce Systems,' International Journal on Digital Libraries, 3(4), pp.316-324, 2002 https://doi.org/10.1007/s007990100046
  3. Transaction Processing Performance Council, http://www.tpc.org/
  4. S. H. Lee, S. J. Kim and W. Kim, 'The BORD Benchmark for Object-Relational Databases,' Proceedings of the 11th Database and Expert Systems Applications Conference, pp.6-20, 2000
  5. P. O'Neil, 'The Set Query Benchmark,' In : The Benchmark Handbook : pp.359-396, J. Gray Ed., Morgan Kaufmann, 1993
  6. D. DeWitt, 'The Wisconsin Benchmark : Past, Present, and Future,' In : The Benchmark Handbook : J. Gray Ed., Morgan Kaufmann, pp.269-316, 1993
  7. D. G. Feitelson, 'Workload Modeling for Performance Evaluation,' International Symposium on Computer Modeling, Measurement and Evaluation, pp.114-141, 2002
  8. M. Calzarossa and G. Serazzi 'Workload Characterization: A Survey,' Proceedings of the IEEE, 81(8), pp.1136-1150, 1993 https://doi.org/10.1109/5.236191
  9. Cray Inc., 'Optimizing Code on Cray PVP Systems,' Cray Research Online Software Publication: SG-2192, 1997
  10. W. W. Hsu, A. J. Smith and H. C. Young, 'Analysis of the Characteristics of Production Database Workloads and Comparison with the TPC Benchmarks,' Technical Report, IBM Almaden Research Center, 1999
  11. W. W. Hsu, A. J. Smith and H. C. Young, 'Characteristics of Production Database Workloads and the TPC Benchmarks,' IBM Systems Journal, 40(3), pp.781-802, 2001 https://doi.org/10.1147/sj.403.0781