DOI QR코드

DOI QR Code

Adaptive Random Testing through Iterative Partitioning with Enlarged Input Domain

입력 도메인 확장을 이용한 반복 분할 기반의 적응적 랜덤 테스팅 기법

  • 신승훈 (아주대학교 정보통신공학과) ;
  • 박승규 (아주대학교 정보통신대학)
  • Published : 2008.08.29

Abstract

An Adaptive Random Testing(ART) is one of test case generation algorithms, which was designed to get better performance in terms of fault-detection capability than that of Random Testing(RT) algorithm by locating test cases in evenly spreaded area. Two ART algorithms, such as Distance-based ART(D-ART) and Restricted Random Testing(RRT), had been indicated that they have significant drawbacks in computations, i.e., consuming quadratic order of runtime. To reduce the amount of computations of D-ART and RRT, iterative partitioning of input domain strategy was proposed. They achieved, to some extent, the moderate computation cost with relatively high performance of fault detection. Those algorithms, however, have yet the patterns of non-uniform distribution in test cases, which obstructs the scalability. In this paper we analyze the distribution of test cases in an iterative partitioning strategy, and propose a new method of input domain enlargement which makes the test cases get much evenly distributed. The simulation results show that the proposed one has about 3 percent of improvement in terms of mean relative F-measure for 2-dimension input domain, and shows 10 percent improvement for 3-dimension space.

적응적 랜덤 테스팅 (Adaptive Random Testing, ART)은 입력 도메인 내에 테스트 케이스를 넓고 고르게 분산시키는 방법을 통해 입력 도메인 내에 존재하는 오류 패턴을 순수 랜덤 테스팅 (Random Testing, RT)보다 효율적으로 찾아내기 위한 테스트 케이스 선택 기법이다. 테스트 케이스 선택에 많은 연산량을 필요로 하는 초기 ART 기법인 거리 기반 ART (Distance-based ART, D-ART)와 제한 영역 기반 ART (Restricted Random Testing, RRT)의 개선을 위해 입력 도메인을 반복 분할하는 기법들이 제안되었고, 이 기법들은 낮은 연산량 및 성능 향상등의 효과를 가져왔다. 하지만, 입력 도메인 반복 분할 기반 기법에서도 기존 ART 기법에서 나타나는 테스트 케이스 분포 불균일 문제가 존재하고, 이는 기법의 확장성에 장애 요소로 작용한다. 따라서 본 논문에서는 반복 분할 기반 기법에서 나타나는 테스트 케이스 분포의 특성을 파악하고, 이를 적정 수준으로 제어하기 위한 입력 도메인 확장 정책을 제안하였으며, 실험을 통해 2차원 입력 도메인에서 3%, 3차원 입력 도메인에서 10% 수준의 성능 향상을 확인하였다.

Keywords

References

  1. 이광규, “반복 분할 기반의 적응적 랜덤 테스팅 향상 기법”, 석사학위논문, 아주대학교 정보통신전문대학원, 2008
  2. 정인상, “Alloy 명세 기반 자동 테스트 데이터 생성 기법”, 정보처리학회논문지D, pp.1598-2866, 제14-D권 2호, pp. 191-202, 2007 https://doi.org/10.3745/KIPSTD.2007.14-D.2.191
  3. 정인상, 창병모, “유전자 알고리즘을 이용한 뮤테이션 테스팅의 테스트 데이터 자동 생성”, 정보처리학회논문지D, pp.1598-2866 , 제8-D권 1호, pp.81-86, 2001
  4. K. P. Chan, T. Y. Chen, D. Towey, “Restricted Random Testing,” In Proceedings of the 7th European Conference on Software Quality(ECSQ 2002), Volume 2349 of Lecture Notes in Computer Science, pages 321-330, Springer, 2002 https://doi.org/10.1007/3-540-47984-8_35
  5. F. T. Chan, T. Y. Chen, I. K. Mak, and Y. T. Yu, “Proportional Sampling Strategy: Guidelines for Software Testing Practitioners,” Information and Software Technology, 38:775-782, 1996 https://doi.org/10.1016/0950-5849(96)01103-2
  6. T. Y. Chen, G. Eddy, R. Merkel, P. K. Wong, “Adaptive Random Testing Through Dynamic Partitioning,” In Proceedings of the 4th International Conference on Quality Software (QSIC 2004), pages 79-86. IEEE Computer Society, 2004 https://doi.org/10.1109/QSIC.2004.1357947
  7. T. Y. Chen, D. H. Huang, Z. Q. Zhou, “Adaptive Random Testing Through Iterative Partitioning,” In Proceedings of the 11th International Conference on Reliable Software Technologies, volume 4006 of Lecture Notes in Computer Science, pages 155-166. Springer-Verlag, 2006
  8. T. Y. Chen, H. Leung, and I. K. Mak, “Adaptive Random Testing”, In Proceedings of the 9th Asian Computing Science Conference (ASIAN 2004), volume 3321 of Lecture Notes in Computer Science, pages 320-329. Springer, 2004
  9. J. Mayer, “Adaptive Random Testing with Randomly Translated Failure Region,” In Proceedings of the 1st International Workshop on Random Testing (RT 2006), pages 70-77, ACM, 2006 https://doi.org/10.1145/1145735.1145746
  10. J. Mayer, C. Schneckenburger,, “Adaptive Random Testing with Enlarged Input Domain”, In Proceedings of the Sixth International Conference on Quality Software (QSIC''06), pages 251-258. IEEE Computer Society, 2006 https://doi.org/10.1109/QSIC.2006.8
  11. J. Mayer, C. Schneckenburger, “An Empirical Analysis and Comparison of Random Testing Techniques,” In Proceedings of the 5th ACM-IEEE International Symposium on Empirical Software Engineering (ISESE 2006), pages 105-114, ACM, 2006 https://doi.org/10.1145/1159733.1159751