Experimental Study of Keyword-Based Exploratory Testing

키워드 기반 탐색적 테스트의 실험적 연구

  • Received : 2020.09.28
  • Accepted : 2020.11.12
  • Published : 2020.11.30

Abstract

The exploratory test was introduced as a desirable test method due to its fast development cycle, but it is not actively adopted because documentation and analysis of the test range are required for application. On the other hand, keyword-based testing has been introduced as a way to save resources and facilitate maintenance, but it is difficult to plan tests in advance due to the large number of variables such as data, settings, interactions, sequence and timing. However, in keyword-based testing, you can create a test case based on keywords by presenting clear criteria and methods for creating keywords and applying the exploration testing process. In this paper, we propose a model that automates exploratory tests based on keywords. To verify the effectiveness, we compared the general keyword-based test(KBT) and keyword-based exploratory test(KBET), and compared with the exploratory normal test case(ETC) and keyword-based exploratory test(KBET).

탐색 테스트는 빠른 개발 주기라는 특징으로 바람직한 테스트 방법으로 소개되었으나 적용을 위하여 문서화 및 테스트 범위의 분석이 요구되어 적극적으로 채택하지 않고 있다. 한편 키워드 기반 테스트는 리소스 절약 및 유지 관리를 용이하게 하는 방법으로 소개되었으나 데이터, 설정, 상호 작용, 시퀀스 및 타이밍과 같은 변수가 많아 테스트를 미리 계획하는 것이 쉽지 않다. 하지만 키워드 기반 테스트에서 키워드를 작성하기 위한 명확한 기준과 방법을 제시하고 탐색 테스트 프로세스를 적용하여 키워드를 기반으로 테스트 사례를 만들 수 있다. 이 논문에서는 키워드 기반으로 탐색적 테스트를 자동화 하는 모델을 제안하고 실험한다. 효과를 검증하기 위해 일반 키워드 기반 테스트(KBT)와 탐색적 키워드 기반 테스트(KBET)와 비교하였고 탐색적 정상 테스트 사례(ETC) 및 탐색적 키워드 기반 테스트(KBET)와 비교하였다.

Keywords

References

  1. 정보통신산업진흥원, "SW 공학 백서", 2018.
  2. 정상미, "더 괜찮은 QA가 되기 위한 프렉티컬 테스트자동화", 2018.
  3. Y. S Lee and Y. M. Ha, "Software Testing by a keyword driven test automation method and Effects", 2005 NuriMedia Co., pp. 604-606. 2005.
  4. Y. Hwang, S. Jung, C. Hwa, "A Keyword-based UI Test Framework for Web Services", 정보과학회논문지: 소프트웨어 및 응용 제 38권 제 12호, pp.657-662, 2011.
  5. J. Oh, S. Kim, J. Hwang, "Using Specification By Example and Keyword-based Test Automation for Agile Testing", 한국 소프트웨어 공학 학술대회 논문집 제 15권 제 1호, pp.428-433, 2013.
  6. E. Choi, M. Zhang, "Analysis and Improvement of Keyword-driven Auto-Testing Process Based on Robot Framework", 한국정보과학회 학술발표논문집, Vol. 45, No. 1. 2018.
  7. A. Zylberman and N. Shenar, "Automated exploratory testing," http://www.testingexcellence.com/automated-exploratory-testing-2, Feb. 2010.
  8. J. A. Whittaker, Exploratory Software Testing: Tips, Tricks, Tours and Techniques to Guide Test Design. Indianapolis: Addison-Wesley, 2010.
  9. J. Bach, "Exploratory testing explained," http://www.satisfice. com/articles/et-article.pdf, 2003.
  10. K. Li and M. Wu, Effective Software Test Automation: Developing an Automated Software Testing Tool. San Francisco: Sybex, 2004.
  11. E. Dustin, Effective Software Testing: 50 specific ways to improve your testing. New York: Addison-Wesley, 2003.
  12. E. Dustin, T. Garrett, and B. Guaf, Implementing Automated Software Testing: How to Save Time and Lower Costs while raising quality, 1st ed. Indianapolis: Addison-Wesley, 2009.
  13. A. Bacioccola, M. Catelani, L. Ciani, and V. L. Scarano, "Software automated testing: A solution to maximize the test plan coverage and to increase software reliability and quality in use," Computer Standards & Interfaces, pp. 152-158, Feb. 2011.
  14. M. Kelly, "Choosing a test automation framework," http://www.ibm.com/developerworks/rational/library/591.html, Nov. 2003.
  15. F. Bouquet, C. Grandpierre, B. Legeard, F. Peureux, N. Vacelet, and M. Utting, "A subset of precise uml for model-based testing," in Int'l. Workshop A-MOST, Jul., pp. 95-104, 2007.
  16. C. J. Schaefer, H. Do, "Model-Based Exploratory Testing: A Controlled Experiment", IEEE, April, 2014.
  17. ISTQB, "Certified Tester Foundation Level Syllabus", 2018.
  18. 권원일 외, "위험천만 테스팅", 2012