Journal of Korea Technology Innovation Society (기술혁신학회지)

Korea Technology Innovation Society (한국기술혁신학회)
권호 표지

Comparison of a Qualitative and a Quantitative Approach to Evaluate the Performance of R&D Projects: A Case Study

연구개발 프로젝트 정성·정량평가 비교 분석을 통한 성과평가 발전방향 연구 : K연구원 사례를 중심으로

  • 이수철 (목포대학교 경영학과) ;
  • 고미현 (한국과학기술정보연구원 정책연구실)
  • Received : 2016.10.20
  • Accepted : 2016.12.19
  • Published : 2017.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study measures and compares the performance of research and development (R&D) programs in government-funded research institutes (GRIs) in terms of qualitative and quantitative approaches to find out strategic insights for improving performance evaluation policy. In particular, we adopt the evaluation results from the real data of K institute in 2015 for a qualitative evaluation and the results of data envelopment analysis (DEA) for a quantitative evaluation. Comparative analysis of the R&D performance of 14 programs finds that the difference between the evaluation results of qualitative and quantitative approaches is significant. From this finding, we suggest several strategic directions to complement two approaches each other.

본 연구에서는 정부출연연구기관 중 하나인 K 연구원 사례를 활용하여 연구개발 프로젝트에 대한 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계 개선을 위한 시사점을 도출하였다. 비교 분석을 위해 정성평가 결과는 국가과학기술연구회 규정에 따라 진행된 실제 평가결과를, 정량평가 결과는 연구개발 프로젝트의 산출물 데이터를 기반으로 자료포락분석(data envelopment analysis) 결과를 활용하였다. 비모수 상관관계 분석(Kendall's ${\tau}$)을 비롯한 다양한 분석 결과, 정성평가와 정량평가 결과 사이에는 분명한 차이점이 있는 것으로 확인되었다. 따라서 단순 정성 또는 정량평가로 연구개발 프로젝트를 평가하기보다 정성 및 정량평가가 상호보완적으로 진행된다면, 평가 시 각 연구개발 프로젝트의 특성을 반영함과 동시에 객관성도 보다 확보할 수 있을 것으로 기대된다.

Keywords

References

  1. 고용수.한웅용.정상기.류영수.김수연.신재호 (2016), 정부연구개발 성과평가의 새로운 접근방법론 탐색연구, 한국과학기술기획평가원.
  2. 곽기호.오승훈.김재윤 (2010), "DEA-AR 을 활용한 산업기술연구회 소속 정부출연(연)의 R&D 효율성 분석과 평가 방안 제언", 한국기술혁신학회 2010년 추계학술대회 발표논문집.
  3. 권철신.박준호.홍석기 (2004), "상호영향형 R&D 과제군의 평가선정을 위한 CIDEAR 모형의 개발", 한국경영과학회지, 29(3): 41-61.
  4. 김선경.이길우.안혜린.방은진 (2016), 2015년 국가 R&D성과 Scoreboard, 한국과학기술기획평가원.
  5. 김성수 (2000), "한국 과학기술 정책과정의 조정과 통합: 체제이론에 의한 국가과학기술위원회 운영 분석", 한국정책학회보, 9(2): 211-236.
  6. 김주경.김영공.강제상 (2014), "정부 R&D 사업성과의 영향요인에 관한 연구 : 기후변화 대응 사업을 중심으로", 한국정책과학회보, 18(4): 229-256.
  7. 김현민.유재욱.유종순 (2013), "정부R&D과제 협력요소들과 연구개발 성과의 관계에 대한 연구: 연구원 수와 연구개발단계의 조절효과를 중심으로", 대한경영학회지, 26(3): 695-718.
  8. 남인석.송윤영.정병호 (2008), "DEA모형을 이용한 정부출연연구기관의 상대적 효율성 분석", Journal of the Society of Korea Industrial and Systems Engineering, 31(1): 1-10.
  9. 오세홍 (2001), 국가연구개발 프로그램 평가를 위한 기법.제도의 선진화 방안, 한국과학기술기획평가원.
  10. 유홍림.박성준 (2007), "중소기업 R&D 지원정책 성과의 영향요인에 관한 실증연구: 산학연공동기술개발 컨소시엄사업을 중심으로", 한국행정논집, 19(1): 171-196.
  11. 이수철.이동호 (2016), "Cumulative DEA/Malmquist Index 기법을 이용한 정부출연 연구기관 연구개발 효율성 변화 분석", 한국경영과학회지, 41(1): 99-112. https://doi.org/10.7737/JKORMS.2016.41.1.099
  12. 이정원 (2000), R&D 평가시스템의 이론적 체계 구축 및 적용방안에 관한 연구, 과학기술정책연구원.
  13. 임길환 (2015), 국가R&D 정책 평가: 지원체계 및 운용을 중심으로, 국회예산정책처.
  14. 임호순.유석천.김연성 (1999), "연구개발사업의 평가 및 선정을 위한 DEA/AHP 통합모형에 관한 연구", 한국경영과학회지, 24(4): 1-12.
  15. 장금영 (2010), "연구개발투자의 성과에 영향을 미치는 요인에 관한 연구: 정부의 산업기술개발사업을 중심으로", 기술혁신연구, 18(1): 75-98.
  16. Andersen, P. and Petersen, N. C. (1993), "A Procedure for Ranking Efficient Units in Data Envelopment Analysis", Management Science, 39(10): 1261-1264. https://doi.org/10.1287/mnsc.39.10.1261
  17. Banker, R. D., Charnes, A. and Cooper, W. W. (1984), "Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis", Management Science, 30(9): 1078-1092. https://doi.org/10.1287/mnsc.30.9.1078
  18. Boussofiane, A., Dyson, R. G. and Thanassoulis, E. (1991), "Applied Data Envelopment Analysis", European Journal of Operational Research, 52(1): 1-15. https://doi.org/10.1016/0377-2217(91)90331-O
  19. Bound, J., Cumins, C., Griliches, Z., Hall, H.H. and Jaffe, A. (1984), R&D, Patent, and Productivity, University of Chicago Press, Chicago.
  20. Bowlin, W. F. (1998), "Measuring Performance: An Introduction to Data Envelopment Analysis (DEA)", The Journal of Cost A nalysis, 15(2): 3-27. https://doi.org/10.1080/08823871.1998.10462318
  21. Charnes, A., Cooper, W. W. and Rhodes, E. (1978), "Measuring the Efficiency of Decision Making Units", European Journal of Operational Research, 2(6): 429-444. https://doi.org/10.1016/0377-2217(78)90138-8
  22. Chen, C. T., Chien, C. F., Lin, M. H. and Wang, J. T. (2004), "Using DEA to Evaluate R&D Performance of the Computers and Peripherals Firms in Taiwan", International Journal of Business, 9(4): 347-359.
  23. Cullmann, A., Schmidt-Ehmcke, J. and Zloczysti, P. (2011), "R&D Efficiency and Barriers to Entry: A Two Stage Semi-parametric DEA Approach", Oxford Economic Papers, 64(1): 176-196. https://doi.org/10.1093/oep/gpr015
  24. Dyson, R. G., Allen, R., Camanho, A. S., Podinovski, V. V., Sarrico, C. S. and Shale, E. A. (2001), "Pitfalls and Protocols in DEA", European Journal of Operational Research, 132(2): 245-259. https://doi.org/10.1016/S0377-2217(00)00149-1
  25. Eilat, H., Golany, B. and Shtub, A. (2008), "R&D Project Evaluation: An Integrated DEA and Balanced Scorecard Approach", Omega, 36(5): 895-912. https://doi.org/10.1016/j.omega.2006.05.002
  26. Georghiou, L. (1999), "Socio-economic Effects of Collaborative R&D-European Experiences", The Journal of Technology Transfer, 24(1): 69-79. https://doi.org/10.1023/A:1007724804288
  27. Golany, B. and Roll, Y. (1989), "An Application Procedure for DEA", Omega, 17(3): 237-250. https://doi.org/10.1016/0305-0483(89)90029-7
  28. Gold, B. (1989), "Some Key Problems in Evaluating R&D Performance", Journal of Engineering and Technology Management, 6(1): 59-70. https://doi.org/10.1016/0923-4748(89)90014-3
  29. Graves, S. B. and Langowitz, N. S. (1996), "R&D Productivity: A Global Multi-industry Comparison", Technology Forecasting and Social Change, 53(2): 125-137. https://doi.org/10.1016/S0040-1625(96)00068-6
  30. Hashimoto, A. and Haneda, S. (2008), "Measuring the Change in R&D Efficiency of the Japanese Pharmaceutical Industry", Research Policy, 37(10): 1829-1836. https://doi.org/10.1016/j.respol.2008.08.004
  31. Hsu, F. M. and Hsueh, C. C. (2009), "Measuring Relative Efficiency of Government-sponsored R&D Projects: A Three-stage Approach", Evaluation and Program Planning, 32(2): 178-186. https://doi.org/10.1016/j.evalprogplan.2008.10.005
  32. Lee, H., Park, Y. and Choi, H. (2009), "Comparative Evaluation of Performance of National R&D Programs with Heterogeneous Objectives: A DEA Approach", European Journal of Operational Research, 196(3): 847-855. https://doi.org/10.1016/j.ejor.2008.06.016
  33. Lee, H. Y. and Park, Y. T. (2005), "An International Comparison of R&D Efficiency: DEA Approach", Asian Journal of Technology Innovation, 13(2): 207-222. https://doi.org/10.1080/19761597.2005.9668614
  34. Liu, J. S. and Lu, W. M. (2010), "DEA and Ranking with the Network-based Approach: A Case of R&D Performance", Omega, 38(6): 453-464. https://doi.org/10.1016/j.omega.2009.12.002
  35. Meng, W., Zhang, D., Qi, L. and Liu, W. (2008), "Two-level DEA Approaches in Research Evaluation", Omega, 36(6): 950-957. https://doi.org/10.1016/j.omega.2007.12.005
  36. Saaty, T. L. (1980), The Analytic Hierarchy Process: Planning, Priority Setting, Resource Allocation, McGraw-Hill International Book Co., New York, NY.
  37. Scherer, F. M. (1983), "The Propensity to Patent", International Journal of Industrial Organization, 1(1): 107-128. https://doi.org/10.1016/0167-7187(83)90026-7
  38. Shang, J. and Sueyoshi, T. (1995), "A Unified Framework for the Selection of a Flexible Manufacturing System", European Journal of Operational Research, 85(2): 297-315. https://doi.org/10.1016/0377-2217(94)00041-A
  39. Takamura, Y. and Tone, K. (2003), "A Comparative Site Evaluation Study for Relocating Japanese Government Agencies out of Tokyo", Socio-Economic Planning Sciences, 37(2): 85-102. https://doi.org/10.1016/S0038-0121(02)00049-6
  40. Thomas, V. J., Sharma, S. and Jain, S. K. (2011), "Using Patents and Publications to Assess R&D Efficiency in the States of the USA", World Patent Information, 33(1): 4-10. https://doi.org/10.1016/j.wpi.2010.01.005
  41. Thomas, V. J., Jain, S. K. and Sharma S. (2009), "Analyzing R&D Efficiency in Asia and the OECD: An Application of the Malmquist Productivity Index", Science and Innovation Policy, 2009 Atlanta Conference on. IEEE.
  42. Thompson, R. G., Singleton, F. D., Thrall, R. M. and Smith, B. A. (1986), "Comparative Site Evaluations for Locating a High-energy Physics lab in Texas", Interfaces, 16(6): 35-49. https://doi.org/10.1287/inte.16.6.35
  43. Wang, E. C. and Huang, W. (2007), "Relative Efficiency of R&D Activities: A Crosscountry Study Accounting for Environmental Factors in the DEA Approach", Research Policy, 36(2): 260-273. https://doi.org/10.1016/j.respol.2006.11.004
  44. Werner, B. M. and Souder, W. E. (1997), "Measuring R&D Performance - State of the Art", Research-Technology Management, 40(2): 34-42.
  45. Zhong, W., Yuan, W., Li, S. X. and Huang Z. (2011), "The Performance Evaluation of Regional R&D Investments in China: An Application of DEA Based on the First Official China Economic Census Data", Omega, 39(4): 447-455. https://doi.org/10.1016/j.omega.2010.09.004