The Journal of the Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회논문지)

The Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회)
권호 표지
DOI QR코드

DOI QR Code

Effect of Investment Evaluation Criteria of Public ICT Projects on Business Success

공공 정보통신기술(ICT)사업의 투자 평가기준이 사업성공에 미치는 영향

  • 김용걸 (서울벤처대학원대학교 융합산업학과(경영)) ;
  • 이상연 (웨스트민스터신학대학원대학교 사회적경제교육학과) ;
  • 채명신 (서울벤처대학원대학교 융합산업학과)
  • Received : 2021.06.23
  • Accepted : 2021.08.06
  • Published : 2021.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

Establishing an investment evaluation system for public ICT projects is ultimately to increase the success rate of public ICT projects in which government finances are invested and to revitalize the projects, thereby establishing a foundation for national economic growth and enhancing the competitiveness of the global ICT industry. This study tried to empirically verify the effect of public ICT project investment evaluation factors established according to the existing evaluation system on actual project success, and to suggest directions for future investment evaluation factors. Five evaluation factors such as public interest, economic feasibility, technology, policy and budget efficiency were derived through prior research, and the effect of these evaluation criteria on actual project success was verified through questionnaires from experts who directly participated in the actual project. In addition, it was confirmed whether the government's support system had a moderating effect between the investment evaluation factors and the project success of the ICT project. The reliability and validity of measurement tools, structural model analysis, and path analysis were empirically analyzed, and the significance of existing ICT investment evaluation factors was verified.

공공 정보통신기술(ICT)사업의 투자 평가 체계를 세우는 것은 궁극적으로 정부 재정이 투자되는 공공 ICT사업의 성공률을 높이고 사업의 활성화를 꾀함으로써 국가 경제 성장 기반 구축 및 글로벌 ICT산업 경쟁력을 제고 하는 것이다. 본 연구에서는 기존 평가 체계에 따라 수립된 공공 ICT사업 투자 평가 요인이 실제 사업 성공에 미치는 영향을 실증적으로 검증하고, 향후 투자 평가 요인에 대한 방향을 제시하고자 하였다. 선행 연구를 통해 공익성, 경제성, 기술성, 정책성 및 예산효율성 등 다섯 개의 평가 요인을 도출하였고, 이를 실제 사업에 직접 참여했던 전문가들의 설문을 통해 이러한 평가 기준이 실제 사업 성공에 미치는 영향을 검증하였다. 또한 ICT사업의 투자 평가 요인과 사업성공 사이에서 정부의 지원제도에 대한 조절 작용 여부도 확인하였다. 측정 도구의 신뢰도 및 타당도, 구조 모형 분석, 경로 분석 등을 실증분석하고, 기존 ICT 투자 평가 요인의 유의성을 검증하였다.

Keywords

Ⅰ. 서론

정보통신기술(ICT)융합을 통한 변화가 혁신을 넘어 4차 산업혁명으로 빠르게 확산되고 있다. 4차 산업혁명은 연결, 탈중앙화와 분권, 공유와 개방을 통한 맞춤 시대의 지능화 세계를 지향하며 경제, 산업 등 전 분야에 영향을 미치는 다양한 ICT기반의 신기술이 주도하고 있다[1].

블록체인, 빅데이터, 인공지능, 로봇공학, 양자암호, 사물인터넷, 자율주행, 3D프린팅, 5G 및 나노기술 등 다양한 신기술은 4차 산업혁명의 물결을 타고 기술을 넘어 사회 경제 문화적으로 확산되어 나가고 있다. 정보통신기술(ICT)은 이러한 신기술의 요소기술이며, 각 국의 ICT개발 및 사업화에 대한 경쟁은 더욱 치열해져 가고있다[2][3][4].

이러한 경향에 따라 공공 ICT사업을 성공적으로 이끌기 위한 KSF(Key Success Factor)나 평가요인에 대한 연구들이 발표되었다. 그러나 대부분의 연구가 AHP 방법을 이용한 투자우선순위 평가지표[5][6][7][8][9][10], 투자의사결정요인연구[11][12]및 성과평가에 의한 성공요인[13][14][15]에 집중이 되어 있고, 선행적인 투자평가요인이 성공에 미치는 영향에 대한 인과적 연구는 찾아보기 어렵다.

이러한 시점에서 정부 주도로 수행되고 있는 공공 ICT사업의 투자 평가 요인(기준)을 검토하고, 평가 기준에 의해 선정된 사업들을 사업에 직접 참여했던 전문가들의 의견을 조사. 분석하고, 분석 결과를 역으로 향후의 사업 투자 평가 기준 설정에 반영하는 것은 공공 ICT 개발 및 사업 성공률을 높이고, 궁극적으로는 ICT사업 활성화를 통한 국가 경제 및 산업 경쟁력 기여에 매우 의미 있는 작업일 것이다.

본 연구에서는 공공 정보통신사업 투자에 대한 평가 기준 항목이 사업 성공에 미치는 영향을 실증적으로 검증하였다. 선행 연구를 통해 평가 기준을 공익성, 경제성, 기술성, 정책성 및 예산효율성 등 다섯 개 항목을 도출하였고, 이를 실제 사업에 직접 참여했던 전문가들의 설문을 통해 이러한 평가 기준이 실제 사업 성공에 어떤 영향을 주었는가를 실증하였다. 더불어, 사업추진 과정에 지원되는 다양한 정부의 지원제도가 사업 성공에 어떤 조절효과가 있는지도 검증하였다.

Ⅱ. 이론적 배경

1. 공공 ICT사업

제4차산업혁명의 근간 기술은 ICT융합의 신기술이며 경제 및 산업 등 전 분야에 영향을 미치고 있다[1][2][16][17]. ICT융합의 신기술은 국가 경제 및 글로벌 산업 경쟁력을 견인하고 있으며, 이는 국가 간 기술 헤게모니를 위한 치열한 경쟁구도를 촉발하고 있다[18]. 무역·통상 이슈로 시작된 미.중 마찰은 패권경쟁의 서막이다[19]. 미국의 중국기업과 자본에 대한 압박은 첨단기술인 통신장비(화웨이), 슈퍼컴퓨터(중커수광), 드론(DJI) 및 CCTV(하이크비전) 등 ICT 첨단 신기술분야가 주를 이루고 있다. AI 기술 분야에 미국, 중국 및 EU의 기술 주도권을 위한 경쟁도 심화되어 가고 있고[19], AI 비즈니스 생태계 연구도 진행되고 있다[20].

한편, 우리나라도 코로나19 위기 극복 및 ICT국가 경쟁력 확보를 위해 한국판 뉴딜정책을 수립 시행하고 있다. 한국판 뉴딜 종합계획은 ‘선도국가로 도약하는 대한민국으로 대전환’을 비전으로 하고 있다. 디지털 뉴딜, 그린 뉴딜 및 사회 안전망 강화를 축으로 하고 있다[21].

공공 ICT사업은 중앙정부, 지방자체단체 등 공공기관이 주관하여 수행하는 정보통신기술(ICT) 기반의 공공분야 사업으로 대국민 편익 서비스 제공을 목적으로 하는 사업으로 사업의 범위는 정보통신산업 진흥법 제2 조에 적시되어 있다.

과학기술정보통신부와 관련 기관 협동 2019년 기준 2020 ICT 실태조사에 따르면, 국내 ICT산업은 국내 총생산에서 차지하는 비중이 22%에 이르고, 수출비중은 2019년 32%에 이르고 있을 만큼 매우 큰 비중을 차지하고 있다.

또한, 과학기술정보통신부의 2021년 공공부문 SW, ICT장비, 정보보호 수요예보(표1)에 따르면 코로나 19에도 불구하고 정부의 공공 소프트웨어(SW)·정보통신기술(ICT) 장비·정보보호 사업 규모가 2년 연속 두 자릿수 성장률을 기록하고 있으며, 이는 ICT업계에 도움은 물론 코로나 이후의 ICT경쟁력 강화에도 도움이 될 것으로 정책관은 전망한다.

표 1. 공공SW.ICT장비 사업규모, 단위: 억 원, %

Table 1. Public SW.ICT equipment business scale, unit: 100million won, %

OTNBBE_2021_v21n4_157_t0001.png 이미지

출처 : 아이티데일리(https://www.itdaily.kr)

이러한 가운데 ICT개발 및 사업화의 성공을 통한 국가 경제 및 글로벌 경쟁력 강화를 위해서는 효율적인 기술정책 및 중장기적인 신기술 및 유망신산업의 발굴을 위한 기술 전략, 기획 및 평가요인이 체계화되어야 한다[22].

2. 투자평가 요인

정보화 관련된 IT기술 또는 정보통신기술 분야에서 평가 요인은 유망신산업 선정에 관한 평가 기준과 기술비즈니스 평가 기준으로 나누어 볼 수 있다. ICT 기술로 이루어진 정보화 사업은 국민의 세금으로 지출되는 국가재정정책 사업이다. 국가 기간산업, 복지, 교육, 의료 등 사업과 더불어 국가 정책적 공익사업이며 국가 경제발전과 기술개발을 위해 정부가 지원하고 투자해야 하는 사업이다. 또한, 정부투자 사업과 관련된 예산편성과정에는 실제 운영적 측면에서 정치인과 공무원이 관련하게 된다. 이 과정에서 그들의 이익과 입장이 우선시되기 때문에 이와 관련된 정치적 요인과 예산 배분이 중요하게 된다[6].

공공 ICT사업이 국가 경제 및 산업 경쟁력을 견인하는 관점에서 유망 신산업 또는 신기술의 투자 평가 요인에 대한 선행 연구는 표2. 와 같다. 표2. 선행연구에서 공통된 주요 평가요인은 공공성[23][26], 공익성[5][6][23][25], 기술성[5][6][23][24][25][26][28], 시장성[5][23][24][25][26][27], 경제성[6][28][29]등이다. 이를 공익성, 경제성 및 기술성으로 재구성하고, 예산편성 과정의 중요도를 고려하여 정책성과예산 효율성을 보완하였다[6].

표 2. 유망 신산업 또는 신기술 투자 평가 요인

Table 2. Investment evaluation factors in promising new industries or new technologies

OTNBBE_2021_v21n4_157_t0002.png 이미지

기존 투자평가 요인 연구는 대부분 AHP, 쌍대비교 설문조사 또는 전문가 설문조사를 통해 이루어진 우선순위 연구였으나, 본 연구에서는 평가요인과 성공요인에 대한 인과 관계를 검증하고자 하였다.

3. 정부 지원제도

정부의 지원제도와 관련하여 신태영 외[30]는 정부의 지원수단을 조세지원, 금융지원, 기술개발(출연보조금), 구매지원, 법·제도 인프라/간접지원(기술지도 및 자문) 등 다섯 가지로 구분하였다. 박성민·김헌[31]은 IT 중소기업에 대한 정부지원을 직접지원(출연, 투자, 융자)과 간접지원 (기술지원, 인력·창업지원, 판로·수출·정보화지원)으로 구분하였다. 김경아[32]는 성격에 따라 재정지원, 직접지원, 간접지원으로 구분하여 기술혁신성과에 미치는 영향을 분석하였다. 이와 같이 여러 선행연구들은 정부의 지원제도가 직접 또는 간접적으로 기업의 기술개발 연구 활동에 긍정적인 영향을 끼치는 것을 확인시켜 주고 있다.

김경아[32]는 기업의 기술개발에 대한 조세 감면, 기술의 사업화를 위한 재정 지원 또는 정부의 직접적인 연구개발 개입은 기업의 기술혁신 활동을 촉진시켰고, 전승표 외[33]는 기술정보 제공과 R&D 기획지원 같은 비재무적이면서 정보제공과 같은 정부의 지원이 기업의 연구개발 투자에 도움이 되었음을 보여주었다. 또한, 이호성 외[34]도 기업의 기술혁신성과를 기술개발가능성, 기술 혁신성, 기술독창성의 3가지로 구분하고 기술개발 가능성과기술 혁신성에 있어서는 지원 유형에 관계없이 정부 지원이 긍정적으로 작용하였으나, 기술독창성에 있어서는 재무적 지원보다는 비재무적 지원이 유효하였음을 확인하였다. 우지환·김영준[35]은 정부의 혁신정책이 서비스 산업의 기술 혁신성과에 미치는 영향에 대하여 연구하였다.

최은영[36]은 정부지원제도 및 내부 R&D투자와 R&D 협력이 기술혁신성과에 미치는 영향에서 정부 지원제도 중 기술개발지원이 내부 R&D투자를 확대할 가능성을 입증하였고, 기술지원 및 인력양성지원이 R&D협력을강화함을 밝혔다. 김선재·이영화[37]는 공공부분 R&D투자의 산업간 연관효과를 분석하였는데, 제조업인 1차 금속제품산업과 화학제품산업에서 후방연관효과 및 전방연관 효과가 모두 크게 나타나 이들 산업이 공공부문 R&D 투자로 인하여 가장 큰 파급효과가 있음을 확인하였다.

Czarnitzki et al.[38]은 정부 R&D자금 지원을 통해 R&D 효율성 향상 및 특허 활동의 활성화로 이어지는 것을 확인했으며, 이를 바탕으로 기업 간의 협력에 따른 스필오버 효과(Spill-over Effect)가 더욱 강화되는 현상을 언급하였다. 박태훈·박경혜[39]는 기업협력과 정부 지원에 따른 IT제조기업 기술혁신에 관한 연구에서 IT 제조기업협력과 정부의 지원은 기술혁신에 영향을 미치는 것으로 나타나 IT 제조기업에 대한 지원이 기업의 협력을 유도하고 기술혁신 효과에도 긍정적임을 밝혔다. 본 연구에서는 선행연구에서 밝혀진 이러한 긍정적 효과를 제공하는 정부의 지원제도가 ICT사업 투자평가요인과 사업 성공 사이에서 조절작용을 하는 지 여부를 검증하고자 하였다.

4. 사업 성공요인

사업 성공 여부는 성과 평가를 통해 평가의 목적, 즉 사업 목적을 달성했는지 여부로 접근할 수 있다. Wholey[40]는 성과 평가의 목적이 공공에 대한 책임성 증대와 사업의 효과성 증진이라고 제시했다. Poister[41] 는 평가의 목적을 조직의 목표 달성 및 책임성 증대로 보았다. Hatry[42]는 성과 평가를 성과 향상을 위한 도구로서 보았으며, Vedung[43]은 책임성 확보와 방향성 제시로 구분하였다. 최관섭[44]은 성과평가제도 도입의 궁극적인 성공은 제도의 적용을 받는 사람들의 수용성에 의하여 좌우된다고 주장하였다. 성과평가와 관련된 많은 선행연구들은 성공적인 성과평가를 수용성 개념으로 접근하고 있다[45][46][47][48].

양진명[13]은 성과 평가의 개념으로 수용성 이전에 확보해야 할 핵심요소로 유용한 가치 제공 여부를 평가하는 유용성을 추가하였다.

현재까지 정보시스템의 성과 평가를 위해 DeLone & McLean[49]의 연구에서 제시된 정보시스템 성공모형이 많이 활용되고 있으며, 시스템 품질, 정보 품질, 서비스 품질, 정보시스템 사용 및 만족도, 순효익을 성과 측정요인으로 활용하였다.

프로젝트 성공과 실패에 대한 명확한 척도는 정의되어있지 않다. 다만, 비용(예산 및 자원), 시간(일정 또는 데드라인)은 명확한 제약사항이다.

이상운.최명복[50]은 소프트웨어 프로젝트의 성공 평가척도를 비용, 일정, 기능, 품질 및 이해관계자 만족의 다섯 가지로 결정하였다.

Ⅲ. 연구 설계 및 방법론

1. 연구모형 및 연구가설

본 연구의 목적은 공공 ICT사업의 투자를 위한 평가 기준 항목이 사업성공에 미치는 영향에 대한 인과관계를 실증하고자 하였다. 공공 ICT사업의 투자평가 기준은 선행연구를 통해 공익성, 경제성, 기술성, 정책성 및 예산 효율성 등 다섯 개의 평가항목을 선정하였다. 또한, 정부에서 제공되는 각종 지원제도가 사업성공에 대한 조절 효과가 있는 지를 검증하고자 하였다. 본 연구에서는 사업 성공을 수용성, 효과성 측면의 이용자 만족도 및 고품질서비스 제공으로 하였고 프로젝트 측면에서는 예산 내, 기간 내 프로젝트 준공을 성공 요인의 척도로 보았다. 연구모형은 그림 1.과 같다.

OTNBBE_2021_v21n4_157_f0001.png 이미지

그림 1. 연구모형

Fig. 1. Research Model

가. 경로분석 연구가설

(1) 공익성과 사업성공

공공 ICT사업의 수혜자는 시민으로 공익적 부분의 고려가 필요하다[5][6][23][25]. 정부에서 추진하는 사업은 국민복지, 보편적 정보화서비스, 균형발전 및 계층간 격차 해소를 위한 공익성은 사업성공에 정(+)의 영향을 미칠 것으로 가정하였다.

H.1 공공 ICT사업의 평가요인인 공익성은 사업 성공에 정(+)의 영향을 미칠 것이다.

(2) 경제성과 사업성공

대부분의 사업에서와 마찬가지로 공공 ICT 사업에서도 경제성을 주요한 평가 요인으로 꼽았다[6][28]. 특히 본 연구에서는 경제성을 한 개의 사업으로 국한하지 않고 거시적인 관점에서 국가 경제와 국민 경제의 관점, 산업 경쟁력의 관점에서 경제성은 사업성공에 정(+)의 효과가 있을 것으로 가정하였다.

H.2 공공 ICT사업의 평가요인인 경제성은 사업 성공에 정(+)의 영향을 미칠 것이다.

(3) 기술성과 사업성공

공공 ICT사업은 특성상 신기술이 연계된 형태로 추진되고 있고, 기술성은 중요한 평가 요인으로 보았다[5][6][23][24][25][26][27]. 따라서 기술성은 사업성공에 정(+)의 영향이 미칠 것으로 가정하였다.

H.3 공공 ICT사업의 평가요인인 기술성은 사업 성공에 정(+)의 영향을 미칠 것이다.

(4) 정책성과 사업성공

사업성공에 있어 예산의 확보는 매우 중요하다. 예산안 심의 및 확정 과정에서 본래 예산안의 취지와 다르게 각 정파, 지역 및 이익집단 등의 정치성이 가미되면서 변질되는 경우가 종종 있어 왔다[5][6][25]. 국책사업부합여부, 선거공약, 이권사업, 주민숙원사업여부, 특정부처 중점강조사업 여부 등 변수를 정책적 변수로 정책성이라고 보고 정책성이 사업성공에 정(+)의 영향이 미칠 것으로 가정하였다.

H.4 공공 ICT사업의 평가요인인 정책성은 사업 성공에 정(+)의 영향을 미칠 것이다.

(5) 예산효율성과 사업성공

국가 R&D와 신기술 사업의 예산에 대한 합리적이고 효율적인 배분 및 체계적인 관리에 대한 필요성이 제기된다[51][52]. 점증주의 예산이론은 가장 상관관계가 높은 이론으로 받아들여지고 있다[53][54][55]. 사업의 성과관리 측면에서 예산효율성은 사업성공에 정(+)의 영향을 미칠 것으로 가정하였다.

H.5 공공 ICT사업의 평가요인인 예산효율성은 사업 성공에 정(+)의 영향을 미칠 것이다.

나. 조절효과 연구가설

정부의 지원제도는 R&D투자 확대 및 협력 가능성을 증명하였고, 제품혁신 및 공정혁신에 긍정적 효과를 확인하였다[36][37]. 또한, 연구개발 촉진 및 기업의 탐색적 활동에 긍정적인 영향을 미치고, 연구개발의 순 투자를 전반적으로 증가시키는 것으로 나타났다[56][57][58]. 본 연구에서는 정부의 지원제도를 유관기관 간 지원, 구매지원, 금융지원, 세제지원, 법.제도지원 및 기술지원으로 한정하였고, 이러한 정부의 지원제도가 주효과 평가요인과 사업성공 간의 관계에 있어 조절작용을 할 것으로 가정하였다.

H.6 공공 ICT사업에서 지원제도는 주효과 평가요인과 사업성공 간의 관계에 있어 조절작용을 할 것이다.

H.6-1 공공 ICT사업에서 지원제도는 공익성과 사업 성공 간의 관계에 있어 조절작용을 할 것이다.

H.6-2 공공 ICT사업에서 지원제도는 경제성과 사업 성공 간의 관계에 있어 조절작용을 할 것이다.

H.6-3 공공 ICT사업에서 지원제도는 기술성과 사업 성공 간의 관계에 있어 조절작용을 할 것이다.

H.6-4 공공 ICT사업에서 지원제도는 정책성과 사업 성공 간의 관계에 있어 조절작용을 할 것이다.

H.6-5 공공 ICT사업에서 지원제도는 예산 효율성과사업 성공 간의 관계에 있어 조절작용을 할 것이다.

2. 측정도구

본 연구모형과 가설 검증을 위한 측정도구는 인구통계학적인 9개 설문 문항과 7개 변수의 측정을 위한 40개 문항으로 구성하였다.

변수 측정문항은 리커트 척도를 사용하여 “전혀 그렇지 않다”에서 “매우 그렇다“까지 1에서 7단계로 선택하도록 설정하였다. 아래의 표4는 변수의 조작적 정의 및 관련 연구 요약표이다.

표 3. 변수 측정, 조작적 정의 및 선행 연구

Table 3. Variable measurement and operational definition and prior research

OTNBBE_2021_v21n4_157_t0003.png 이미지

3. 연구대상 및 자료수집

본 연구의 대상은 전국의 대기업, 중. 소기업, 공공기관 및 대학교에 재직하면서 실제 공공정보통신사업을 수행한 경험이 있는 임직원으로 하였다. 특히, 사업총괄 (PM), 사업담당, 영업담당, 기술담당, 컨설팅 등 업무상 사업의 추진체계 파악이 가능한 사업 추진의 주체를 중심으로 자료를 수집하였다. 2021년 4월 1일부터 5월 15 일까지 약 1.5개월 동안 구글 설문지 167부를 배포, 150 개의 설문을 회수하여 회수율은 89.8%로 나타났다. 이중 사업 참여 경험이 없는 자가 불성실한 응답을 한 25 개 설문지를 제외한 125개 설문지를 최종 분석에 사용하였다.

Ⅳ. 실증분석

1. 표본의 특성

본 연구에 활용된 표본의 특성은 총 표분 125명의 응답을 통해 추출하였다. 웅답자 근무기관의 형태는 중소기업(43.2%), 대기업(28.8%), 대학교(12.0%) 및 공공기관(11.2%) 순으로 응답하였다. 설문 대상자의 참여 사업에 대한 주관기관 설문에서는 과학기술정보통신부(24.3%), 시군구지자체(23.3%), 국토교통부(16.5%), 산업통상자원부(8.7%), 광역지자체 (7.8%)순으로 응답하였다. 상대적으로 행정안전부(4.9%)로 낮게 나타났으나, 시군구지자체 및 광역지자체가 행정안전부의 지방조직임을 감안한다면 실제 행정안전부 사업이 36.0%로 가장 많은 부분을 차지하고 있다. 사업 참여 시 근무기관을 묻는 설문에는 중소기업(43.2%), 대기업(28.8%), 대학교(12.0%), 공공기관(11.2%) 순이었다. 조직의 규모를 보여주는 종업원 수의 설문에는 300명 이상의 조직(41.6%), 50명 미만(40.0%)의 규모가 대부분이었고, 100명~300 명(11.2%), 50명~100명(7.2%) 순이었다. 경험 연수에 대한 응답에서는 20년 이상(36.0%), 5년 미만(32.8%), 10년~15년(12.8%), 15년~20년(9.6%), 5년~10년(8.8%) 순이었다. 5년 미만의 경우는 예외적으로 타업무 수행경력이 10년 이상인 경우가 대부분이었다. 본 설문에서 가장 중요한 수행 시 직책을 묻는 설문에는 PM(44.8%), 사업담당(20.0%), 영업담당(14.4%), 컨설팅(13.6%), 개발 담당(3.2%) 순이었다.

2. 기술통계

아래 표4는 7개 변수의 평균과 표준편차를 제시하고 있다. 응답결과 평균 3.6~5.8의 사이의 값을 나타내 긍정의 답변이 많았음을 알 수 있으며 지원제도가 제일 낮고 사업성공이 제일 높은 평균값을 나타냄을 확인할 수 있다.

표 4. 기술통계량 분석결과

Table 4. Descriptive statistics analysis result

OTNBBE_2021_v21n4_157_t0004.png 이미지

3. 측정도구의 신뢰성 및 타당성 검증

본 연구에서는 요인분석은 SmartPLS3.0을 이용하였으며 측정 도구의 신뢰도와 타당도 검증을 위해 신건권 [67]이 제시한 평가기준과 수용기준에 따라 집중타당도, 내적일관성 신뢰도, 판별타당도를 측정하였다. 집중타 당도는 외부적재치와 측정변수 신뢰도, 평균분산추출 (AVE)값으로 평가한다. 외부적재치에 대한 최소 기준값은 조건에 따라 0.4이상[68]이므로 본 연구에서는 0.4 이하는 제거하였다. 공익1, 공익4, 경제3, 정책1, 3 & 5, 예산6을 제거한 후 다시 측정한 결과, 예산2와 성공4 이외의 모든 변수가 0.7 이상으로 측정되었다. 예산2와 성공 4는 각 0.7이하로 측정되었으나, 근소한 차이로 변수를 유지하기로 하였다. 측정변수 신뢰도의 평균값인 AVE는 0.5 이상이면[68] 바람직한 집중타당도를 가지고 있다고 볼 수 있는데 모두 0.5 이상의 값을 나타내고 있어 집중타 당도를 확보하였다. 내적 일관성 신뢰도 측정을 위한 Cronbach's Alpha, CR(합성신뢰도)값도 최소 기준치인 0.7 이상의 값을 나타내 바람직한 신뢰도를 확보하였다. 표5.은 집중타당도 및 신뢰도를 보여주는 확인적 요인분석결과표이다.

표 5. 확인적 요인 분석 결과

Table 5. Confirmatory factor analysis result

OTNBBE_2021_v21n4_157_t0005.png 이미지

판별타당도는 잠재변수와 잠재변수를 잘 구분할 수 있는 정도를 말한다. 잠재변수 간 상호 독립적이어서 동일한 측정방법으로 측정할 경우 결과값들 간에 상 괸 관계가 거의 없거나 낮아야 한다. 판별타당도 평가에는 Fornell-Larcker[69]의 방식에 따라 각 잠재변수의 AVE 의 제곱근이 잠재변수들 간의 상관관계 중 가장 높은 값보다 큰 경우 판별타당도가 있다고 평가하였다. 자체 내분 산이 다른 변수와의 관계보다 크면 판별타당성이 있다고 판단하는 것이다. 아래의 표6에서 대각선으로 굵은 색으로 쓰인 것은 AVE의 제곱근이고 다른 숫자는 변수 간 상관관계이다. 검정결과 각 변수의 AVE의 제곱 근이 다른 변수와의 상관관계보다 크므로 판별타당도를 확보한 것으로 판단하였다.

표 6. Fornell-Larcker criterion의 판별타당도 측정결과

Table 6. Discriminant validity measurement results of the Fornell-Lacker criterion

OTNBBE_2021_v21n4_157_t0006.png 이미지

교차적재치의 경우도 표7.과 같이 잠재변수에 해당하는 측정변수의 외부적재치가 다른 잠재변수의 교차적 재치보다 큼으로 판별타당도가 있다고 판단하였다.

표 7. 교차적재치

Table 7. Cross loading

OTNBBE_2021_v21n4_157_t0007.png 이미지

4. 연구모형 검증

가. 모형의 적합도 검증

구조모델의 적합성 확인을 위해 신건권[67]이 제시한 구조모델의 평가항목과 수용기준에 내부VIF, R2, f2, Q2 값에 대한 평가를 실시하였다.

다중공선성 평가를 위해 내부 VIF값을 측정한 바, 가장 큰 값이 2.330으로 수용기준인 5.000미만이므로 다중공선성 문제가 없는 것을 확인하였다.

결정계수(R2)는 외생잠재변수의 내생잠재변수에 대한설명력으로 볼 수 있다. 0~1의 값을 가지게 되며 1에 가까울수록 설명력이 높은데 큰 설명력(0.75), 중간 정도의 설명력(0.50), 약한 설명력(0.25)으로 구분된다[67]. 본 모형에서 수정결정계수 값은 0.485로 중간 정도의 설명력을 가지고 있는 것으로 나타났다.

효과크기(f2)는 외생연구변수들이 내생연구변수의 R2 에 기여하는 정도를 평가하는 척도이다. 예산효율성이 0.308로 사업성공에 큰 효과 크기에 가까운 값을 보여주었고, 정책성과 기술성은 각각 0.041과 0.039로 작은 효과 크기를 보여주었다. 반면, 경제성과 공익성은 사업 성공에 미미한 효과 크기를 보여주었다.

예측적 적합성(Q2)은 0 보다 크면 외생잠재변수가 내생 잠재변수를 전체적으로 예측하는데 적합성을 가진다고 본다. 본 연구의 모델 예측적 적합성은 0.242로 모델의 예측 적합성이 있다고 판단할 수 있다.

나. 경로분석 (가설 1~5 검정)

독립변수와 종속변수와의 관계에서 유의도 0.1 수준에서 기술성(B=0.218, t=1.747), 정책성(B=-0.180, t=2.406) 및 예산효율성(B=0.495, t=5.824)이 사업성공에 영향을 미치는 것으로 나타났다. 한편, 유의도 0.05수준에선 정책성과 예산효율성만 유의한 영향력을 미치는 것으로 판명되었다.

표 8. 경로분석 검정 결과

Table 8. Path analysis results

OTNBBE_2021_v21n4_157_t0008.png 이미지

*:P<0.1, **:P<0.05

다. 지원제도의 조절효과 (가설6 검정)

정부의 지원제도가 평가 요인들이 사업성공에 미치는 영향을 강화시키는지 검정하기 위해 각 독립 변인에 상호작용 항을 만든 후 Bootstrapping을 통해 조절 효과를 검증하였다.

검정 결과, 유의도 p<0.05 수준에서 정부의 지원제도는 공익성과 사업성공과의 관계를 (B=0.243, t=2.249) 유의도 p<0.1 수준에서 경제성과 사업성공과의 관계 (B=-0.211, t=1.854)를 조절하는 것으로 밝혀졌다. 이에 반해 정부의 지원제도는 기술성, 정책성 및 예산 효율성이 사업성과에 미치는 영향을 강화시키지 않는 것으로 나타났다.

표 9. 조절효과의 검정 결과

Table 9. Moderating effect results

OTNBBE_2021_v21n4_157_t0009.png 이미지

*:P<0.1, **:P<0.05

Ⅴ. 결론

1. 요약 및 논의

본 연구의 실증분석을 통해서 확인된 연구결과들은 다음과 같다.

첫째, 경로분석 검정 결과 공익성 및 경제성은 사업 성공에 유의한 영향을 미치지 않는 것으로 나타났다. 공익성은 사회복지 측면에서 국민의 삶의 질을 높이는 정책사업과 관련된 개념으로 사업성공에 유의한 영향을 미치지는 않을 것으로 충분히 설명이 된다[6]. 반면, 경제성은 기존의 AHP를 활용한 우선순위 평가기준 연구에서는 상황에 따라 가장 낮거나[74], 가장 높은[6] 가중치를 보여주었다. 본 연구의 기술통계량분석 결과에 따르면, 경제성은 두 번째의 높은 긍정적 평균값을 보인 반면, 사업 성공에 대한 인과관계에 있어서는 유의한 영향을 미치지 않는 것으로 판명되었다. 이는 경제성의 평가가 단순한 일개 프로젝트로서의 평가가 아니고 거시적 관점에서 국가 경제와 관련된 부분으로 공공의 영역에서 진행되는 사업에 대한 개념 정의가 쉽지 않았을 것으로 보인다[74].

둘째, 경로분석 검정 결과 기술성은 유의수준 p<0.1 에서, 정책성 및 예산효율성은 유의수준 p<0.05 에서 사업 성공에 영향을 미치는 것으로 나타났다. ICT사업의 특성상 기술성이 사업성공에 영향을 미치는 것으로 나타난 것은 기존 인식과 크게 달라 보이지 않는다. 다만, AHP 를 이용한 기존 우선순위 연구에서 가장 낮은 가중치를 보여주었고[6], 본 연구의 기술통계량분석 결과도 가장 낮은 평균값을 보여 주었던 정책성과 예산효율성이 사업 성공과의 인과 관계에 있어서는 유의도 p<0.05 수준에서 영향을 미치는 것으로 판명이 되었다. 이는 정치인의 선거공약이나, 국민의 숙원사업 등 예산 배분 결정에 영향이 있는 정책성이나, 예산의 사용 측면에서 예산 효율성이 사업 성공과 매우 유관한 것으로 보인다[70]. 김성현외[71]는 공공 부문 ICT 신기술 사업의 평가 프레임을 연구하였고, 정익재 외[72]는 미국 주요 정보화 사례를 분석 정치적. 조직적 요인이 사업 성패에 중요한 영향을 미친다고 분석하였다. 경제성과 기술성은 매우 밀접한 관계가 있으나, 기술성만이 유의한 영향을 미치고 있는 것은 경제성이 일자리 창출 등 공익성과 상관관계가 있었을 것으로 보인다.

셋째, 조절효과 검정 결과 정부의 지원제도는 공익성 및 경제성에 조절 효과가 있는 것으로 나타났으나, 기술성, 정책성 및 예산효율성에는 조절 효과가 없는 것으로 나타나 부분적인 조절 효과를 보여주었다. 이는 경로 분석 검정 결과와 매우 상반되는 결과이나, 국민복지 측면의 공익성이나 고용 창출 측면에서의 경제성은 정부 의지 원제 도가 상당한 조절 작용이 가능할 것으로 설명이 된다. 반면, 핵심 선도 기술이나 원천 기술 또는 예산 관련된 부분 등은 정부의 지원제도 작동이 용이해 보이지 않는다. 정부의 지원제도는 연구 개발 촉진 및 기업의 탐색적 활동에 긍정적인 영향을 미치고, 연구개발의 순 투자를 전반적으로 증가시키는 것으로 나타났으나[56][57][58], 사업 성공에 대한 조절작용에는 유의한 영향을 미치지 않는 것으로 보인다.

2. 시사점

본 연구의 ICT 공공사업 성공요인에 인과관계를 탐구한 것은 이 분야의 연구자들에 시사점을 제시하여 준다. 다수의 연구자들이 AHP 방법을 이용하여 공공사업에 대한 투자 평가 요인의 우선순위를 연구한 반면, 투자평가요인과 사업성공에 대한 인과 관계를 심도 있게 연구한 자료는 매우 부족한 상황이다. 또한 사업 성공 요인을 분석하였다고 해도 선행적인 평가 요인에 대한 사업 성공의 인과관계를 검증하기보다는 프로젝트(사업)의 성과분석에 머무르고 있는 실정이다. 따라서 본 연구는 공공사업 특히, ICT의 특성을 고려한 선행적인 투자 평가요인이 사업 성공과 어떠한 인과 관계가 있는 지를 밝히고, 기존의 투자 평가 요인의 실증적 유효성을 검증하는데 큰 차별점이 있다고 하겠다.

본 연구의 결과 공공ICT사업을 성공으로 이끌기 위해 시사하는 바는 첫째, 기술을 사업화로 연계하기 위한 신기술 R&D 연계 사업화를 촉진하고, 둘째, 공익성이나 경제성은 정부의 지원제도를 통해 보완하며, 마지막으로 효율적이고 적정한 예산의 집행이 사업 성공에 매우 긴요해 보인다.

3. 한계점 및 향후 연구 방향

본 연구에서는 정량적인 자료 수집에 있어 응답자의 70% 이상이 기업에 편중되어 있어 공공사업의 주무 기관인 공공기관의 표본(12%)이 상대적으로 적어 연구 결과가 다소 기업에 치우친 결과를 가져오지 않았을까 하는 우려가 있다. 또한, 설문 대상자를 프로젝트 참여자로 한정하여 응답자가 본인이 참여한 사업을 대부분 성공적이라고 평가하는 경향이 있고, 공공기관의 성격상 실패한 사업에 대해서는 반드시 책임추궁이 뒤따르므로 공식적인 목표달성도에서 실패하는 사업을 찾기 드믄 것이 현실이다[75]. 공식적인 목표달성도에서 성공한 사업도 사용자의 저평가나 외면으로 무용지물이 되는 경우가 흔하다는 점에 비추어 볼 때 궁극적으로 공공ICT 사업의 성공 여부를 평가하기 위해서는 고객의 기대와 가치를 어느 정도 충족시켜주고 있는가를 기준으로 삼아야 한다는 것이다[75].

따라서 향후 연구에서는 사업 성공에 대한 수용성, 유용성을 고려하여 설문을 이용자(수혜자) 중심으로 전환하고, 동시에 정량적인 표본수를 좀 더 늘림으로써 연구 결과의 객관성을 확보하는 것이 필요할 것이다. 또한 정부의 다양한 지원제도를 통합하여 조절효과를 파악하는 것보다는 지원제도 각각의 특성을 고려하여 각 지원제도의 유효성을 확인하는 것이 바람직할 것이다. 더불어, 투자평가 요인과 사업성공과의 검증된 인과관계를 향후 투자평가 요인에 반영 보완될 수 있도록 하여야 할 것이다.

References

  1. Myeong-gu Kang, "The story of the fourth industrial revolution that no one tells you", key publisher. ISBN 9791188808274, 2018.
  2. Hyuk Jeong, "Challenges of the ICT industry in the era of the 4th industrial revolution: a mid- to long-term perspective", KISDI vol. 17-18, 2017.
  3. Ho Lee & Joung-Huem Kwon, "A Study on te Issues and Perceptions of 5G Industry in Digital Transformation Era: Focused on News Network Analysis", JKIIT, Vol. 17, No. 11, pp. 9-16, 2019.11. DOI : 10.14801/jkiit.2019.17.11.9
  4. IITP, ICT R&D Technology Roadmap 2025 General Report, https://www.iitp.kr, 2020.
  5. Jangwoo Lee and Wanki Min, "Priority Setting of New Promising IT Industries", Technology Innovation Research, Vol. 13, No. 1, pp. 26-54, KOSIME, 2005.
  6. Eui-Geun Song, and Seong-Eon Kim. "A study on the setting of evaluation criteria and prioritization of informatization investment projects." Information Systems Research 16.3 pp. 91-108, Korea Information Systems Society, 2007.
  7. Seok-Moon Jo and Si-Gon Kim, "Evaluation factors weighting for Investment priority of Transfer center", Journal of Korean Society for Urban Railway, Vol. 7, No. 3, pp. 373-380, DOI: htps:/doi.org/10.24284/ JKOSUR.2019.9.7.3.373, September 2019.
  8. Sang-Hoon Kim and Jeom-Ki Choi, "Analysis of Evaluation Areas and Weights by Evaluation Items for Informatization Support Projects Using AHP Technique", Journal of the Korean Management Science Association, Vol. 32, pp. 123-140, 2007.
  9. Saaty, TL, "The Analytic Hierarchy Process", New York McGraw Hill International, 1996.
  10. Ikseo Choi, Jinsu Kim & Namje Park, "A Study on the Strengthening of the Police's Competency in Industrial Technology Protection using AHP Method", JKIIT, vol.18, no.12, pp. 103-112 (10 pages), 2020. DOI : 10.14801/jkiit.2020.18.12.103
  11. Kookhee Lee, "Differences in IT investment decision-making criteria according to the size and type of IT projects", Journal of Information Technology Applications and Management, vol. 12, No. 1, pp. 191-211, Korea Database Association, 2005.
  12. Bonjae Koo and Gukhee Lee, "Analysing Decision Making Factors of IT Investment Projects", Information System Review, Vol. 9, No. 1, pp. 161-189, 2007.
  13. Jinmyung Yang, "Study on Success Factors of Public Sector Performance Evaluation-Focused on Evaluation System for Military Responsible Operating Institutions", Catholic University Ph.D. thesis, 2016.
  14. Gwanseop Choi, "A Study on the Acceptability and Influence Factors of the Performance Evaluation System", Myongji University Ph.D. thesis, 2014.
  15. Gyung Bok Kook, Jin-Hyu Mok, Seok-Hwan Lee. "An Empirical Study on Recognition of Acceptability and Effectiveness of Performance Management System in the Public Sector: Focusing on Cases of the Ministry of Veterans Affairs, Journal of Policy Analysis and Evaluation. Vol. 17, No. 3, pp. 31-53, 2007.
  16. Deok-hyun Kim, "The 4th Industrial Revolution and Convergence Future Technology -Economy -Society -Change Zoom Out", Bizpress, 2019.
  17. Schwab, Klaus, "The Fourth Industrial Revolution", World Economic Forum. ISBN 1944835008, 2016.
  18. Seungmin Lee and Jihyung Jung, "7 Trends in AI in 2020-Beyond Perception", ETRI Insight Report 2019-57, 2019.
  19. Byeong-Kwon Park, "Recent US-China Conflict and Our Response Direction", Issue Brief, Asan Institute for Policy Studies, 2019.
  20. Soonduck Yoo, "A Study on AI Business Ecosystem", JIIBC, vol.20, no. 2, pp. 21-27, 2020. DOI : 10.7236/JIIBC.2020.20.2.21
  21. http://www.knewdeal.go.kr/
  22. Myong-hwan Lim, Sun-ju Koh, and Jung-man Lee, "A Study on the Process Improvement Plan of ICT Technology Innovation System: Focusing on Task Classification and Selection Evaluation", Management Science Vol. 33, No. 3, pp. 53-64, 2016.
  23. Hongki Kim et al., "Determining Factors and SWOT Analysis of New IT Industry", Journal of Technology Innovation, Vol. 7, No. 1, 2004.
  24. Yong-gon Cho and Geun-tae Cho, "Establishment of R&D strategy for promising future technologies in biotechnology using Delphi and AHP", Proceedings of the Spring Joint Conference of the Korean Society of Industrial Engineers, pp. 185-188, 2004.
  25. Jang-Woo Lee, "A Study on Prioritization of Promising New IT Industries". Hannam University Graduate School, Ph.D. thesis, 2004.
  26. Jongin Lee, Geuntae Cho et al., "Priority setting of future promising technologies in forestry and forestry using hierarchical decision-making method", Gangwon Agricultural and Life Environment Research, Vol. 2007.
  27. Samsung Economic Research Institute, "Six Future Technologies that the State Should Lead", 2008.
  28. Lee, K., Song, Y., Han, W., & Lee, S. "Emerging Technologies in Mobile Communications for 2020", The Journal of Korea Information and Communications Society, 38A(1), pp. 108-126. 2013. DOI: https://doi.org/10.7840/kics.2013.38a.1.108,
  29. Young-Keun Chung & Eungsoon Lim, "An analysis on Regional Economic Impact of Chungnam Following R&D Investment -Focused on Metal Industry-", JKAIS, vol.21, no.10, pp. 72-76, 2020. DOI : 10.5762/KAIS.2020.21.10.72
  30. Tae-young Shin, Jong-guk Song, Doo-hyeon Ahn, Seung-il Jeong, Lee Woo-seong, Son Su-jeong, Kim Hyeon-ho, Huh Hyeon-hoe, Han Ki-in. "Effect Analysis and Improvement Plan of the Technology Innovation Support System". Policy Research, pp. 1467, 2006.
  31. Seong-min Park, Heon Kim, Won-sik Seol, "A Study on the Validity of Technology Innovation Aid Programs for IT Small and Medium-sized Enterprises: Focusing on the Dynamic Charateristics and Relationship", Journal of the Korean Telecommunications Society '08-10 Vol. 33, No. 10 , 2008.
  32. Kyung-ah Kim. "Study on the effect of government support policy for technological innovation in the service industry -Focused on the beneficiaries of government support for technological innovation-" Korean Journal of Autonomy and Public Administration, Vol. 28, No. 2, pp. 215-238, 2014.
  33. Seung-pyo Jeon, Tae-eung Seong, and Joo-hwan Seo, "A Study on the Relationship between R&D Information Support and Performance of Small and Medium Enterprises", Journal of Technology Innovation, Vol. 19, No. 1, pp. 48-79, 2016.
  34. Ho-seong Lee , Jeong-su Lee, and Jae-min Park , "Technical Performance Analysis of Small and Medium Enterprises by Government R&D Support Type". Journal of Technology Innovation, Vol. 18, No. 1, pp. 73-97, 2015.
  35. Jihwan Woo & Young Jun Kim, "A Study on the Influence of the Government's Innovation Promotion Policy on the Innovation Performance of the Service Industry", JKAIS, vol. 20, no. 2, pp. 469-482, 2019. DOI : 10.5762/KAIS.2019.20.2.469
  36. Eunyoung Choi, "The effect of government support system, internal R&D investment and R&D cooperation on technological innovation performance". Industrial Economics Research, Vol. 28, No. 4, pp. 1473-1492, 2015.
  37. Seon-jae Kim and Young-hwa Lee , "The Effect of Korean Public Sector R&D Investment on Domestic Industry". Industrial Economics Research, Vol. 28, No. 1, pp. 71-88, 2015.
  38. Czarnitzki, D., Glanzel, W. and Hussinger, K."Patent and Publication Activities of German Professors: An Empirical Assessment of Their Co-Activity," Research Evaluation, Vol. 6, No. 4, pp. 311-319, 2007. https://doi.org/10.3152/095820207X254439
  39. Tae-Hoon Park, Kyung-Hye Park . "Analysis of the impact of technological innovation on IT manufacturing companies according to corporate cooperation and government support". Digital Convergence Research, Vol. 10, No. 9, pp. 39-45, 2012.
  40. Wholey, J. S. "Performance-based Management: Responding to the Challenges". Public Productivity & Management Review: pp. 288-307. 1999.
  41. Poister, T. H. "Measuring Performance in Public and Nonprofit Organizations". John Wiley & Sons. 2003.
  42. Hatry, H. P. "Performance Measurement: Fashions and Fallacies". Public Performance & Management Review: pp. 352-358. 2002. https://doi.org/10.1177/15357602025004005
  43. Vedung, Evert. "Public Policy and Program Evaluation". London:Transaction Publishers, 1997.
  44. Gwanseop Choi. "A Study on the Acceptability and Influencing Factors of the Performance Evaluation System". Myongji University doctoral thesis, 2014.
  45. Seung-hwan Myung. "Design of Policy Evaluation for Utilization: Focusing on Informatization Project Evaluation". Cyber Communication Journal. Vol. 9, No. 1, 2002.
  46. Sujae Yoon, "Factors Influencing Public Sector Acceptance of Policy Evaluation: Focused on the Central Government". Korean Public Management Gazette, Vol. 19, No. 2, 2005.
  47. Seung-hyun Yoo . "Analysis of Reliability and Feasibility of Public Institutional Management Evaluation: Focusing on Evaluation Results in 2008". Policy Analysis and Evaluation Journal. Vol. 20, No. 4, 2010.
  48. Young-ah Ryu . "A study on measures to secure evaluation acceptability". Journal of the Korean Policy Association. Vol. 23, No. 1, 2014.
  49. DeLone, W. H. & McLean. E. R., "The DeLone & McLean Mode of IS Success : A Ten-year Update", Journal of Management Information Systems, Vol. 19, No. 4, pp. 9-30, 2003. https://doi.org/10.1080/07421222.2003.11045748
  50. Sang-woon Lee , Myung-bok Choi . "Definition and Criteria for Success in Software Development". The Journal of the Institute of Internet Broadcasting and Communication(JIIBC), Vol. 12, No. 2, pp. 233-241, 2012. DOI: http://dx.doi.org/10.7236/jiwit.2012.12.2.233
  51. IkCheon Um, "A Study on Determining Factors of Government R&D Budget", Proceedings of the Spring Conference of the Korean Association for Public Administration, 2011(0): pp. 1-24, 2011.
  52. Jae-Geun Lee, "Definition of Mission Fit and Mission Achievement Indicators in National R&D Projects", Proceedings of the Korean Society of Management Science Conference, pp. 536-540, 2009.
  53. Tae-Ho Ahn, "R&D Project Portfolio Construction Heuristic Technique - For Projects with Alternatives." Journal of Social Sciences 9.- (2007): pp. 183-195, 2007.
  54. Eunji Kim, Sangheon Kim. "A New Approach to Incremental Estimation", Financial Studies, pp. 131-155, 2015.
  55. Seongchae Yoon, "Verification of the suitability of the theory of government budget decision", Journal of Korean Public Administration, Vol. 26, No. 2, pp. 135-162, 2014.
  56. Pil Ky Hong , Hwan Joo Seo , "Do government R&D investment subsidies promote R&D investment by companies?". Journal of Fiscal Policy, Vol. 13, No. 2, pp. 85-111, 2011.
  57. Ji-Woong Yoon, Seong-Sik Yoon. "Empirical Analysis of the Impact of Government R&D Support on Business Exploratory Activities", Journal of Technology Innovation, Vol. 16, No. 1, pp. 279-302, 2013.
  58. Seung-gu Ahn, Jeong-ho Kim, Joo-il Kim . "Effect of government R&D support on investment of medium-sized enterprises", Journal of Technology Innovation, Vol. 20, No. 3, pp. 546-575, 2017.
  59. Han Young Lee, "A Study on Public Interest Review in the Telecommunication Service Sector: The Korea-US System and the Korea-US FTA Concessions", Information and Communication Policy Research, Vol. 14, No. 4, pp. 95-141, 2007.
  60. Myung-soo Yee , Soo-joong Nam , "Influence of ICT Industry on Production and Economic Growth - Focusing on Industry Related to the Fourth Industrial Revolution", Information Policy, Vol. 26, No. 2 , pp. 24-45, 2019.
  61. Oulton, N, "Long term implications of the ICT revolution: Applying the lessons of growth theory and growth accounting". Economic Modelling, Vol. 29, No. 5, pp. 1722-1736, 2012. https://doi.org/10.1016/j.econmod.2012.04.025
  62. Hyeondeok Jang and Janghee Lee, "Efficient selection of promising technologies through the use of AHP and DEA", Business Management Research, Vol. 18, No. 2, pp. 67-85, 2011.
  63. Seong-Bok Lee, "A Study on the Improvement of Policy Management Capabilities of Local Public Officials", Korean Journal of Policy Science, Vol. 8, No. 2, pp. 111-129, 2004.
  64. Hyunji Park and Inseon Park. "An Empirical Study on Strategic Budget Allocation Methodology for Improving National Industrial Technology R&D Investment Efficiency", National Policy Research, Vol. 32, No. 2, pp. 163-185, 2018.
  65. Kwanghee Lee , Seokmin Lee, "A Study on Factors Affecting the Utilization and Utilization of Performance Information of the Government Performance Evaluation System, and the Factors of Institutional Reliability: Focusing on Specific Evaluation", Korean Journal of Public Administration, Vol. 48, No. 3, pp. 205-226, 2014.
  66. Seung-Ju Baek, "A Study on Improvement Plans for the Designation of Investment Promotion Districts under the Jeju Special Act," Land Construction Law Research, Vol. 76, pp. 83-108, 2016.
  67. Kun-Kwon Shin, SmartPLS 3.0 Structural Equation Modeling, Cheongram, Book Publishing House, 2018.
  68. Bagozzi, R. P., & Yi, Y. "On the evaluation of structural equation models. Journal of the academy of marketing science", Vol. 16, No. 1, pp. 74-94, 1988. https://doi.org/10.1007/BF02723327
  69. Fornell, C., & Larcker, D. F. Structural equation models with unobservable variables and measurement error: Algebra and statistics, 1981.
  70. Anderson 1991.
  71. Seonghyeon Kim, Seungbeom Park and Yonggun Lee. "A Study on Evaluation Framework for New ICT Projects in Public Sector: Focusing on Big Data, Cloud, and Internet of Things", Informatization Research, Vol. 12, No. 3, pp. 419-428, 2015.
  72. Ik Jae Chung, Jung Soo Kim, "Rethinking US informatization policy; Understanding Information and Communication Policy through the 'Policy Window' Model", Journal of the Korean Policy Association, Vol.
  73. Easton, D. "The political system besieged by the state". Political Theory, Vol. 9, No. 3, pp. 303-325, 1981. https://doi.org/10.1177/009059178100900303
  74. Jae-Ho Song, Bong-Hyun Kim, and Boo-Yeon Jo, "Development of Evaluation Indicators for Investment Priority in Public Interest Development Projects", The Journal of Industry and Economy, Vol. 37, August 2016.
  75. Soon-Eun Kim and Sang-Oh Yoon, "A Study on the Derivation of Evaluation Criteria for Informatization Business", The Korean Journal of Local Government Studies, Vol. 5, No. 4, pp. 207-226, 2002