Why should we worry about controlling AI?

우리는 왜 인공지능에 대한 통제를 고민해야 하는가?

This paper will cover recent discussions on the risks of human being due to the development of artificial intelligence(AI). We will consider AI research as artificial narrow intelligence(ANI), artificial general intelligence(AGI), and artificial super intelligence(ASI). First, we examine the risks of ANI, or weak AI systems. To maximize efficiency, humans will use autonomous AI extensively. At this time, we can predict the risks that can arise by transferring a great deal of authority to autonomous AI and AI's judging and acting without human intervention. Even a sophisticated system, human-made artificial intelligence systems are incomplete, and virus infections or bugs can cause errors. So I think there should be a limit to what I entrust to artificial intelligence. Typically, we do not believe that lethal autonomous weapons systems should be allowed. Strong AI researchers are optimistic about the emergence of artificial general intelligence(AGI) and artificial superintelligence(ASI). Superintelligence is an AI system that surpasses human ability in all respects, so it may act against human interests or harm human beings. So the problem of controlling superintelligence, i.e. control problem is being seriously considered. In this paper, we have outlined how to control superintelligence based on the proposed control schemes. If superintelligence emerges, it is judged that there is no way for humans to completely control superintelligence at this time. But the emergence of superintelligence may be a fictitious assumption. Even in this case, research on control problems is of practical value in setting the direction of future AI research.

이 논문은 인공지능으로 인한 인류의 위험에 대한 최근의 논의를 다룰 것이다. 인공지능을 협의의 인공지능(ANI), 인공 일반지능(AGI), 인공 초지능(ASI)으로 구분하여 살펴볼 것이다. 먼저, ANI 즉 약한 인공지능 시스템이 불러올 수 있는 위험에 대해 살펴본다. 인간이 효율성의 극대화를 위해 자율형 인공지능에게 작업의 권한을 상당 부분 이양하고 인간의 개입 없이 판단하고 행동하게 함으로써 발생할 수 있는 위험을 예상해 볼 수 있다. 아무리 정교한 시스템이라고 하더라도 인간이 만든 인공지능 시스템은 불완전하기 마련이며, 바이러스 감염이나 버그 등으로 오류가 발생할 수도 있다. 그래서 인공지능에게 맡기는 일에 한계가 있어야 한다고 본다. 대표적으로 살상용 자율무기는 허용되지 않아야 한다고 생각한다. 강한 인공지능 연구자들은 인공 일반지능과 초지능의 출현을 낙관한다. 초지능은 모든 면에서 인간의 능력을 월등하게 능가하는 인공지능 시스템이므로 인간의 이익에 반하는 행동을 하거나 인간에게 해를 입힐 수도 있다. 그래서 초지능을 통제하는 문제가 심각하게 거론되고 있다. 이 논문에서는 초지능을 통제할 수 있을지를 현재까지 제안된 통제 방안들을 중심으로 개략적으로 살펴보았다. 만일 초지능이 출현한다면, 인간이 초지능을 완벽하게 통제할 방안이 현재로서는 없다고 판단된다. 하지만 초지능의 출현이 허구적인 가정일 수도 있다. 이럴 경우에도 통제 문제에 대한 연구는 인공지능 연구의 방향을 설정하는 데 있어 실용적인 가치가 있다.