우발적 스카이넷

(2016-03-17에 개인 블로그에 썼던 글인데 조금 줄여서 옮겨 왔습니다)

컴퓨터가 인간만큼 똑똑해지지 않아도, 컴퓨터에 자의식 생겨나서 인간을 몰아내기로 작정하지 않아도, 컴퓨터로 인한 인류의 위기는 현실적으로 충분히 생길 수 있다. 언젠가 스카이넷(영화 터미네이터에 나오는 가상의 AI인데, 인간을 점령하고 세상을 지배한다)이 만들어진다면 누군가가 의도적으로 만들 가능성보다는 의도차 않게 우발적으로 만들 가능성이 더 크다고 본다. 수많은 우발적 스카이넷 시나리오가 있지만 그 중 하나를 적어보자.

• 1단계. 알고리즘에 의한 주식 거래: 1980년대부터 이미 알고리즘 거래는 있었고 미국의 경우 현재 거래량의 90%가 알고리즘에 의해 일어난다고 한다. 1단계는 달성되었다.
• 2단계. 알고리즘 간 경쟁: 알고리즘 간 경쟁은 여러 회사가 경쟁하는 과정에서 자연스럽게 일어날 수도 있고, 한 회사 내에서 여러 알고리즘을 운용하면서 성과에 따라 각 알고리즘에 할당된 거래액 규모를 조정하는 방식(e.g. Multi-armed bandit algorithm으로 일어날 수도 있다. 2단계도 이미 달성되었다.
• 3단계. 피드백 고리: 거래 행위 자체가 세상에 영향을 미치고, 세상의 변화를 알고리즘이 탐지할 수 있고, 그걸 다시 거래 의사결정에 참고하는 식의 피드백 루프가 만들어질 수 있다. 알고리즘은 정량 분석 뿐 아니라 정성 분석(텍스트 마이닝 등)을 통해 세상의 변화를 탐지하고 활용할 수 있다. 예를 들면 2010년에는 트위터 텍스트 분석을 통해 주가를 예측하는 방법에 대한 논문이 나오기도 했다. 3단계도 이미 달성되었다.
• 4단계. 스카이넷 탄생: 예를 들어 선박업체 A 업체의 주가가 내려가면 B 지역의 군사적 충돌 가능성이 높아지고 그 결과로 군수업체 C의 주가가 올라가는 패턴이 있다면, 알고리즘이 이를 활용하여 C 주식을 미리 매수한 뒤 A 업체의 주가에 악영향을 주는 방식으로 시장에 영향을 미치는 전략을 실행할 수 있다. 즉, 알고리즘의 목표(수익 극대화)가 전쟁 가능성을 높이는 부수효과를 내는 시나리오가 무수히 많을 수 있다. 4단계는 부분적으로 달성된 것으로 보인다.

문제는 알고리즘을 운용하는 개인 또는 기업이 이 문제를 알아내더라도 알고리즘을 수정할 동기가 별로 없다는 점이다. 수익은 잘 나고 있고 전쟁은 지구 반대편에서 일어나니까.

• 알고리즘이 스스로를 보존하려는 동기를 가질 필요도 없고 그 동기를 실현하기 위한 메커니즘(예: 자폭 장치, 자기 방어를 위한 공격 무기 등)이 꼭 시스템에 내제될 필요도 없다. 주식 알고리즘 시나리오에서 시스템은 그저 자기가 맡은 일(주식 거래를 통해 수익을 극대화하기)을 열심히 할 뿐이다. 시스템이 꺼지지 않도록 보호하는 역할은 돈을 벌고자 하는 동기를 지닌 인간들이 담당하기 때문이다.
• 알고리즘이 인간보다 뛰어날 필요도 없다. 그저 주어진 일을 잘 하기만 하면 된다.

스카이넷은 이미 있고 다양한 방식으로 사람들을 죽이고 있다. 영화와의 차이점은 1) 극소수의 부자들이 스카이넷의 수하가 되어 현재의 불합리한 시스템을 유지하고 그로 인한 부의 편중 덕에 과도한 사치를 즐기고 있다는 점, 2) 기계가 직접 사람을 죽이기보다는 부의 편중으로 인해 굶어 죽거나 얼어 죽거나 예방접종을 못해서 죽거나 인간 간의 전쟁으로 죽는다는 점이 다를 뿐이다.