AGI에 도달하면 디스토피아, 도달하지 못하면 유토피아
TL;DR
- 먼저 AGI에 도달한 쪽이 경쟁자를 배제하는 상황을 우려한다.
- AGI 자체보다 그 전후의 경쟁 구조가 더 걱정된다.
- AGI에 도달하지 못해도 그 과정의 기술은 유용할 수 있다.
시작하며
어제 고객 행사 끝나고 저녁자리에서 이런 질문을 받았다.
“AI의 미래를 유토피아로 보세요, 디스토피아로 보세요?”
나는 이렇게 답했다.
“AGI에 도달하면 디스토피아, 도달하지 못하면 유토피아.”
작년부터 몇몇 주변 사람들에게 종종 해오던 이야기지만, 조금 극단적으로 들릴 수도 있다. 그래도 나름의 이유가 있다.
여기서 AGI는 특정 분야를 넘어 사람이 하는 여러 지적 작업을 수행할 수 있는 범용 인공지능을 뜻한다. 그 능력이 사람을 전반적으로 넘어서는 경우를 ASI, 즉 초지능이라고 부르겠다. 아래는 그런 기술을 먼저 얻은 쪽이 어떻게 행동할지에 관한 내 가정이다.
1. 망하지 않는 것이 먼저다
내가 사업과 투자를 볼 때 중요하다고 생각하는 건, 성공하는 방법을 찾는 것보다 망하지 않게 하는 것이다.
대부분의 실패 요인은 이미 잘 알려져 있다. 그래서 중요한 건 치명적인 실패 요소의 영향을 최대한 줄이고, 변수를 하나씩 제거하면서 살아남는 것이다. 결국 오래 버티면서 가설을 세우고, 실험하고, 피드백을 반영하는 과정을 반복할 수 있어야 한다.
나는 성공이란, 그런 과정을 포기하지 않은 끝에 얻는 결과에 더 가깝다고 생각한다.
2. AGI 경쟁은 무한게임이 되고 있다
내가 우려하는 것은 AGI 경쟁이 개별 회사를 넘어 미국과 중국의 이념 경쟁처럼 굳어지는 상황이다. 막대한 자금을 투입한 쪽에서는 먼저 멈추는 것이 상대에게 뒤처지는 일로 보일 수 있다. 그래서 승자를 정하고 끝내기보다 경쟁에서 탈락하지 않으려고 계속 자원을 투입하는, 끝나기 어려운 게임에 가깝다고 생각한다.
나는 이 분야의 전문가는 아니지만, 전체 구도가 핵 군비 경쟁과 닮아 있다고 느낀다. 먼저 도달한 쪽이 경쟁자의 추격을 막는 데 그 우위를 쓸 것이라는 가정이 내 우려의 출발점이다.
3. 먼저 도달한 쪽은 어떻게 움직일까
먼저 AGI에 도달한 쪽이 다른 국가의 연구를 방해하는 데 이를 쓴다고 해보자. 데이터 오염, 가짜 데이터 생성, 연구 방향 교란, 의사결정 왜곡 같은 방식으로 경쟁자가 따라올 가능성을 낮추려 할 수 있다.
동시에 자신의 AGI를 더 발전시켜 ASI로 가려 한다면, 경쟁자를 늦추는 동안 자신의 우위는 더 커질 수 있다. 내가 우려하는 것은 이 두 과정이 함께 작동해 소수의 플레이어만 남는 상황이다.
국가가 이렇게 움직인다면, 기업도 크게 다르지 않을 것 같다. 기업 역시 AGI를 활용해 경쟁사를 약화시키고, 자기 서비스의 락인을 더 강화하는 방향으로 움직일 가능성이 높다.
문제는 그 시점이 되면, 국가가 이런 행동을 통제하기도 어려워진다는 점이다. 이미 국가 스스로가 유사한 방식으로 경쟁자를 제거하고 있다면, “그러지 말자”는 규범은 쉽게 설득력을 잃는다.
그 이후의 모습은 각자의 상상에 맡길 수밖에 없지만, 적어도 지금 내가 떠올리는 그림은 썩 유쾌하지 않다.
4. 오히려 도달하지 못하는 것이 유토피아다
반대로 내가 생각하는 유토피아 시나리오는 다르다. 현재의 트랜스포머 기반 기술과 그 응용만으로는 결국 AGI에 도달할 수 없는 경우다. 다만 그 사실을 누구도 완전히 증명하지는 못하는 상태여야 한다.
그렇다면 모두가 “혹시 가능할지도 모른다”는 이유로 계속 달릴 것이다. 하지만 결국 많은 회사는 자본을 소진하면서 무너지고, 자본을 조달할 수 있는 소수의 플레이어만 연구를 이어가겠지만 끝내 AGI에는 도달하지 못한다.
나는 한쪽이 결정적인 우위를 독점하는 것보다 이 시나리오가 더 유토피아적일 수 있다고 생각한다.
AGI에 도달하지 않더라도, 그 과정에서 얻은 기술은 사업과 개발에 계속 쓸 수 있다고 생각한다. 지금의 LLM만으로도 이전에는 시도하기 어려웠던 일을 해볼 수 있게 됐다.
마치며
그래서 나는, AGI 그 자체보다도 AGI에 도달하는 과정과 그 이후의 경쟁 구조가 더 디스토피아적일 수 있다고 생각한다. 반대로 AGI에 끝내 도달하지 못하더라도, 그 과정에서 축적된 기술만으로도 우리는 꽤 오랫동안 더 흥미롭고 생산적인 시대를 살 수 있을지 모른다.
그럼에도 개인적으로는 ASI를 한 번은 보고 싶다.
그래서 완전한 파국보다는, 조금 덜 디스토피아적인 방식으로 AGI가 전개되는 시나리오가 있다면 그 방향으로 흘러가는 미래를 보고 싶다.