AGI에 도달하면 디스토피아, 도달하지 못하면 유토피아
2026년 03월 12일 작성TL;DR
- AGI 경쟁은 이미 개별 회사의 범위를 넘어 미국과 중국의 이념 경쟁에 가까워지고 있다.
- 먼저 AGI에 도달한 쪽은 그 우위를 보유하는 데 그치지 않고, 즉시 경쟁자 제거에 투입할 가능성이 높다.
- AGI에 도달하지 못하더라도, 지금의 LLM만으로 이미 충분히 많은 길이 열렸다.
- AGI 그 자체보다 AGI에 도달하는 과정과 그 이후의 경쟁 구조가 더 디스토피아적일 수 있다.
시작하며
어제 고객 행사 끝나고 저녁자리에서 이런 질문을 받았다.
“AI의 미래를 유토피아로 보세요, 디스토피아로 보세요?”
나는 이렇게 답했다.
“AGI에 도달하면 디스토피아, 도달하지 못하면 유토피아.”
작년부터 몇몇 주변 사람들에게 종종 해오던 이야기지만, 조금 극단적으로 들릴 수도 있다. 그래도 나름의 이유가 있다.
1. 망하지 않는 것이 먼저다
내가 사업과 투자를 볼 때 중요하다고 생각하는 건, 성공하는 방법을 찾는 것보다 망하지 않게 하는 것이다.
대부분의 실패 요인은 이미 잘 알려져 있다. 그래서 중요한 건 치명적인 실패 요소의 영향을 최대한 줄이고, 변수를 하나씩 제거하면서 살아남는 것이다. 결국 오래 버티면서 가설을 세우고, 실험하고, 피드백을 반영하는 과정을 반복할 수 있어야 한다.
나는 성공이란, 그런 과정을 포기하지 않은 끝에 얻는 결과에 더 가깝다고 생각한다.
2. AGI 경쟁은 무한게임이 되고 있다
이 관점에서 보면, 지금의 AGI 경쟁은 이미 개별 회사가 감당할 수 있는 범위를 넘어섰다. 점점 더 미국과 중국의 이념 경쟁에 가까워지고 있고, 막대한 자금과 매몰비용이 들어간 이상 쉽게 멈출 수도 없다. 그래서 이 경쟁은 명확한 룰이 작동하기 어려운 무한게임(infinite game)의 성격을 점점 더 강하게 띠고 있다고 본다.
이런 상황에서 누군가가 정말 먼저 AGI에 도달한다면, 그 다음 행동은 생각보다 뻔할 수도 있다. 나는 이 분야의 전문가는 아니지만, 전체 구도가 핵 군비 경쟁과 닮아 있다고 느낀다. 먼저 도달한 쪽은 그 우위를 단순히 보유하는 데 그치지 않고, 즉시 경쟁자 제거에 활용하려 들 가능성이 높기 때문이다.
3. 먼저 도달한 쪽은 어떻게 움직일까
첫째, 먼저 AGI에 도달한 쪽은 그 순간부터 AGI를 즉시 경쟁자 제거에 투입하려 할 것이다. 가용한 모든 인프라를 붙여 다른 경쟁국가가 AGI에 도달할 가능성 자체를 낮추거나 제거하는 방향으로 움직일 가능성이 높다. 언어권 단위의 데이터 오염, 가짜 데이터 대량 생성, 연구 방향 교란, 의사결정 왜곡 같은 비교적 간접적인 방식부터 훨씬 더 공격적인 방식까지, AGI는 목표 달성을 위해 거의 실시간으로 최적의 수단을 찾아 실행하는 주체가 될 수 있다. 다시 말해, AGI는 단순한 보유 자산이 아니라 경쟁자의 추격 가능성을 끊어내기 위해 즉시 투입되는 행위자에 가까울 수 있다.
둘째, 동시에 그 AGI를 더 빠르게 고도화해 ASI로 끌어올리면서 우위를 구조화하려 할 것이다. 즉, 한쪽에서는 이미 확보한 AGI를 경쟁자 억제에 즉시 투입하고, 다른 한쪽에서는 그 AGI 자체를 더 강한 시스템으로 가속 진화시키는 방향으로 움직일 가능성이 높다. AGI 경쟁은 승자독식에 가까운 구조로 흘러갈 수 있고, 여러 플레이어가 존재하더라도 결국 소수의 압도적 플레이어만 남게 될 가능성이 크다.
국가가 이렇게 움직인다면, 기업도 크게 다르지 않을 것 같다. 기업 역시 AGI를 활용해 경쟁사를 약화시키고, 자기 서비스의 락인을 더 강화하는 방향으로 움직일 가능성이 높다.
문제는 그 시점이 되면, 국가가 이런 행동을 통제하기도 어려워진다는 점이다. 이미 국가 스스로가 유사한 방식으로 경쟁자를 제거하고 있다면, “그러지 말자”는 규범은 쉽게 설득력을 잃는다.
그 이후의 모습은 각자의 상상에 맡길 수밖에 없지만, 적어도 지금 내가 떠올리는 그림은 썩 유쾌하지 않다.
4. 오히려 도달하지 못하는 것이 유토피아다
반대로 내가 생각하는 유토피아 시나리오는 다르다. 현재의 트랜스포머 기반 기술과 그 응용만으로는 결국 AGI에 도달할 수 없는 경우다. 다만 그 사실을 누구도 완전히 증명하지는 못하는 상태여야 한다.
그렇다면 모두가 “혹시 가능할지도 모른다”는 이유로 계속 달릴 것이다. 하지만 결국 많은 회사는 자본을 소진하면서 무너지고, 자본을 조달할 수 있는 소수의 플레이어만 연구를 이어가겠지만 끝내 AGI에는 도달하지 못한다.
아이러니하게도, 나는 이 시나리오가 오히려 더 유토피아적일 수 있다고 본다.
AGI에는 도달하지 못하더라도, 이미 지금의 LLM만으로도 예전보다 훨씬 많은 길이 열렸기 때문이다. 비즈니스적으로도, 기술적으로도 우리는 이전보다 훨씬 더 어려운 문제를 훨씬 재미있게 풀 수 있게 될 것이다.
마치며
그래서 나는, AGI 그 자체보다도 AGI에 도달하는 과정과 그 이후의 경쟁 구조가 더 디스토피아적일 수 있다고 생각한다. 반대로 AGI에 끝내 도달하지 못하더라도, 그 과정에서 축적된 기술만으로도 우리는 꽤 오랫동안 더 흥미롭고 생산적인 시대를 살 수 있을지 모른다.
그럼에도 개인적으로는 ASI를 한 번은 보고 싶다.
그래서 완전한 파국보다는, 조금 덜 디스토피아적인 방식으로 AGI가 전개되는 시나리오가 있다면 그 방향으로 흘러가는 미래를 보고 싶다.