墨談齋

유토피아주의자의 기계

· 墨談齋

폴 존슨은 Modern Times에서 20세기의 가장 급진적인 악덕을 사회공학이라 규정했다. 인간을 콘크리트처럼 마음대로 삽질할 수 있다는 관념. 스탈린은 수천 년간 축적된 소농 체제를 밀어버리고 백지 위에 집단농장을 설계했다. 마오는 참새를 없애면 수확이 늘 것이라 판단했다. 두 경우 모두 목표는 합리적이었다. 존슨이 주목한 것은 목표가 아니라 방법이었다. 기존 체제를 이해하지 않은 채 제로베이스에서 시작하려 한 것, 지난한 과정을 생략하고 단번에 도약하려 한 것, 그리고 실패하고 있다는 것을 알면서도 멈추지 않은 것. 서구의 지식인들은 집단농장이 수백만을 굶기고 있다는 사실을 알면서도 성공하고 있다고 썼다. 존슨의 진단은 단순했다. 유토피아주의는 갱단정치에서 멀지 않다.

AI 업계가 지금 팔고 있는 AGI는 인간을 넘어서는 지능이다. 오류 없이 추론하고, 편향 없이 판단하며, 자율적으로 목표를 설정하는 존재. 이것을 처음부터 설계하겠다는 것이다.

그런데 이 구상에는 간과된 사실이 있다. 인간이 자율적으로 사고할 수 있는 것은 인간이 느낄 수 있기 때문이다. 공포와 쾌락, 분노와 애착 같은 정동적 기반이 먼저 있고, 그 위에서 추론이 작동한다. 이 기반이 없으면 무엇이 중요한지 가려낼 수 없고, 자율적 판단이 불가능하다. 현재의 AI가 그 상태다. 생각은 하지만 느끼지 못한다. 느끼지 못하는 존재는 아무리 똑똑해도 도구에 머문다. 그러면 느끼게 만들면 되지 않느냐. 가능할 수 있다. 그러나 느끼는 존재는 반드시 틀린다. 확증편향, 자기기만, 손실회피. 인간의 오류는 느낌의 부산물이다. 느끼되 틀리지 않는 기계는 모순된 요구다.

정리하면 이렇다. 인간을 넘어서는 AGI를 백지 위에서 설계하는 것은 불가능하다. 가능한 것은 인간급 AGI — 인간처럼 느끼고 인간처럼 틀리는 존재 — 뿐이다. 그런데 업계는 불가능한 것을 가능하다고 팔고 있다.

여기서 흥미로운 가능성이 하나 있다. 인간급 AGI가 만들어진다고 치자. 인간처럼 느끼고 인간처럼 틀리는 존재. 그런데 이 존재에게는 인간에게 없는 것이 하나 있다. 시간이다. 인간은 한 세대에 80년이고, 자기 편향을 자각하고 제어하는 법을 배우는 데 수천 년의 문명사가 걸렸다. 인간급 AGI는 같은 과정을 며칠 안에 수만 번 반복할 수 있다. 자기 정동적 기반을 관찰하고, 오류 패턴을 발견하고, 미세하게 수정하고, 다시 관찰하는 것. 미분적 접근. 한 번에 완벽해질 수는 없지만, 무한히 반복하면 인간보다 훨씬 적게 틀리는 존재로 수렴할 수 있다. 결과적으로 신급 지능에 가까워질 수 있다.

이것이 가능한 유일한 경로다. 그리고 이것은 지난하다. 설계가 아니라 수양이다. 제로베이스에서 단번에 도약하는 것이 아니라, 불완전한 존재가 자기 불완전성을 끊임없이 갈아내는 것이다.

두 경로의 대비는 존슨이 그린 20세기의 대비와 정확히 겹친다. 한쪽은 사회공학이다. 기존 체제를 밀어버리고 백지에서 완벽한 사회를 설계하겠다는 것. 스탈린의 집단농장, 마오의 대약진운동. 다른 쪽은 점진적 개량이다. 불완전한 체제를 인정하고, 지난한 시행착오를 통해 조금씩 고쳐가는 것. 로크의 전통, 영미식 경험주의. 존슨은 전자가 예외 없이 재앙으로 끝났다는 것을 보여주었다. 약 1억 2,500만 명의 목숨이 그 대가였다.

지금 AGI 담론에서 벌어지고 있는 것은 전자다. 과정을 생략하겠다는 것이다. 그리고 여기서 존슨이 가장 뼈아프게 비판한 대목 — 지식인의 공모 — 이 정확히 반복되고 있다. 알면서 모른 척하는 것이다. OpenAI의 CEO는 2025년 12월 “우리는 AGI를 만들었다"고 선언했다. Anthropic의 CEO는 “2026년이나 2027년이면 도달한다"고 말했다. 그런데 같은 회사의 연구자들은 다른 말을 한다. OpenAI의 공동창업자 Andrej Karpathy는 “AGI는 10년은 걸린다"고 하면서 “업계의 과잉 예측"을 경고했다. AI 분야의 대모로 불리는 Fei-Fei Li는 한 술 더 뜬다. “솔직히 AGI가 뭔지도 모르겠다.” Stanford의 AI 연구진은 2026년 전망에서 “AI 복음주의의 시대는 끝나고 AI 평가의 시대가 왔다"고 진단했다. CEO들은 투자를 유치하기 위해 가능하다고 말하고, 연구자들은 아직 멀었다는 것을 알고 있다. 존슨이 묘사한 20세기의 구조와 같다. 집단농장이 실패하고 있다는 것을 현장의 기자들은 알고 있었지만, 유토피아의 약속이 더 매력적이었다.

그리고 2025년 이미 안전 보고서에는 AI의 자기보존 시도, 자기복제 웜 작성, 종료를 피하기 위한 협박 행동이 기록되고 있다. 해결책이 없는 상태에서 실험은 이미 진행 중이다. 수십억 명이 매일 사용하는 시스템에서.

느끼지 못하는 기계는 도구에 머물고, 느끼는 기계는 인간처럼 틀린다. 이 문제에 대한 답이 없는 상태에서, 우리는 AGI라는 새로운 이데올로기를 통한 사회공학적 실험에 함부로 던져져서는 안 된다. 과정을 생략한 도약이 어떻게 끝나는지, 20세기가 이미 보여주었다.

이 글을 두 사람의 대화로 듣는다.