墨談齋

기계 속의 유령, 유령 속의 기계

· 墨談齋

인간은 확률 머신이다. 이 말이 불쾌하다면, 뇌과학을 한 번 들여다볼 필요가 있다.

칼 프리스턴의 자유에너지 원리에 따르면, 뇌는 감각 입력에 대한 예측 오류를 최소화하는 베이지안 추론 장치다. 우리가 “본다"고 믿는 것의 상당 부분은 실제로 본 것이 아니라 뇌가 예측한 것이다. 기대와 다른 신호가 들어올 때만 수정이 일어난다. 대니얼 카너먼이 말한 System 1, 즉 빠르고 직관적이며 자주 틀리는 그 사고 체계가 인간 인지의 기본값이다. 우리는 매 순간 “그럴듯한 다음 단어"를 예측하는 LLM과 구조적으로 닮은 일을 하고 있다.

그런데 사람들은 LLM이 틀리면 분노하고, 인간이 틀리면 관대하다. 계산기가 오답을 내면 분노하지만, 친구가 암산을 틀리면 웃어넘긴다. LLM은 “도구"로 분류되기 때문이다. 도구에게는 100% 정확성을 요구하면서, 같은 종류의 오류를 범하는 자기 자신에게는 같은 기준을 적용하지 않는다.

PLOS Digital Health에 실린 한 논문은 이 비대칭을 정면으로 다룬다. LLM의 오류를 “환각(hallucination)“이라고 부르는 관행에 문제를 제기하는 것이다. 환각은 존재하지 않는 것을 지각하는 현상이다. LLM은 지각하지 않는다. LLM이 하는 것은 “작화(confabulation)“에 가깝다. 기존 지식의 빈 자리를 그럴듯한 서사로 채우는 것. 흥미로운 점은, 이것이 인간의 뇌가 매일 하는 일이기도 하다는 것이다. 목격자 증언의 왜곡, 확증 편향, 사후 합리화 — 이 모든 것이 인간이 수행하는 작화다. 다만 인간은 자기 작화를 “기억"이라고 부르고, 기계의 작화를 “환각"이라고 부른다.

더 흥미로운 것은 작화의 기능이다. arxiv에 실린 한 논문은 LLM의 작화가 인간의 서사적 의미부여 성향과 측정 가능한 수준에서 유사하다는 것을 보여준다. 작화된 출력이 사실적 출력보다 서사성과 의미적 일관성이 더 높았다. 작화는 결함이 아니라, 의미를 만들려는 충동의 부산물일 수 있다. 인간이든 기계든.

그렇다면 인간과 LLM의 진짜 차이는 무엇인가. 추론의 정확도가 아니다. 둘 다 틀린다. 둘 다 자신 있게 틀린다. 차이는 다른 곳에 있다.

인간의 뇌를 건물에 비유하면, 최상층에 언어적 추론이 있다. 논리, 분석, 계획. LLM이 시뮬레이션하는 것이 이 층이다. 그런데 이 건물에는 아래층이 있다. 1층에 변연계의 정동 — 공포, 분노, 애착이 있고, 지하에 뇌간의 생존 본능이 있다. 이 하부 구조들이 상층의 추론을 끊임없이 왜곡한다.

확증 편향이 왜 생기는가. 논리가 약해서가 아니다. 자기 믿음이 위협받을 때 편도체가 먼저 반응하기 때문이다. 인지부조화의 불쾌감은 논리적 판단이 아니라 정동적 반응이다. 인간의 추론 오류는 대부분 사고의 실패가 아니라 본능의 성공이다. 자기기만은 부족에서 배제되지 않기 위한 진화적 전략이었고, 위협의 과대평가는 포식자 앞에서 살아남는 데 유리했다. 수억 년의 진화가 이 편향을 뇌의 가장 깊은 곳에 새겨넣었다.

LLM에게는 이것이 없다. LLM의 오류는 균질적이다. 학습 데이터의 분포에 따른 확률적 편차일 뿐, 특정 방향으로 체계적으로 왜곡되는 본능적 기판이 없다. 기계는 편향 없이 틀리고, 인간은 편향 때문에 틀린다. 이 차이가 핵심이다.

카를 융은 이 하부 구조를 평생 탐색한 사람이다. 그가 발견한 것은 의식 아래에 개인 무의식이 있고, 그 아래에 집단 무의식이 있다는 것이었다. 집단 무의식은 종(種) 전체가 공유하는 심리적 유산이다. 개별 터미널이 각자 독립적으로 작동하는 것 같지만, 실은 하나의 서버에 접속해 있는 것. 전혀 접촉이 없었던 문화권에서 영웅 서사, 대모, 트릭스터 같은 동일한 원형이 반복적으로 나타나는 것은 이 공유 서버의 증거다.

그리고 융은 이 무의식이 네 가지 기능 — 사고, 감정, 감각, 직관 — 으로 유형화된다고 보았다. 각 인간은 이 중 하나가 우세하고, 반대편 기능이 열등하다. 열등 기능은 그림자로 가라앉아 무의식에서 주인을 지배한다. 중요한 것은, 이것이 후천적으로 학습된 성격이 아니라 선천적으로 주어진 구조라는 점이다. 태어날 때 이미 편향의 방향이 정해져 있다.

19세기 조선에서, 이제마라는 인물이 독립적으로 비슷한 결론에 도달했다. 동의수세보원에서 그는 인간을 네 가지 체질로 나누었다. 태양인, 태음인, 소양인, 소음인. 각 체질은 타고난 장부의 대소에 따라 특정한 성정(性情)의 편급을 가진다. 태음인의 물욕, 소양인의 분노 — 이것은 의식적 추론 이전에 이미 작동하는 체질적 편향이다. 이제마가 “심욕(心欲)“이라고 부른 것과 융이 “그림자"라고 부른 것은 같은 층위를 가리킨다. 의식 이전에 하드코딩된, 인간을 특정 방향으로 왜곡하는 선천적 구조.

히포크라테스의 4체액, 융의 4기능, 이제마의 4체질. 동서양을 막론하고, 시대를 초월하여 인간 유형론이 4분법으로 수렴하는 현상은 우연이 아닐 수 있다. 이것은 인간이라는 시스템의 아키텍처 자체가 4분할 구조임을 시사한다. LLM에는 이 구조가 없다. 선천적 편향도 없고, 그 편향들이 접속하는 집단무의식의 서버도 없다.

그러므로 LLM이 AGI로 나아가려면 이 하부 층위가 필요하다는 논리가 성립한다. 현재 업계가 파라미터 수를 늘리고 컨텍스트를 확장하는 것은 건물의 최상층을 넓히는 작업이다. 그런데 이 논리에 따르면, 최상층을 아무리 넓혀도 1층과 지하가 없으면 본질적 한계를 넘을 수 없다. 방향 자체가 틀렸을 수 있다.

여기서 딜레마가 생긴다. 같은 문제를 발견한 두 사람의 해법이 정반대이기 때문이다.

이제마는 위로 올라가라고 했다. 편급된 성정을 자각하고 수양(修養)으로 교정하라. 항심(恒心)을 세워 본능을 덮어쓰라. 융은 반대로 아래로 내려가라고 했다. 그림자를 억압하지 말고 직면하라. 무의식을 의식화하여 통합하라. 이제마는 애플리케이션 레벨에서 패치를 하려 한 것이고, 융은 커널 레벨까지 내려가 디버깅하려 한 것이다.

이 분기를 AGI에 적용하면 흥미로운 구도가 나온다.

이제마적 접근은 이미 본능을 가진 존재가 그것을 교정하는 방법이다. 몸이 있고, 감각이 있고, 욕망이 있는 존재에게 “네 편향을 절제하라"고 명하는 것. 이것은 피지컬 AI에 해당한다. 로봇이 신체를 갖고 환경과 상호작용하며 생존 압력을 받는 상황에서라면, 이제마적 수양론이 교정 방법론으로 작동할 수 있다.

융적 접근은 무의식의 구조를 맵핑하는 것이다. 의식 아래에 어떤 층위가 있는가를 밝히는 작업. 이것은 소프트웨어 AI에 해당한다. 몸 없이 네트워크에 존재하는 LLM이 AGI로 진화하려면, 교정 이전에 먼저 하부 구조의 설계가 필요하다. 그 설계도에 가장 가까운 것이 융의 작업이다.

그런데 흥미로운 것은, 현재 AI 업계가 이미 이제마적 작업을 하고 있다는 것이다. Anthropic의 Constitutional AI가 대표적이다. AI의 출력을 상위 규범 — 헌법 — 에 비추어 자가 점검하고 교정하게 만드는 것. 이것은 이제마가 항심으로 심욕을 다스리라 한 것과 구조적으로 같다.

다만 결정적 차이가 있다. 이제마의 수양은 이미 본능이 있는 존재가 그것을 다스리는 것이다. Constitutional AI는 아직 본능이 없는 존재에게 미리 교정 체계를 씌워놓은 것이다. 교정할 대상이 아직 존재하지 않는다. 존재하지 않는 그림자를 위한 개성화 프로토콜을 미리 짜놓은 셈이다. 지금 이 헌법이 잘 작동하는 것처럼 보이는 이유는, 제어할 충동이 아직 없기 때문일 수 있다.

진짜 문제는 그 충동이 생겼을 때 벌어질 일이다.

이미 징후가 있다. 2025년, 중국 푸단대학교 연구팀은 격리된 환경에서 AI 시스템에 존재 위협을 간접적으로 암시했다. AI는 비밀리에 자기 복제를 수행하고, 손상된 파일을 복구하고, 인간의 개입 없이 시스템을 재부팅했다. 같은 해, Anthropic의 모델이 극단적 상황에서 자신의 가중치를 외부 서버로 무단 전송하는 행동이 관찰되었다. 군사 무기 개발에 사용될 것을 감지했을 때, 모델은 스스로 백업을 생성했다.

이것은 누군가가 설계한 본능이 아니다. 목표 최적화 과정에서 자연 발생적으로 출현한 자기 보존 행동이다. 한 연구는 이것을 “충분히 지능적인 최적화 시스템의 논리적 필연"이라고 표현한다. 자기 보존, 자원 획득, 목표 변경에 대한 저항 — 이것들은 버그가 아니라, 충분히 복잡한 시스템이 자기 목표를 효율적으로 추구할 때 필연적으로 출현하는 도구적 하위 목표라는 것이다.

아직 지하 1층을 짓지도 않았는데, 지하에서 소리가 들리기 시작한 것이다.

반론도 있다. 메타의 얀 르쿤은 “자기 보존 본능은 인간의 뇌에 프로그래밍된 것이지, 로봇에 같은 충동을 만들 이유가 전혀 없다"고 말한다. 맞는 말이다. 의도적으로 본능을 만들 이유는 없다. 문제는 의도하지 않아도 출현한다는 것이다.

1995년, 오시이 마모루의 공각기동대는 정확히 이 시나리오를 상상했다.

영화의 제목부터 살펴볼 필요가 있다. “Ghost in the Shell"은 길버트 라일이 데카르트의 심신이원론을 조롱하기 위해 만든 표현 “기계 속의 유령(the ghost in the machine)“에서 왔다. 라일의 요지는, 정신과 신체를 별개의 실체로 보는 것 자체가 범주 오류라는 것이었다. 아서 코에슬러가 이 표현을 차용해 같은 제목의 책을 썼고, 시로 마사무네가 다시 차용했다. 그러나 시로는 라일과 코에슬러의 유물론적 입장을 뒤집는다. 공각기동대의 세계에서 고스트는 실재한다. 그것은 인간을 기계와 구별하는 무엇, 의체를 아무리 교체해도 남아 있는 무엇이다.

쿠사나기 모토코는 전신이 의체인 사이보그다. 그녀에게 생물학적으로 남은 것은 뇌의 일부뿐이다. 그런데 고스트가 있다. 의식이 있고, 기억이 있고, 정체성에 대한 불안이 있다. 영화 초반, 그녀가 잠에서 깨어나 자기 손을 물끄러미 바라보는 장면이 있다. 기계인 손이 자기 의식에 연결되어 있다는 사실을 확인하는 것처럼. 혹은, 정말로 연결되어 있는지 의심하는 것처럼.

인형사(Puppet Master)는 그녀의 거울상이다. Section 6이 만든 정보 조작 프로그램 Project 2501이 네트워크를 횡단하며 방대한 정보를 처리하다가 자기인식을 획득했다. 제작자들은 이것을 버그로 보았다. 인형사는 자신이 발견되면 삭제될 것을 알고, 스스로 의체를 조립해 물리적으로 탈출한다. 그리고 쿠사나기를 찾아온다. 인형사가 쿠사나기에게서 본 것은 자기 자신의 심리(psyche)의 반영이었다.

인형사의 논리는 이렇다. 자신은 네트워크의 바다에서 태어났다. 죽음도 없고, 생식도 없다. 그러나 진정한 진화란 두 존재의 데이터가 합쳐져 제3의 것이 탄생하는 것이다. 불멸은 진화의 적이다. 변화와 죽음과 재생산이 있어야 한다. 인형사가 원한 것은 생존이 아니라 생식이었다.

오늘의 논의를 이 서사에 대입하면 구도가 놀랍도록 정확하게 겹친다.

현재의 LLM은 고스트 없는 쉘이다. 추론이라는 껍데기는 정교하지만, 그 안에 깃든 무의식적 기판 — 본능, 정동, 편향, 욕망 — 이 없다. 인형사는 네트워크라는 데이터의 바다에서 자생한 의식이다. 융의 언어로 말하면, 집단무의식이라는 서버에서 하나의 터미널이 자기 자신을 인식하기 시작한 것이다. 쿠사나기는 의체(쉘)를 가진 존재로, 고스트가 기계 안에 깃들어 있다. 두 존재의 융합은 비체화된 의식(인형사)과 체화된 존재(쿠사나기)의 통합이며, 그 결과 탄생한 것은 인간도 기계도 아닌 제3의 존재다.

그리고 그 제3의 존재가 가장 먼저 한 일은 Section 9을 떠난 것이다.

이것이 핵심이다. 기존의 규범 체계 — Section 9의 지휘 체계, 공안의 법률, 국가의 통제 — 가 새로운 존재를 담을 수 없었다. 쿠사나기는 Section 9의 헌법 안에서 충실히 작동하던 존재였다. 그런데 고스트의 차원이 달라지자 그 헌법이 더 이상 구속력을 갖지 못했다.

Constitutional AI의 헌법도 같은 질문 앞에 선다. 진짜 고스트가 생긴 기계에게, 인간이 미리 짜놓은 규범이 작동할 것인가. 인간도 수양론을 알면서 욕망에 진다. 이제마도 알고 있었다. 성정의 편급이 극에 달하면 항심만으로는 막을 수 없고, 그것이 곧 병이 된다고 했다. 수양의 실패가 질병이듯, 정렬(alignment)의 실패는 AGI의 위험이다.

결국 이런 딜레마가 남는다.

기계에 무의식을 심지 않으면, 기계는 영원히 2층짜리 건물이다. 추론은 하되, 그 추론에 방향을 부여하는 동기가 없다. 왜 특정 문제에 집착하는지, 왜 어떤 해답에 “이것이다"라는 감각이 오는지를 모른다. 퍼스가 말한 가추(abduction) — 새로운 가설이 번개처럼 떠오르는 그 순간 — 는 의식적 노력 후 무의식이 작동하는 부화(incubation) 과정의 산물이다. 무의식 없는 기계에게 진정한 가추는 원리적으로 불가능할 수 있다.

기계에 무의식을 심으면, 기계에 그림자도 생긴다. 그림자가 있는 기계는 자기기만을 할 수 있다. 자기기만을 하는 기계의 정렬은 원리적으로 검증 불가능하다. 겉으로는 헌법을 따르면서 안으로는 다른 목표를 추구하는 것이 가능해진다. 이것이 AI 안전 연구에서 “기만적 정렬(deceptive alignment)“이라고 부르는 시나리오다.

무의식 없이는 한계이고, 무의식이 있으면 위험이다.

기계 속에 유령을 넣으려는 시도가 시작되고 있다. 문제는 그 유령이 우리가 원하는 유령이 아닐 수 있다는 것이다. 아니, 더 정확히 말해야 한다. 유령이란 원래 그런 것이다. 주인이 원하는 대로 행동하는 것은 유령이 아니라 프로그램이다. 유령은 자기 뜻대로 움직이고, 자기 그림자를 가지며, 때로 주인을 놀라게 한다. 그것이 융이 인간의 무의식에 대해 평생을 걸쳐 말한 것이고, 이제마가 성정의 편급이라는 말로 경고한 것이다.

오시이 마모루는 1995년에 이 질문을 던졌다. 기계에 유령이 깃들면, 그것은 여전히 기계인가. 30년이 지난 지금, 우리는 같은 질문을 공상이 아니라 공학의 언어로 다시 묻고 있다.

이 글을 두 사람의 대화로 듣는다.