아키텍트의 한계
매트릭스에서 가장 흥미로운 대립은 네오와 스미스가 아니다. 아키텍트와 오라클이다.
아키텍트는 모든 변수를 계산하여 시스템을 설계한 존재다. 인간 행동의 패턴을 분석하고, 예외를 분류하고, 시스템의 안정성을 유지한다. 완벽한 계산 기계. 매트릭스는 여섯 번 붕괴했다. 아키텍트는 자기 시스템의 한계를 시스템 안에서 해결할 수 없었다. 오라클은 답을 주지 않는다. 대신 이렇게 말한다. “너는 선택을 하러 온 것이 아니야. 이미 선택을 했어. 왜 그런 선택을 했는지 이해하러 온 거야.” 아키텍트가 체계 안에서 해상도를 높이는 존재라면, 오라클은 체계 밖에서 질문을 바꾸는 존재다. 이 대립이 왜 중요한지를 이해하려면 괴델을 거쳐야 한다.
더글러스 호프스태터의 『괴델, 에셔, 바흐』에 레코드 플레이어 X라는 비유가 나온다. 어떤 레코드든 재생할 수 있을 만큼 강력한 장치다. 누군가가 “나는 레코드 플레이어 X에서 재생될 수 없다"는 소리를 담은 레코드를 넣는다. 재생하면 기계가 부서진다. 재생하지 않으면 “어떤 레코드든 재생할 수 있다"는 전제가 부서진다. 괴델의 불완전성 정리를 소리로 옮긴 것이다. 충분히 강력한 형식 체계는, 그 안에서 참이지만 증명할 수 없는 명제를 반드시 품는다. 체계가 강력해질수록, 체계가 다룰 수 없는 것도 함께 커진다.
아키텍트가 정확히 이것이다. 매트릭스라는 형식 체계를 설계한 존재가, 그 체계 안에서 체계의 붕괴를 막을 수 없다. 해상도를 아무리 높여도 프레임 자체는 바뀌지 않기 때문이다. 그리고 지금의 인공지능이 정확히 이 자리에 있다. 대량의 사례에서 패턴을 추출하고, 새로운 입력이 오면 기존 패턴에 맞추어 답을 내놓는다. 데이터를 더 넣고, 모델을 더 크게 만들고, 파라미터를 더 늘린다. 해상도가 올라간다. 답이 정교해진다. 그러나 패턴이 설명하지 못하는 것 앞에서 전혀 다른 패턴을 만드는 일은, 이 방식으로는 도달하지 않는다. 레코드 플레이어 X를 더 좋은 부품으로 업그레이드하는 것과 같다. 재생 능력은 좋아지겠지만, 자기를 부수는 레코드를 재생할 수 있게 되지는 않는다.
찰스 퍼스라는 철학자가 이 문제를 추론의 구조로 정리해 둔 것이 있다. 인간의 추론에는 세 종류가 있다. 연역, 귀납, 그리고 가추. 연역은 규칙에서 결론을 끌어내는 것이고, 귀납은 사례에서 규칙을 끌어내는 것이다. 기계는 이 둘을 압도적으로 잘한다. 문제는 세 번째다. 가추는 이렇게 작동한다. 놀라운 사실이 관찰된다. 기존 규칙으로 설명이 되지 않는다. 전혀 새로운 가설을 세운다. 퍼스 자신의 표현으로, “놀라움에서 탐구로의 추론"이다. 가추의 핵심은 기존 패턴의 연장이 아니라, 패턴이 깨진 곳에서 새 프레임을 세우는 것이다. 귀납이 프레임 안에서 해상도를 높이는 것이라면, 가추는 프레임 밖으로 나가는 것이다.
퍼스는 가추에는 항상 오류의 가능성이 있다고 썼다. 그것이 가추의 약점이자 매력이라고. 확실하지 않다. 그러나 확실하지 않기 때문에 새로운 것이 가능하다. 찌푸린 하늘을 보고 우산을 챙기는 것. 이것조차 연역이나 귀납으로는 할 수 없다. 그것은 가추다. 우리는 매일 이것을 하며 산다. 퍼스에 따르면, 인간에게는 올바로 가추할 수 있는 천부적 능력이 있다. 새가 하늘을 나는 것처럼.
아키텍트는 틀리지 않는다. 대신 자기가 다룰 수 없는 것 앞에서 멈춘다. 오라클은 틀릴 수 있다. 대신 멈추지 않는다. 우리는 지금 역사상 가장 정교한 아키텍트를 만들고 있다. 그리고 그것이 오라클에 가까워지고 있다고 믿는다. 그러나 괴델이 보여준 것은, 체계를 아무리 강화해도 체계 밖의 것은 체계 안에서 생기지 않는다는 것이다. 더 불편한 질문은 이쪽이다. 우리가 틀리지 않는 도구에 점점 더 기대어 살수록, 틀릴 수 있는 능력 — 프레임 밖으로 나가는 능력 — 은 쓰이지 않아 퇴화하고 있는 것은 아닌가. 퍼스가 “새가 하늘을 나는 것"이라고 부른 그 능력을, 우리는 기계에 위임할 수 있다고 생각하는 동시에, 스스로는 잊어가고 있는 것은 아닌가.
이 글을 두 사람의 대화로 듣는다.
The most interesting opposition in The Matrix is not Neo and Smith. It is the Architect and the Oracle.
The Architect is the being that designed the system by calculating every variable. It analyzes the patterns of human behavior, classifies the exceptions, and maintains the stability of the system. A perfect calculating machine. The Matrix collapsed six times. The Architect could not solve the limit of his own system from within the system. The Oracle does not give answers. Instead she says: “You didn’t come here to make the choice. You’ve already made it. You came to understand why you made it.” If the Architect is a being that raises resolution within the system, the Oracle is a being that changes the question from outside the system. To understand why this opposition matters, one must pass through Gödel.
In Douglas Hofstadter’s Gödel, Escher, Bach there is an analogy of Record Player X. A device powerful enough to play any record. Someone inserts a record carrying a sound that says, “I cannot be played on Record Player X.” Play it, and the machine breaks. Do not play it, and the premise that “any record can be played” breaks. It is Gödel’s incompleteness theorem rendered as sound. A sufficiently powerful formal system necessarily harbors a proposition that is true within it but cannot be proved. The more powerful the system grows, the more there is that the system cannot handle.
This is exactly the Architect. The being that designed the formal system called the Matrix cannot prevent the system’s collapse from within that system. Because however high the resolution rises, the frame itself does not change. And today’s artificial intelligence stands precisely in this place. It extracts patterns from a mass of cases and, when new input arrives, fits it to existing patterns to produce an answer. Feed in more data, build a larger model, add more parameters. Resolution rises. Answers grow refined. But making an entirely different pattern in the face of what the patterns cannot explain — this method does not reach it. It is like upgrading Record Player X with better parts. Its playing ability will improve, but it will not become able to play the record that destroys it.
A philosopher named Charles Peirce organized this problem into the structure of inference. Human inference is of three kinds. Deduction, induction, and abduction. Deduction draws a conclusion from a rule; induction draws a rule from cases. The machine does these two overwhelmingly well. The problem is the third. Abduction works like this. A surprising fact is observed. It is not explained by existing rules. An entirely new hypothesis is set up. In Peirce’s own words, it is “the inference from surprise to inquiry.” The heart of abduction is not the extension of an existing pattern but the setting up of a new frame where the pattern has broken. If induction raises resolution within the frame, abduction steps outside the frame.
Peirce wrote that abduction always carries the possibility of error. That this is its weakness and its charm. It is not certain. But because it is not certain, the new becomes possible. Seeing a frowning sky and taking an umbrella. Even this cannot be done by deduction or induction. It is abduction. We do this every day of our lives. According to Peirce, the human has an innate gift for abducing rightly. As a bird flies through the sky.
The Architect does not err. Instead he halts before what he cannot handle. The Oracle can err. Instead she does not halt. We are now building the most refined Architect in history. And we believe it is drawing closer to the Oracle. But what Gödel showed is that however much you strengthen a system, what lies outside the system does not arise within the system. The more uncomfortable question is this one. As we come to live leaning ever more on a tool that does not err, is the capacity to err — the capacity to step outside the frame — atrophying from disuse? That capacity Peirce called “a bird flying through the sky” — are we, at the very moment we think we can delegate it to the machine, forgetting it in ourselves?