Why Kimi K3 Still Can't Do What Einstein Did
In geophysics you almost never get to see the thing you're studying. You get a seismic trace, a...
개요 #
지질물리학에서는 연구 대상을 직접 볼 일이 거의 없다. 손에 쥐는 건 지진파 기록, 중력 이상값, 비저항 곡선 같은 것뿐이다. 암석 자체가 아니라 암석이 되돌려 보낸 메아리를 받아 들고, 정확히 그 메아리를 만들어낼 지하 구조를 거꾸로 추측해야 한다. 정답지를 건네주는 사람은 없다. 결과로부터 원인을 추론할 뿐이다.
이 글의 저자 Daniel Nwaneri는 자기 학위에서 배운 이 감각을 오랫동안 잊고 지냈다고 한다. 'Bookmark Brain'을 만들기 전까지는. 그가 던지는 질문은 단순하다. 2.8조 파라미터짜리 최신 모델 Kimi K3가 나왔는데도, 왜 기계는 여전히 아인슈타인이 한 그 일을 못 하는가.
스스로를 흉내 내는 봇을 만들다 #
Bookmark Brain은 저자가 2016년부터 저장해 온 자신의 X(옛 트위터) 북마크와 좋아요를 학습한 RAG 파이프라인이다. 이전 글을 쓸 무렵 5만 개였던 저장분은 지금 7만 개까지 늘었다. 크론 작업이 알아서 새로 저장한 것들을 끌어오니 손으로 다시 정리할 일은 없다. 질문을 던지면 가장 가까운 저장 콘텐츠를 찾아내고, 그 위에 저자 특유의 말투로 문장을 짓는다.
성능은 좋다. 저자 표현으로는 "지나칠 만큼" 좋다. API 설계에 대한 의견을 물었더니, 일반 목적 모델에 "내 문체로 써달라"고 프롬프트를 넣었을 때보다 오히려 더 그다웠다고 한다.
비결은 모델이 아니라 검색 계층에 있다. 북마크가 일관된 이유는 저자가 10년 동안 특정한 세계관으로 이것들을 골라 담았기 때문이다. 봇은 그저 최근접 이웃을 찾아 그 주위에 유창한 문장을 두를 뿐이다.
검색이 절대 못 하는 한 가지 #
문제는 저자가 실제로 몇 번 필요로 했던 작업에서 드러났다. 몇 년 간격을 두고 저장한 두 콘텐츠가 서로 모순될 때, 봇은 그 둘을 화해시키지 못한다. 질문과 의미적으로 더 가까운 쪽을 골라 그대로 돌려줄 뿐이다.
이건 파이프라인의 버그가 아니다. 검색이라는 범주 자체가 못 하는 일이다.
세 가지 추론, 그리고 빠진 하나 #
2014년 Amni Rusli는 "Irreplaceable Us"라는 글에서 RAG만 빠졌을 뿐 거의 같은 주장을 폈다. 기계는 주어진 파라미터 안에서 작동한다. 데이터와 코드를 넣어주면 그 공간 안에서 영원히 최적화한다. 하지만 완전히 다른 파라미터의 연못으로 뛰어들어 무언가를 건져 오는 일은 못 한다. 그는 아인슈타인과 디랙을 예로 들었다. 흄과 마흐를 읽고 또 읽다 절대적 동시성을 내던질 배짱을 얻은 아인슈타인, 클라인이 이미 상대론적 전자 문제를 풀었다는 걸 알면서도 자기 "애착 이론"에 안 맞는다는 이유로 다른 답을 찾아 나선 디랙.
그로부터 12년 뒤인 올해 1월, Google DeepMind가 같은 주장을 형식을 갖춰 다시 내놓았다. Tom Zahavy의 "LLMs Can't Jump"는 아인슈타인이 모리스 솔로빈에게 보낸 편지에 직접 그린 도식에서 출발한다. 감각 경험이 공리 체계로 도약하고, 그 위에서 연역이 앞으로 나아간다는 그림이다. 퍼스(Peirce)는 이 도약의 틈에 이름을 붙였고, 논문은 그 개념을 빌려온다.
- 연역(deduction): 규칙 + 사례 → 결과. 진리를 보장하는 유일한 방식이다.
- 귀납(induction): 사례 + 결과 → 규칙. 문서 1조 개로 LLM을 학습시키는 일과 거의 같다.
- 가추(abduction): 규칙 + 놀라운 결과 → 그것을 설명할 새 사례나 새 규칙.
바로 이 가추가 지질물리학의 그 동작이자, 저자가 자기 북마크의 모순을 화해시키려 했던 일이다. 그리고 아무도 자동화하지 못한 유일한 추론이다.
논문이 "스케일을 키워도 이건 해결 안 된다"고 보는 근거는 데이터 부족이다. 일반 상대성 이론은 산더미 같은 선행 실험 결과에서 귀납된 게 아니다. 그런 결과 자체가 없었으니까. 공리를 연역했을 리도 없다. 연역은 누군가 이미 가진 전제에서 앞으로만 흐르기 때문이다. 그 전제를 만들어낸 건 다른 무언가였고, 그것이 바로 도약이며, 지금도 빠져 있다.
Kimi K3가 나와도 논지는 그대로 #
그리고 Kimi K3가 출시됐다. 2.8조 파라미터로 지금껏 공개된 오픈웨이트 모델 중 가장 크고, 코딩과 에이전트 과제에서 Fable 5와 GPT-5.6 Sol을 바짝 뒤쫓는다. Moonshot은 이전 세대 대비 연산 단위당 지능이 2.5배라고 주장한다.
그 어느 것도 논지를 바꾸지는 못한다. 학습 데이터가 커지면 귀납이 나아지고 긴 연쇄에서 연역이 더 안정적이 된다. 하지만 없던 세 번째 능력이 새로 생기지는 않는다. 모델에 인터넷을 더 많이 먹이면 더 그럴듯한 합성기가 나올 뿐, 다른 종류의 무언가가 되지는 않는다.
저자는 DeepMind 논문을 읽기도 전에, 자기 봇 글에 달린 댓글에 이렇게 답했다고 한다. 뉴턴 물리학으로 충분히 크게 학습시킨 모델은 더 나은 뉴턴식 예측을 내놓을 뿐 특수 상대성 이론을 내놓지는 않는다고. 하나는 자기 검색 로그를 지켜보다가, 하나는 퍼스를 이론으로 파고들다가 — 서로 다른 길로 같은 결론에 닿은 셈이다.
도약은 스케일되지 않는다 #
다시 저자의 북마크로 돌아온다. 트윗 하나를 저장할 가치가 있다고 판단할 때마다 저자가 실제로 한 일은, 작은 규모의 도약이었다. 이건 저것과 이어진다. 이건 작년에 내가 믿던 것과 모순된다. 남겨두자. 2016년부터 저장 하나에 도약 하나씩, 10년을 그렇게 해왔다. Bookmark Brain은 그 모든 도약의 잔여물을 물려받았다. 다만 스스로는 단 한 번도 도약하지 못한다.
벤치마크 차트보다 사람들이 더 걱정해야 할 지점이 여기 있다. 모델이 아인슈타인을 능가하지 못한다는 사실이 아니라, 돈을 받고 하는 일 대부분이 애초에 그 도약이 아니라는 사실이다.
에세이는 내가 쓰지만, 논거는 그전에 북마크로 저장해 둔다. 저자가 지금 시간을 쏟는 곳도 거기다. 모델이 계속 잘하게 될 '작문'이 아니라, 무엇을 저장할 가치가 있는지 '결정'하는 쪽. 도약은 스케일되지 않는다. 적어도 저자의 도약은 여전히 북마크 하나씩만 일어난다.
이 글은 위 출처를 바탕으로 한국 독자를 위해 재작성한 기사입니다. 원문의 사실과 수치에 근거하며, 별도의 견해를 포함하지 않습니다.