. .. . ... . .... . .... . ... .
Hello, I'm Maneshwar. I'm building git-lrc, a Micro AI code reviewer that runs on every commit. It is...
개요 #
한 개발자가 Claude에게 점으로 된 단순한 퍼즐을 던졌다.
. .. . ... . .... . .... . ... .모델은 빠진 마지막 부분을 .. .이라고 답했고, 그 답은 정확했다. 단일 점은 구분자이고, 점 묶음의 개수가 2 3 4로 올라갔다가 4 3 2로 내려오는 대칭 구조였기 때문이다. 점 개수만 늘어놓으면 깔끔한 회문(palindrome)이 된다.
1 2 1 3 1 4 1 4 1 3 1 2 1여기서 의문이 생긴다. LLM은 다음 토큰을 예측할 뿐이라는데, 학습 데이터에 없었을 새 퍼즐을 어떻게 풀어냈을까. 원문 저자는 이 질문을 따라가며 흔히 쓰는 "그냥 다음 단어를 추측하는 자동완성"이라는 설명이 왜 부족한지 정리했다.
"다음 토큰 예측"은 목표지 방법이 아니다 #
모델이 다음 토큰을 예측하도록 학습한다는 말 자체는 맞다. 다만 사람들이 흔히 놓치는 지점이 있다. 그건 모델이 평가받은 목표일 뿐, 학습한 내용을 설명하는 말은 아니다.
저자는 시험만 보는 학생을 예로 든다. 학생이 하는 일은 시험 문제를 푸는 것뿐이지만, 수천 개의 다양한 문제에서 좋은 점수를 받으려면 답을 외우는 것만으로는 안 된다. 산수와 논리, 문제를 읽는 법을 실제로 익혀야 한다. 시험은 압력이고, 이해는 그 압력 아래에서 자란다.
LLM도 마찬가지다. 수조 개의 토큰(수학, 코드, 논증, 이야기, 퍼즐을 포함한 텍스트)에서 예측을 잘하려면 "X 다음에 Y가 온다"를 외우는 방식으로는 한계가 분명하다. 입력의 가짓수가 사실상 무한하고 거의 모든 입력이 처음 보는 것이기 때문이다. 이 규모에서 예측 오차를 줄이는 유일한 길은 일반화하는 내부 장치(세기, 비교하기, 대칭 인식, 패턴 잇기)를 갖추는 것이다.
압축에 빗대면 더 분명하다. 세상의 모든 책을 가장 작은 표현으로 압축하려면 원문 텍스트를 그대로 저장해서는 멀리 가지 못한다. 문법, 반복되는 서사 구조, 산수, 코드의 형태 같은 규칙성을 발견할 수밖에 없다. 그게 데이터를 가장 효율적으로 담는 방법이기 때문이다. 텍스트 예측 학습도 같은 압박을 가한다. 좋은 예측은 세계의 패턴을 압축한 내부 모델을 요구하고, 그래서 모델은 그걸 만들어낸다.
핵심은 하나다. 다음 토큰 예측은 학습 신호이고, 일반적인 능력은 그 신호를 만족시키려고 모델이 찾아낸 전략이다.
사실 이 퍼즐은 점에 관한 게 아니다 #
메커니즘으로 들어가기 전에 짚을 게 있다. 모델은 점을 보지 않는다. 토크나이저가 입력을 쪼갠 토큰을 볼 뿐이다. 그리고 어떻게 쪼개느냐는 중요하지 않다. 모델 입장에서 이 점 퍼즐은 아래 둘과 구조적으로 똑같기 때문이다.
A AA A AAA A AAAA A AAAA A AAA A1 2 1 3 1 4 1 4 1 3 1 ...점은 그저 겉모습이다. 모델이 실제로 다루는 건 추상적인 형태, 즉 구분자가 사이사이 끼어 있고 개수가 올라갔다 내려오는 수열의 구조다. 일반화가 가능한 이유가 여기 있다. 모델은 "점"에 패턴 매칭하는 게 아니라, 그 기호가 무엇이든 무관한 구조 위에서 작동한다.
흔한 설명이 통째로 빠뜨리는 것: 어텐션 #
"각 단어가 앞 단어와 관계 맺고, 그 관계는 학습 때 고정된다"는 그림에는 정작 핵심 메커니즘이 빠져 있다. 바로 **어텐션(attention)**이다. 현대 LLM이 모두 올라타 있는 트랜스포머 구조의 심장이다.
직관은 이렇다. 모델이 입력을 처리할 때 모든 위치가 다른 모든 위치를 "들여다보고" 서로 어떻게 관계되는지 계산한다. 이 특정 입력에 대해, 즉석에서 말이다. 학습 때 구워 넣은 고정된 조회표가 아니라, 엔터를 칠 때마다 새로 도는 계산이다.
점 퍼즐에서도 저장된 "점 퍼즐 정답" 같은 걸 꺼내온 게 아니다. 대략 이런 일이 벌어졌다.
- 반복되는 단일 점이 구분자 요소로 인식된다.
- 점 묶음들이 서로 비교된다.
- 올라갔다 내려오는 개수(
2, 3, 4, 4, 3, …)가 하나의 구조로 표현되고, 그 구조는 계속 내려가려는 성질을 갖는다.
이때 토큰 벡터는 단순히 "이 기호의 의미"가 아니다. 기하학적으로 다룰 수 있는 추상적 특징을 담는다. "이 수열을 뒤집어라" 같은 연산은 데이터가 적절한 공간의 벡터로 존재할 때 비로소 다룰 수 있게 된다. 세기와 반사가 마법이 아니라 표현 위에서 도는 산수가 되는 것이다.
깊이라는 차원도 빼놓을 수 없다. 어텐션은 한 번에 끝나는 패스가 아니라, 수십 개의 층을 거치며 표현이 다듬어진다. 층마다 추상화가 조금씩 더해진다. 어디까지나 느슨한 비유지만(어떤 층이 실제로 그렇게 "생각"하는 건 아니다) 이런 식이다.
- 앞쪽 층: "이 기호들이 반복된다."
- 중간 층: "묶음마다 단일 점 하나로 나뉜다."
- 뒤쪽 층: "전체가 대칭이다, 거울처럼 완성하면 된다."
어떤 층도 영어 문장을 들고 있지 않다. 다만 내부 벡터가 점점 더 높은 수준의 속성을 인코딩하면서, 그 학습된 공간 안에서 "회문을 완성하라"가 자연스러운 다음 수가 된다.
처음 보는 퍼즐인데 왜 풀릴까 #
이게 "어떻게 내 퍼즐을 풀었나"에 대한 진짜 답이다.
모델은 그 점 수열을 외운 게 아니다. 일반적인 연산(세기, 비교, 대칭 감지, 패턴 잇기)을 익혔고, 이 연산들이 조합되어 새 입력을 처리한다. 점을 주든 숫자를 주든 글자를 주든, "구조를 찾아 이어가라"는 같은 장치가 작동한다.
이 부분은 실제 연구로도 뒷받침된다. Anthropic 같은 해석 가능성(interpretability) 팀의 연구가 대표적이다. 이들은 패턴 잇기를 담당하는 구체적인 내부 회로를 찾아냈는데, 가장 유명한 예가 유도 헤드(induction head)다. 작동 방식은 본질적으로 "이 입력에서 앞서 A 다음에 B가 왔다, 여기 A가 또 나왔으니 B가 올 차례다"이다. 저장된 답을 떠올리는 게 아니라 새 패턴을 이어가게 만드는, 신경망 안에 실재하고 식별 가능한 부품이다.
이렇게 보면 점 퍼즐은 더 이상 신비롭지 않다. 그건 패턴이고, 모델은 패턴을 찾아 이어가는 장치를 가졌다. 그 장치가 패턴을 찾아 이어갔을 뿐이다.
개발자를 위한 결론 #
이 모델로 무언가를 만든다면 실질적인 교훈은 이렇다. 당신이 다루는 건 학습 데이터를 그대로 토해내는 화려한 자동완성이 아니다. 다음 토큰이라는 압력 아래에서 옮겨 쓸 수 있는 연산을 익힌 시스템이고, 그 연산을 처음 보는 입력에 적용한다.
이 재구성은 프롬프트를 짜는 방식, 이상한 출력을 디버깅하는 방식, 어디서 믿을 만하고 어디서 자신 있게 헛디딜지 가늠하는 방식을 바꾼다. "그냥 다음 단어를 예측할 뿐"이라는 말은 맞지만 쓸모없는 종류의 진실이고, 잘못된 직관으로 이어진다.
단순한 점 퍼즐 하나가 저자를 여기까지 찾아보게 만들었다.
이 글은 위 출처를 바탕으로 한국 독자를 위해 재작성한 기사입니다. 원문의 사실과 수치에 근거하며, 별도의 견해를 포함하지 않습니다.