Your AI Remembers Everything and Trusts All of It
I think we are still talking about AI memory in the wrong way. Most implementations are variations of...
개요 #
지금까지 나온 AI 메모리 구현은 대부분 같은 패턴을 반복한다. 이전 정보를 저장했다가 나중에 꺼내 프롬프트에 밀어 넣고, 그걸 기억이라 부른다. 개발자 marcosomma는 이 방식을 "집안 곳곳에 포스트잇을 붙여두고 이제 우리 집이 기억을 한다고 선언하는 것"에 비유한다.
그가 만든 프로토타입의 전제는 단순하다. 기억은 모델의 것이 아니라 모델을 둘러싼 시스템의 것이어야 한다. 오늘 Claude가 쓴 기록을 내일 GPT가 읽고, 다음 주에 로컬 모델이 반박하고, 6개월 뒤에 나올 모델도 "왜 이 멍청해 보이는 우회 코드가 존재하는지" 이해할 수 있어야 한다는 것이다.
작업을 이어갈수록 그의 관심사는 옮겨갔다. 흥미로운 문제는 기억 자체가 아니라 망각의 경제학이었다.
모델은 많이 안다. 다만 지난 화요일은 모른다 #
요즘 모델은 저자가 평생 배울 것보다 많은 프로그래밍 언어를 안다. 분산 시스템, 데이터베이스, React, Python, Rust, Kubernetes, 잘 알려지지 않은 RFC까지 꿰고 있다. 저자의 아키텍처가 왜 불필요하게 복잡한지 설명하는 방법도 열다섯 가지쯤 갖고 있을 것이다.
모르는 건 하나다. 지난주 화요일 이 프로젝트에서 무슨 일이 있었는지.
뻔한 해법은 이미 시도했다가 실패했다는 사실, 저 못생긴 인터페이스가 남아 있는 이유는 아직 세 개 저장소가 거기 물려 있기 때문이라는 사실, 임의로 보이는 저 컨벤션이 아무도 다시 하고 싶지 않은 두 시간짜리 논쟁의 결과라는 사실. 이런 정보는 모델 가중치에 들어갈 수 없다. 일반 지식이 아니라 작업이 만들어낸 상태, 즉 역사이기 때문이다.
저자는 여기서 RAG와 메모리의 차이가 선명해진다고 본다. RAG는 이미 어딘가 존재하는 정보를 꺼내온다. 문서, 코드, 티켓, 정책, 데이터베이스 레코드. 반면 메모리는 과정 자체가 만들어낸 정보를 보존해야 한다. 왜 B 대신 A를 골랐는지, C는 왜 실패했는지, D를 왜 참고 쓰는지, E 이후 무엇이 바뀌었는지, 어떤 가정이 임시였는지, 팀이 실수하고 나서 무엇을 배웠는지.
이런 건 대부분 문서가 아니다. 문서가 됐어야 하는데 끝내 되지 못한 정보들이다. 그래서 새 AI 세션은 매번 그 빈 역사를 처음부터 다시 발굴하며 비용을 치른다.
메모리를 에이전트 바깥으로 꺼냈다 #
프로토타입은 의도적으로 지루하다. 팀이 공유하는 작은 HTTP 메모리 허브가 있고, 기억은 구조화된 메타데이터가 붙은 평범한 마크다운 파일이다. 일반 지식과 프로젝트별 지식으로 나뉘어 있다. 각 AI 세션은 자기 MCP 서버를 통해 접근하는데, 도구는 세 개뿐이다. 뭐가 있는지 목록 보기, 필요한 걸 가져오기, 새로 쓰기.
Photo by Markus Winkler on Pexels
핵심은 MCP 배관이 아니라 경계다. 모델도, 클라이언트도, MCP 서버도 메모리 저장소가 아니다. 메모리는 그 셋 모두와 독립적으로 존재한다. 세션이 시작되면 작은 인덱스만 받는다. 전체 내용은 에이전트가 의식적으로 요청할 때만 컨텍스트에 들어온다.
잘못 설계한 메모리 아키텍처는 회사 역사 전체를 매 프롬프트마다 고래고래 외치는 값비싼 방식이 되기 쉽다. 저자는 그걸 "브랜딩만 잘한 컨텍스트 오염"이라 부른다. 에이전트는 과거가 존재한다는 사실만 알면 되지, 과거 전체를 매번 짊어질 필요는 없다.
여기서 메모리의 검색 경제가 생긴다. 인덱스는 싸고 세부 내용은 컨텍스트를 잡아먹는다. 다만 이 문장에는 못생긴 가정이 하나 숨어 있다. 에이전트가 올바른 기억을 골라 꺼내야 한다는 것. 현재 프로토타입은 그 선택을 인덱스의 설명문에 기대 모델에 맡긴다. 해결된 검색 시스템이 아니라 일부러 원시적으로 둔 베이스라인이다. 존재하지만 한 번도 검색되지 않는 기억은 사실상 잊힌 것이고, 무관한 기억을 끌어오는 건 단계만 늘어난 컨텍스트 오염이다. 그래서 검색 정밀도와 재현율은 "에이전트가 알아서 판단한다"는 말 뒤에 숨길 게 아니라 평가 항목이 되어야 한다.
외부 메모리 자체는 새로운 아이디어가 아니다. MemGPT는 이미 계층적 메모리와 가상 컨텍스트 관리로 장기 실행 에이전트를 설계했고, Letta는 그 노선을 상태 유지형 에이전트 플랫폼으로 밀고 나갔다. 공식 MCP 예제에도 지식 그래프 기반 영속 메모리 서버가 있다. 저자의 질문은 더 좁다. 메모리가 어시스턴트 단위가 아니라 팀 단위라면, 평문이라 클라이언트를 넘나들며 이식된다면, 모든 기억이 자동으로 권위를 갖는 대신 명시적 신뢰 상태를 달고 있다면 무엇이 달라지는가.
출처 없는 기억은 연금 받는 환각이다 #
에이전트가 영속 메모리에 쓰기 시작하면 곧바로 다음 문제가 온다. 다음 에이전트는 이전 에이전트가 쓴 걸 왜 믿어야 하나?
어떤 에이전트가 "이 컴포넌트에는 항상 Redis를 써라"라고 저장했다고 하자. 팀이 명시적으로 내린 결정인가, 지금 코드를 보고 추론한 건가, 임시 우회책인가, 아니면 자신만만하게 틀렸는데 세션이 끝나기 전에 저장돼버린 결론인가. 출처 없는 영속 메모리가 위험한 건 정확히 이 지점이다. 나쁜 정보가 대화와 함께 사라지지 않고 인프라 안에서 정년퇴직한 뒤 이후 에이전트들을 무기한 오도한다.
그래서 이 시스템에서 기억은 지시가 아니라 보고서다. 검토되지 않은 기억은 "에이전트 X가 Y 시점에 이게 사실이라고 말했다"는 뜻이다. 쓸모는 있지만 약한 증거라서, 중요한 결정을 좌우하기 전에 코드나 계획서나 사용자에게 확인해야 한다. 검토를 거친 기억은 더 강한 권위를 갖는다. AI가 그걸 수정하면 사람이 다시 승인하기 전까지 검토 상태는 사라진다. 모델이 승인된 역사를 조용히 고쳐 쓰면서 승인 배지까지 유지할 수는 없다.
여기에 뻔한 함정이 있다. 모든 기억에 사람 승인이 필요하다면 문서화 병목을 한 겹 뒤로 옮긴 것에 불과하다. 저자가 주장하려는 쓰기 측 경제성이 통째로 무너진다. 그래서 검토는 쓰기 경로가 아니라 승급 장치여야 한다. 에이전트는 낮은 신뢰도의 기억을 값싸게 만들고, 그중 프로젝트 가이드로 자리 잡을 소수만 사람의 검토를 소비한다. 이 신뢰 사다리가 확장될지는 아직 증명되지 않았지만, 적어도 경제 논리는 일관된다. 사람은 역사를 직접 쓰는 대신 권위를 큐레이션한다.
행정적인 이야기처럼 들리지만, 정보가 세션을 넘어 살아남는 순간 신뢰도 함께 살아남아야 한다. 쓸모 있는 기억에는 작성자, 나이, 맥락, 존재 이유, 그리고 진실 원본과의 관계가 붙어 있어야 한다. 반박 가능한 상태로 남아 있어야 한다. 그러지 않으면 우리가 만드는 건 조직 지식이 아니라 자신만만한 문장들의 데이터베이스다. 인터넷이 이미 그 둘이 같은 게 아니라는 걸 충분히 보여줬다.
기억은 늙는다 #
AI 메모리 데모가 하나같이 훌륭해 보이는 이유는 15분짜리이기 때문이다. 저장하고, 꺼내고, 모델이 기억하고, 다들 만족해서 집에 간다. 같은 시스템을 6개월 돌리면 그림이 달라진다. 프로젝트가 변하고, API가 옮겨가고, 사람들이 결정을 번복한다. 기억은 완벽하게 검색되면서도 완전히 거짓이 될 수 있다.
그래서 허브는 기억의 나이를 추적하고 오래된 것에 stale 표시를 붙인다. 코드에 관한 주장을 담은 기억이라면 현재 구현과 대조해 검증하라고 에이전트에 명시적으로 알린다. 오래된 기억을 자동 삭제하지는 않는다. 나이는 진실이 아니기 때문이다. 4년 된 아키텍처 결정이 시스템 절반의 생김새를 설명할 수도 있고, 오늘 아침에 생긴 기억이 벌써 헛소리일 수도 있다. 나이는 존재가 아니라 확신도에 영향을 줘야 한다.
이 지점에서 설계는 캐시 사고방식에서 멀어진다. 캐시는 "이 값을 아직 재사용해도 되나"를 묻는다. 메모리는 더 어려운 걸 묻는다. 지금 이걸 얼마나 믿어야 하나.
조직적 가치는 분명하다. 경제성은 아직 아니다 #
매력적인 그림은 쉽게 그려진다. 프로젝트에 합류해 AI 에이전트에게 "이 시스템은 왜 이렇게 생겼어?"라고 묻는다. 지금은 저장소를 훑어 무엇이 있는지 설명해준다. 메모리가 있다면 왜 그것이 존재하는지 설명할 수 있다. 왜 저 벤더를 걷어찼는지, 왜 그 마이그레이션이 엎어졌는지, "임시"라던 호환 레이어가 왜 3년 차에 접어들었는지.
시스템의 진짜 아키텍처는 코드에 일부만 드러난다. 나머지는 Slack 스레드, 회의, 버려진 브랜치, 그리고 "그거 건드리지 마세요, 이유가 있어요"라고 말하는 엔지니어 한 명에게 흩어져 있다.
문제는 우리가 이 병의 치료제를 20년째 팔아왔다는 것이다. 위키, Confluence, ADR, 사내 포털. 세대마다 이번엔 진짜 우리를 구원할 거라고 했다.
전부 같은 경제 문제에 부딪혔다. 문서를 쓰는 사람이 비용을 내고 미래의 누군가가 이익을 가져간다. AI 에이전트가 이 구조를 바꿀 여지가 있다. 에이전트는 일이 벌어지는 그 자리에 이미 있기 때문이다. 파일도 봤고, 실패한 접근도 봤고, 수정도 봤고, 결정이 바뀐 이유도 봤다. 압축된 기억 하나를 남기는 한계비용이 거의 0에 가깝다.
"AI가 문서를 읽을 수 있다"는 말보다 훨씬 흥미로운 지점이다. 사람이 나중에 전부 기록하는 대신, AI가 일하는 과정의 부산물로 역사의 흔적을 만들어낼 가능성. 그게 성립한다면 에이전트는 과거 지식관리 시스템들을 죽인 쓰기 측 경제성을 바꾸는 셈이다. 물론 "성립한다면"이라는 조건이 문장의 무게를 다 지고 있다. 저자도 증명하지 못했다고 못 박는다.
프로토타입이 증명한 것, 증명하지 못한 것 #
프로토타입은 처음부터 끝까지 작동한다. 외부 텍스트 메모리는 모델과 독립적으로 존재할 수 있다. 서로 다른 클라이언트가 같은 저장소를 쓴다. 새 세션에 기억을 선택적으로 주입할 수 있다. 쓰기는 구조적으로 검증되고, 출처는 인프라 차원에서 강제되며, 오래된 정보는 조용히 신뢰되는 대신 표면으로 드러난다. 기반이 성립한다는 건 증명됐다.
그 기반이 유용하다는 건 증명되지 않았다. 저자는 이 둘이 전혀 다른 주장이라고 선을 긋는다. 화요일에 데모 하나 만들고 수요일에 새로운 형태의 지능을 발표하는 일을 AI 엔지니어링이 충분히 겪었다는 것이다. 작동하는 메모리 API는 에이전트가 이전 상태를 꺼낼 수 있다는 것만 증명한다. 정작 중요한 주장은 그 상태가 존재해서 에이전트가 더 나은 결과물을 내느냐다.
메모리에는 비용이 따른다. 컨텍스트를 먹고, 검색은 지연을 더하고, 약한 기억은 추론을 편향시키고, 낡은 기억은 에이전트를 구식 가정으로 끌고 간다. 완벽하게 작동하는 메모리 계층이 어제의 실수를 오늘 세션으로 효율적으로 수입하는 시스템이 될 수도 있다. 메모리가 절약해주는 탐색과 수정 비용이 메모리 자체의 오버헤드보다 클 때만 이 아키텍처는 가치를 만든다.
저자의 가설이 바뀐 지점도 여기다. 처음엔 명백한 승리가 "더 싼 세션"일 거라 생각했다. 메모리를 갖춘 코딩 에이전트라면 저장소를 매번 다시 발굴하지 않아도 되니 토큰을 덜 쓸 거라고. 5분 넘게 생각해보니 그 그럴듯한 이론이 무너졌다.
진짜 비용은 탐색세일지도 모른다 #
메모리를 켠 세션은 오히려 토큰을 더 쓸 수 있다. 인덱스를 받고, 기억을 꺼내고, 출처를 해석하고, stale 표시된 주장을 검증하고, 그러고 나서 결국 같은 소스 파일을 뒤진다. API 지출만 재면 결과가 본전이거나 오히려 조금 나쁠 수도 있다. 다만 API 지출이 경제적 이득을 찾을 자리가 아닐 수 있다는 게 저자의 생각이다.
새로 시작한 코딩 에이전트는 저장소에 들어올 때마다 가벼운 직업성 기억상실 상태다. 코드를 뒤지고, 아키텍처를 재구성하고, 컨벤션을 발견하고, 뭔가 시도해보고, 왜 안 되는지 알아낸다. 그리고 내일 또 다른 세션이 와서 같은 고고학 발굴의 축소판을 반복한다.
비싼 건 그 탐색에 쓰인 토큰이 아니다. 사람이 같은 설명을 또 하는 것이다. 그 응답 포맷은 못 바꿉니다, 그 마이그레이션은 이미 해봤어요, 이 서비스는 고객사 제약 때문에 다르게 동작해요, 네 이상해 보이는 거 아는데요, 아니 리팩터링 좀 그만하세요.
어느 순간 깨닫게 된다. 조직은 이미 돈 주고 알아낸 정보를 다시 알아내려고 계속 돈을 쓰고 있다. 그게 **탐색세(exploration tax)**다. 메모리가 이걸 완전히 없앨 필요는 없다. 반복 조사, 헛발질, 사람의 교정을 자기 오버헤드를 정당화할 만큼만 줄이면 된다.
그래서 실험이 측정해야 할 것도 달라진다. 저자가 지금 신경 쓰는 비교는 같은 저장소, 같은 모델, 대응되는 작업을 두 조건에서 돌리는 것이다. 메모리 허브 켬과 끔. 토큰 사용량도 재지만, 수용 가능한 결과까지 걸린 실제 시간, 사람이 교정한 횟수, 같은 잘못된 길을 반복한 횟수, 에이전트가 이미 정해진 팀 결정을 어긴 빈도도 함께 잰다.
저자의 현재 예측은 자기 원래 주장에 다소 불리하다. 토큰 사용량은 본전이거나 조금 나빠지고, 대신 사람의 교정과 반복되는 아키텍처 실수는 줄어들 거라는 것. 그렇게 나온다면 API 청구서가 거의 그대로여도 메모리 시스템은 경제적으로 이득이다. 엔지니어 한 시간은 여전히 모델에게 천 토큰 더 읽히는 것보다 훨씬 비싸니까.
가장 강한 설득 문구는 "AI 세션이 싸집니다"가 아닐지도 모른다. 훨씬 덜 미래적이고 훨씬 쓸모 있는 쪽이다. AI 세션이 이미 끝난 논쟁을 다시 꺼내지 않게 됩니다.
앞당길 수 없는 실험 #
설득력 있게 위조할 수 없는 평가가 하나 있다. 시간이다.
지금 저장소는 어리고 비교적 깨끗하다. 흥미로운 실패 양상은 모순이 쌓이고, 두 에이전트가 같은 사건을 다르게 서술하고, 프로젝트가 저장소보다 빨리 변하고, 잘못된 가정 하나가 오래 살아남아 이후 다섯 개 기억이 거기 기대게 될 때 나타난다.
그 시점에서 시스템은 검색 계층이기를 그만두고 지식 유지보수 문제가 된다. 출처, 노후화, 통합, 모순 처리, 그리고 결국 망각까지 전부 중요해진다. 안타깝게도 --simulate-six-months-of-organizational-chaos 같은 벤치마크 스위치는 없다. 시스템이 실제 사용을 견디는지 알려면, 먼저 짜증날 만큼 늙어야 한다.
평문이라는 가장 지루한 결정 #
저자가 여전히 가장 흥미롭게 보는 부분은 이식성이다. 이 기억들은 평문이다. 모델별 은닉 상태도 아니고, 특정 임베딩 공간 안에서만 의미를 갖는 벡터도 아니고, "영속적 인지 표상" 같은 독자 규격도 아니다. 텍스트는 공격적으로 지루하고, 저자가 좋아하는 이유가 정확히 그것이다.
Claude가 만든 기억을 GPT가 읽는다. 로컬 모델이 거기 반대한다. 아직 존재하지 않는 모델이 같은 프로젝트 역사를 물려받는다. 그렇다고 모델들이 서로 교체 가능해지는 건 아니다. 모델마다 같은 기억을 다르게 해석하고, 다른 것에 주목하고, 다르게 추론하고, 다른 실수를 한다. 가중치는 여전히 어마어마하게 중요하다. 다만 모델이 바뀌어도 역사는 사라지지 않는다.
여기서 갈라지는 구분이 앞으로 점점 중요해질 거라고 저자는 본다. 모델은 교체 가능한 연산이 되고, 메모리는 지속되는 조직 상태가 된다. 기업들은 이미 제공자를 갈아타고, 로컬과 호스팅 모델을 섞고, 여러 에이전트가 같은 시스템에서 일하게 하고 있다. 상호운용성 이야기는 보통 도구와 프로토콜 층위에서 오간다. 공유 메모리도 그 층의 일부가 될지 모른다.
어쩌면 이건 AI 메모리 문제가 아니다 #
저자는 AI에게 더 나은 기억을 주는 방법을 고민하며 실험을 시작했다. 그런데 파고들수록 흥미로운 쪽은 AI가 아닌 것 같다는 생각이 들었다고 한다.
소프트웨어 팀은 왜 그런 결정을 내렸는지, 어떤 접근이 왜 실패했는지, 저 멍청해 보이는 구현이 왜 존재하는지를 잊는다. 더 깔끔한 버전이 이미 한 번 터졌기 때문이라는 사실도 함께 잊는다. 6개월 뒤 누군가 그걸 "고치고" 프로덕션에서 같은 문제를 재발견한다.
사람은 문서와 경험, 그리고 시체가 어디 묻혔는지 아는 엔지니어 한 명으로 버틴다. 새로 시작한 AI 세션에는 그 축적이 없다. 다만 에이전트는 일이 벌어지는 자리에 함께 있고, 다음 사람을 위해 구조화된 흔적을 남길 수 있다. 그 흔적이 검색 가능하고, 감사 가능하고, 이식 가능하고, 낡은 헛소리에 저항력이 있다면, 메모리는 어시스턴트 기능이기를 그만두고 인프라처럼 보이기 시작한다.
저자의 마무리는 담백하다. 인프라가 존재할 수 있다는 건 증명했다. 검색이 계속 신뢰할 만할지, 신뢰 모델이 확장될지, 조직이 절약하는 비용이 오버헤드를 넘을지는 증명하지 못했다. 그 부분엔 데이터와 모델 교체와 실사용, 그리고 자기 시스템이 자기가 틀렸다는 걸 갈수록 창의적으로 증명해내는 6개월이 필요하다.
이 글은 위 출처를 바탕으로 한국 독자를 위해 재작성한 기사입니다. 원문의 사실과 수치에 근거하며, 별도의 견해를 포함하지 않습니다.