The "AI" Badge Doesn't Measure What You Think It Does
Anthropic signed the EU AI Act's Code of Practice on Transparency of AI-Generated Content, and...
개요 #
Anthropic이 EU AI Act의 'AI 생성 콘텐츠 투명성 실천 강령'에 서명하고, Claude가 만든 텍스트에 눈에 보이지 않는 통계적 워터마크를 넣기 시작했다. 발표 며칠 만에 개발자 Pascal CESCATO의 피드에는 같은 사건을 정반대로 읽는 글 두 편이 나란히 올라왔다.
한쪽은 Anthropic 공식 문서를 직접 읽고 정리한 글이었다. 워터마크는 텍스트 전체가 AI로 만들어졌다는 증거가 아니다. 사람이 직접 쓴 글을 Claude에게 교정이나 번역만 맡겨도 표식은 남는다. 반대로 워터마크가 검출되지 않았다고 해서 사람이 전부 썼다는 증명도 되지 않는다.
다른 한쪽은 Medium에 올라온 글이었다. 이번 발표를 AI 창작 커뮤니티를 향한 "핵폭탄"이라 부르고, "당신은 사실상 디지털 주홍글씨를 달고 다니는 셈"이라고 단언했다. 공식 문서 인용은 없었다. 분노와 느낌표만 있었다.
사람들이 자꾸 뒤섞는 세 가지 #
Medium 글은 서로 거의 관계없는 세 가지 장치를 아무 구분 없이 한데 묶었다.
Anthropic의 워터마크. 모델에 내장된 통계 신호다. 문서화돼 있고, 한계도 스스로 밝힌다. 충분히 편집하거나 번역하면 사라질 수 있고, 표식이 있다고 해서 그 아이디어를 누가 냈는지는 전혀 알려주지 않는다.
서드파티 소비자용 탐지기. ZeroGPT 같은 도구들이다. Anthropic과 무관하게 몇 년 전부터 있었고, 대규모로 신뢰성이 제대로 입증된 적이 없다.
플랫폼의 정책 결정. Medium에 붙는 배지, 표시된 글을 노출에서 불이익 주는 큐레이션 알고리즘. 워터마크의 기계적 귀결이 아니라 플랫폼마다 다른 편집 정책이다.
Medium 글은 첫 번째가 두 번째와 세 번째를 자동으로 촉발하는 것처럼 썼다. Anthropic이 표시하니까 탐지기가 다 잡아낼 것이고, 그러니 플랫폼이 처벌하리라는 식이다. 고리를 하나씩 떼어놓고 보면 이 논리는 곧바로 무너진다. 텍스트를 만드는 과정에 모델이 개입했다는 사실과, 그 텍스트가 "AI가 쓴 글"이라는 판정은 같은 말이 아니기 때문이다.
'보조', '생성', '양산'은 다른 동사다 #
AI가 보조한 텍스트는 처음부터 끝까지 사람의 편집권 아래 있다. 아이디어, 각도, 구조, 그리고 최종적으로 발행할지 말지를 결정하는 사람이 있다. 그 과정에서 모델과 몇 번을 주고받으며 고치고 다듬고 번역하고 논리를 검증했든 상관없다. AI가 생성한 텍스트는 프롬프트에서 나온다. 위에서 잡아주는 사람 없이 나온 결과물이다. 아이디어 자체는 사람이 냈지만, 눈앞의 문장은 모델의 것이다. AI가 양산한 텍스트는 또 다른 얘기다. 편집 감독이라 부를 만한 게 아예 없는 자동 발행 파이프라인이다.
셋을 가르는 기준은 모델이 얼마나 개입했느냐가 아니다. 결정권을 누가 쥐고 있었느냐다.
세 경우는 편집 책임의 무게가 완전히 다르다. 이걸 "AI 콘텐츠"라는 하나의 범주로 묶으면, 실제로는 촘촘한 스펙트럼인 대상을 이분법으로 재단하게 된다. 구분 없는 "AI 처리됨" 배지가 정확히 그 일을 한다.
직접 해본 실험 #
글쓴이는 2021년 4월에 쓴 자기 글을 ZeroGPT에 넣어봤다. 일반 사용자가 쓸 수 있는 LLM이 등장하기 전에 쓴 글이다. 1년쯤 전 검사에서는 AI 확률 97%가 나왔다. 최근 같은 글을 같은 도구에 다시 넣으니 8.6%가 나왔다.
같은 도구, 문장부호까지 똑같은 같은 글. 1년 사이 양립할 수 없는 두 점수.
Photo by Kindel Media on Pexels
두 번째 검사에서 걸린 구간들을 뜯어보니 패턴이 보였다. 무작위 문장이 아니었다. 하나같이 글에서 가장 중립적이고, 가장 설명적이고, 가장 짜임새 있는 대목이었다. 웹 서버가 무엇인지 정의한 문단, CentOS Stream을 설명한 문단, 자동 업데이트 절차를 단계별로 적은 부분. 반대로 글쓴이 특유의 목소리가 드러나는 대목 — 자조 섞인 농담, 말버릇, 벼룩시장에서 산 나폴리 모카포트 이야기 — 은 한 번도 걸리지 않았다.
한 번의 실험으로 탐지 모델이 일반적으로 무엇을 측정하는지 증명할 수는 없다. 다만 이 결과는 도구가 텍스트의 실제 출처가 아니라 문체의 중립성과 구조의 규칙성에 반응한다는 쪽을 강하게 가리킨다. 문제는 바로 여기다. 그런 특성은 LLM이 나오기 훨씬 전부터 사람의 글에 있었다. 탐지기는 기원이 사람인 문체를, 기계가 그걸 흉내 낸 결과를 기준 삼아 쫓고 있다. 논리가 자기 꼬리를 먹는 셈이다.
이 글은 어떻게 만들어졌나 #
텍스트를 내용이 아니라 출처로 판단하는 게 얼마나 어려운지가 이 글의 요지인 만큼, 글쓴이는 이 글 자체가 어떻게 만들어졌는지도 공개했다.
출발점은 기사가 아니라 댓글이었다. Medium 글이 거슬려서 답글을 달았고, 거기서 시작됐다. 그다음 Claude와 몇 시간을 주고받았다. 대신 써달라고 한 게 아니라 논지를 두들겨보고, 숫자를 확인하고, 흐릿한 기억 대신 원 출처를 파러 간 시간이었다. ZeroGPT 실험도 글을 위해 즉흥적으로 한 게 아니다. 기억하던 내용이 맞는지 확인하려고 다시 돌려봤고, 그 결과가 원래 내리려던 결론을 바꿔놓았다.
초고는 프랑스어로 썼다. 실제로 생각하는 언어라서다. 이후 ChatGPT, Kimi, Grok, Mistral 등 여러 모델에 교차로 검토를 돌려 앞뒤가 안 맞는 곳과 논지가 물러지는 지점을 잡아냈다. 그러고 나서 Claude 바깥에서(NotepadMD를 쓴다) 직접 읽고 고쳤다. 한 줄씩 훑지 않은 글은 절대 내보내지 않기 때문이다. 영어 번역은 그다음이고, 번역본도 다시 검토했다. 단어 하나하나 충실한 번역이라도 아무도 안 보면 톤이 어긋날 수 있어서다.
이 과정을 다 거친 글에는 아마 워터마크가 남아 있을 것이다. 동시에 몇 시간에 걸친 조사와 검증, 자동·수동 검토가 들어갔다. 두 사실은 동시에 참이고, 어떤 탐지기도 둘을 구분해내지 못한다.
배지가 실제로 치르게 하는 비용 #
여기까지는 기술적 논증이다. 글이 발행된 다음 무슨 일이 벌어지는지는 다루지 않았는데, 어쩌면 그쪽이 더 중요하다.
보조·생성·양산을 구분하지 않고 붙는 "AI 처리됨" 배지는, 몇 시간을 들여 생각하고 확인하고 쓴 저자를 하루에 기사 백 편을 사람 손 하나 안 거치고 찍어내는 콘텐츠 농장과 같은 칸에 넣는다. 급하게 읽는 사람은 그 차이를 보지 않는다. 배지를 보고, 고민한 저자를 "부정행위자"로 분류한다. 부정행위를 한 적 없는 사람에게는 실질적인 손해다. 자기 작업이 노력의 크기도, 실제로 쥐고 있던 편집권도 측정하지 못하는 신호로 평가받는다. 그 신호가 재는 건 오직 어딘가에 도구가 끼어들었느냐뿐이다.
이 손해에는 우스꽝스러운 거울상이 있다. "AI" 표시가 붙은 글을 거부하는 바로 그 독자들이, 구글 검색 결과 맨 위에 뜬 AI 요약은 눈 하나 깜짝 않고 받아들인다. 비판적으로 읽지도, 요약이 끌어온 출처를 확인하지도, 대개는 원문을 클릭해보지도 않는다. 여러 독립 연구가 같은 방향을 가리킨다. 구글 검색에 AI 요약이 뜨면 외부 사이트로 가는 클릭이 절반, 방법론에 따라서는 그 이상 줄어든다. 배지 하나 보고 "AI 쓰레기"라고 부르는 독자가, 같은 주에 다른 열 개 주제는 AI에 요약을 맡겼을 가능성이 높다는 뜻이다. 무엇이 남고 무엇이 왜곡됐는지 확인해보지도 않은 채로. AI는 원칙적으로 거부당하는 게 아니다. 눈에 보이고 스스로 밝혔을 때 거부당하고, 보이지 않고 기본값으로 밀어 넣어졌을 때 받아들여진다.
클릭에서 요약으로 넘어간 이 변화는 배지와 무관하게 읽기 자체의 손실이기도 하다. 뉘앙스가 있고 때로는 모순도 품은 온전한 글 한 편이, 아무도 의심하지 않는 매끈한 세 줄로 대체된다. 독자는 출처와 논리와 문체를 따져보게 만들었을 마찰을 잃는다. 배지가 판단할 기회를 준다고 주장하는 바로 그 마찰을, 요약은 아무 논쟁 없이 건너뛴다.
이걸로 해결되지 않는 것 #
이 글 밑에 "AI 슬롭"이라는 댓글이 달리는 걸 막아주지는 못한다. 글쓴이는 dev.to에서는 그런 댓글을 받은 적이 없다고 한다. Reddit에서는 받았다.
다만 그런 댓글을 다는 사람이 누구인지 보자는 얘기다. 주제에 진지하게 관여하는 사람인 경우는 드물다. 꽂히는 단어가 주는 짜릿함을 좇는 쪽이 많다. Reddit에서는 그런 댓글을 단 계정들이 서로 무관한 글에도 반사적으로 반복해서 다운보트를 누르는 패턴을 자주 보인다. 눈앞의 내용과는 별 상관없는 거부 신호다.
기술적 논증과 사회적 판단은 별개고, 앞의 것으로 뒤의 것을 물릴 수는 없다. "AI 슬롭"은 이제 텍스트에 대한 판단이 아니다. 읽었든 안 읽었든 상관없이 반사적으로 꺼내 드는 거부 신호가 됐다.
배지가 출처를 측정하지 못하고 사회적 판단은 측정값에 관심이 없다면, 물어야 할 질문은 "누가 썼는가"가 아니라 "누가 생각했는가"일지 모른다.
여기서 뉘앙스가 중요하다. 글쓴이가 설명한 과정에서 주도권은 한 번도 넘어간 적이 없다. 세션을 여는 것도, 주제를 정하는 것도, 어떤 각도가 버틸지 버릴지 판단하는 것도 사람이다. 모델이 먼저 찾아와 없던 아이디어를 내밀지 않는다. 시키지도 않은 문단을 쓰면 버린다. 세션마다 무엇을 남기고 무엇을 지웠는지는 그대로 남아 드러난다.
Medium 글에 대한 최초의 이견을 누가 생각해냈고, 워터마크·탐지기·플랫폼을 하나로 뭉뚱그리는 대신 떼어놓기로 누가 결정했는가. 의견보다 실험이 낫다고 판단하고, 흐릿한 기억을 다시 옮겨 적는 대신 두 번 돌려본 사람은 누구인가.
글쓴이는 이 질문들에 글 하나하나, 결정 하나하나로 답할 수 있다고 말한다. 어떤 탐지기도 이런 질문을 하지 않는다. 탐지기는 최종 형태를 보고 거기서 출처를 추론한다. 출처는 애초에 형태에 있지 않았는데도. 출처는 그 형태에 앞선 결정의 사슬에 있었다.
이 글은 위 출처를 바탕으로 한국 독자를 위해 재작성한 기사입니다. 원문의 사실과 수치에 근거하며, 별도의 견해를 포함하지 않습니다.