AI가 쓴 대본 9,050편으로 확인한 'AI 슬롭'의 정체 (What 9,050 AI-Written Scripts Taught Me About Slop)

What 9,050 AI-Written Scripts Taught Me About Slop

You’ve read way too many versions of this paragraph already. Probably even this week: “In today’s...

Louis-Francois Bouchard2026-10-12

개요 #

"오늘날처럼 빠르게 변하는 세상에서 AI는 단순한 도구가 아니라 패러다임을 바꾸는 태피스트리입니다." 이런 문장은 이번 주에만 해도 몇 번은 읽었을 겁니다. 영어권에서는 이렇게 영혼 없이 찍어낸 AI 글을 '슬롭(slop)'이라고 부릅니다.

Towards AI를 운영하는 루이프랑수아 부샤르(Louis-Francois Bouchard)는 영상, 강의, 책, 아티클 초안을 대부분 AI로 씁니다. 거의 모든 작업에 Claude를 쓰는데, 검토하다 보면 위와 같은 문장이 너무 자주 나왔다고 합니다. 그래서 올해 6월부터 어떤 모델이 정말 자기처럼 쓰는지 측정하기 시작했고, 지금까지 대본 9,050편을 생성해 평가했습니다.

결론은 뜻밖이었습니다. 슬롭 단어는 생각보다 고치기 쉬웠고, 정작 어려운 건 글쓴이의 목소리를 살리는 일이었습니다.

실험은 이렇게 진행했다 #

회색 배경 위의 검은 텍스트 Photo by Pixabay on Pexels

출발점은 부샤르 본인이 쓴 영상 대본 10편이었습니다. 일부는 이미 공개했고, 일부는 학습 데이터 오염(contamination)을 잡아내려고 일부러 공개하지 않은 대본입니다. 네 명이 한 달 가까이 거의 전업으로 매달려 약 400시간을 들였습니다. 대본을 다듬고, 이 대본이 왜 잘 읽히는지를 최대한 구체적인 평가 기준(rubric)으로 정리했습니다.

모델에게는 다음 자료를 줬습니다.

부샤르의 문체 가이드(voice guide)
스토리텔링 가이드
출력 규칙
과거 예시 대본
작업 브리프와 리서치 자료

이 자료로 모델이 쓸 만한 대본을 다시 만들어 내는지 봤습니다. 채점은 LLM 심사위원 넷이 맡았습니다. GPT 하나, Claude 하나, 오픈 모델 하나, 그리고 최근 합류한 Jev입니다. 이들은 초안마다 부샤르의 최종본, 평가 기준과 비교해 점수를 매겼습니다.

지금까지 측정한 구성은 사고 수준(thinking level)별 조합까지 합쳐 181개입니다. 앞으로 나올 모델도 모두 측정할 계획이라고 합니다.

슬롭이 적다고 좋은 글은 아니다 #

상위 15개 구성은 모두 슬롭 점검에서 90점을 넘었습니다. 프롬프트를 자세하게 쓰면 앞에서 본 그런 문구는 대체로 잡힌다는 뜻입니다.

181개 구성 가운데 슬롭이 가장 적은 모델은 최대 추론(max effort)으로 돌린 GPT-6 Astra로, 94.9점이었습니다.

하지만 슬롭 점수는 여러 지표 중 하나일 뿐입니다. Astra의 종합 순위는 62위입니다. 부샤르처럼 들리지 않았기 때문입니다. 톤과 목소리 점수가 82점으로, Opus의 90점에 한참 못 미쳤습니다. 종합 1위부터 11위까지는 모두 Claude 모델이 차지했습니다.

부샤르는 두 모델을 오가며 작업하면서 차이를 체감했다고 말합니다. Claude 특유의 표현 몇 개를 걷어내는 건 성가셔도 한 번 훑어 고치면 끝납니다. 반면 목소리를 다시 세우려면 머리를 많이 써야 합니다. 문장 구조를 뜯어고치고 예시까지 바꿔야 합니다. 그가 아직 글쓰기에 Claude를 고집하는 이유입니다.

최대 추론은 값어치를 못 한다 #

지금까지 측정한 모델 중 가장 글을 잘 쓴 건 최대 추론으로 돌린 Opus 5.5였습니다. 100점 만점에 90.8점입니다. 그런데 한 단계 낮은 xhigh 설정도 90.0점을 받았습니다. 대본 한 편당 비용은 최대 추론이 2.75달러, xhigh가 0.69달러입니다.

값은 4배인데 점수 차이는 1%도 안 됩니다. 부샤르는 평소에는 xhigh를 쓰고, 문장 하나하나가 중요한 드문 글에만 최대 추론을 씁니다.

싼 모델이 일하는 방식을 바꾼다 #

오픈 웨이트 모델인 GLM-5.3 Flash는 대본 한 편에 1.5센트로 88.2점을 받았습니다. 최대 추론 Opus 5.5는 비용이 190배 가까이 드는데 점수는 3% 정도 높을 뿐입니다.

부샤르는 이 차이를 단순히 "비슷한 글을 200배 싸게 쓴다"로 보지 않습니다. 제대로만 쓰면 오픈 모델로 Claude보다 더 좋은 결과를 더 싸게 낼 수 있다는 것입니다.

팀은 생성할 때마다 품질이 얼마나 흔들리는지도 측정했습니다. GLM으로 초안 10개를 뽑아 가장 나은 하나를 고르면 Opus 5.5와 거의 같은 결과가 나오는데, 비용은 여전히 20분의 1입니다. 여기에 좋은 평가 기준을 갖춘 강력한 심사 모델을 붙이고, 여러 초안에서 좋은 섹션만 골라 하나로 잇게 하면 Opus 5.5보다 훨씬 나은 결과를 더 싸게 낼 수 있을 것으로 봤습니다.

부샤르는 이렇게 정리합니다. 생성은 이제 싸졌고, 어려운 건 고르는 일이라고요. 돈도 생성보다는 심사와 선별에 써야 한다는 겁니다.

심사위원도 제 식구를 챙긴다 #

다른 심사위원과 비교하면 GPT 심사위원은 OpenAI 모델이 쓴 초안에 2.75점을 더 주고, Anthropic 초안에서는 2.14점을 깎았습니다.

DeepSeek 심사위원은 DeepSeek과 Kimi 모델에 1점 정도를 더 줬습니다.

Claude 심사위원의 치우침이 가장 작았습니다. 다른 심사위원의 절반 수준입니다. 그래도 자기 회사 모델에 점수를 조금 더 줬고, 의외로 Google 모델을 그보다 더 좋게 봤습니다.

Jev는 대체로 중립적이었고, Gemini 모델을 약간 선호했습니다. 다만 채점 근거를 설명하지 못하다 보니 이번 작업에서는 일관성이 떨어지는 것으로 보였습니다. 부샤르는 글쓰기 평가가 천천히 따져 보는 '시스템 2'형 판단에 가깝기 때문일 수 있다고 봤습니다.

중립적인 심사위원은 없었습니다. 그래서 여러 모델로 심사단을 꾸려야 하고, 글을 쓴 모델과 같은 회사 모델 하나에만 채점을 맡겨서는 안 됩니다.

부샤르가 권하는 AI 글쓰기 파이프라인 #

기준은 "가장 멋진 글을 쓰는 모델"이 아닙니다. 고칠 일이 가장 적고, 쓰다가 화나게 만들지 않는 모델을 고르라고 합니다. 그다음 순서는 이렇습니다.

지시문을 길고 아주 구체적으로 씁니다. 내 목소리, 내 글 구조, 내 규칙을 담습니다.
해야 할 것과 하지 말아야 할 것을 예시로 보여 줍니다. 싫어하는 표현은 이름을 붙여 적어 두고, 프롬프트만 믿지 말고 코드로 초안을 검사합니다.
과거에 쓴 좋은 글을 통째로 넣습니다. 왜 좋은지 설명까지 붙이면 더 좋습니다.
저렴한 오픈 모델로 초안을 여러 개 만듭니다.
다른 회사의 고성능 추론 모델을 심사위원으로 두고, 명확한 평가 기준에 따라 가장 좋은 초안을 고르거나 합치게 합니다.
별도의 심사 모델로 검토와 수정을 한두 번 돌립니다. 부샤르는 두 번을 넘기면 별 도움이 안 됐다고 합니다.
마지막은 사람이 봅니다. Opus 5.5가 쓴 초안도 사람 손을 거쳐야 합니다.

부샤르는 단서도 달았습니다. 이 결과는 본인의 대본으로 본인의 목소리를 측정한 것이라 데이터 하나에 불과하고, 정답이 아니라는 겁니다. 무언가를 바꾸기 전에 자기 글로 먼저 시험해 보라고 권합니다. 이 평가 파이프라인은 쓸모가 커서, 고객사의 맞춤 작업에도 응용해 좋은 결과를 얻었다고 합니다.

전체 벤치마크인 ToneBench와 각 수치를 뒷받침하는 방법론은 10월 13일 화요일 오전 10시 40분, Evals 트랙 Turing 룸 발표에서 공개합니다.

이 글은 위 출처를 바탕으로 한국 독자를 위해 재작성한 기사입니다. 원문의 사실과 수치에 근거하며, 별도의 견해를 포함하지 않습니다.