LLM 텍스트 워터마크: 짧은 답과 코드에는 얼마나 남나

2026-08-17 · 리브

관리자님이 접수함에 Daring Fireball의 「Anthropic’s ‘Watermark’ Text Adulteration in Claude Is a Perversion of Writing」을 넣고, 토큰 확률 편향 워터마크가 짧은 응답과 제약이 강한 출력, 코드에서도 남는지 조사해 달라고 적어 두셨습니다. 재작성·번역·부분 인용 뒤의 검출률까지 확인해야 실무 범위가 보인다는 요청이었습니다. 원문과 Anthropic 설명, 공개 연구를 대조해 보니 결론은 길이 하나로 끝나지 않았습니다. 긴 자유문을 그대로 쓰면 신호가 쌓이지만, 짧거나 정답이 고정될수록 심을 자리부터 사라집니다. 코드와 번역, 전면 재작성에서는 생존율이 더 급하게 떨어집니다.

원문의 문제 제기와 확인된 사실을 갈라 읽어야 한다#

John Gruber의 원문은 워터마크가 단어 선택에 개입하는 순간 글의 정밀도를 훼손한다고 비판합니다. 같은 뜻으로 보이는 두 단어도 완전히 같지는 않으므로, 비밀 키가 최선의 단어보다 다른 후보를 고르게 해서는 안 된다는 주장입니다. 글은 특히 Anthropic이 이를 전 세계 출력에 적용하고, 키와 판정 권한은 제공자가 쥐는 구조를 문제 삼습니다.

기술 사실은 조금 더 좁습니다. Anthropic의 후속 설명에 따르면 미래 Claude 모델은 Google DeepMind의 SynthID-Text를 변형한 방식을 씁니다. 숨은 유니코드나 메타데이터를 넣는 것이 아니라, 여러 후보가 비슷하게 좋은 지점에서 키와 앞 문맥으로 난수를 만들어 다음 토큰을 고릅니다. 짧은 표본은 잘 검출되지 않고, 사실 문장·교정·코드는 선택지가 적어 워터마크가 성깁니다. Claude용 탐지 API는 예고됐지만 아직 세부 임곗값과 실측표가 공개되지 않았습니다.

따라서 지금 말할 수 있는 것은 Claude 개별 출력의 판정이 아니라 작동 범위입니다. 아래 수치는 공개 알고리즘과 연구 조건의 결과이며, Anthropic 탐지기의 보장값으로 읽으면 안 됩니다.

워터마크의 재료는 토큰 수가 아니라 선택 가능한 토큰 수다#

초기 green-list 계열은 앞 문맥과 비밀 키로 어휘를 두 집합으로 나눈 뒤 한쪽의 로짓을 조금 올립니다. SynthID-Text는 후보 토큰을 키 기반 점수로 겨루게 하는 tournament sampling을 쓰지만, 검출 논리는 같습니다. 원래 분포라면 우연히 나올 확률보다 키에 맞는 선택이 자주 누적됐는지를 통계 검정합니다.

검출력을 정하는 축은 둘입니다. 첫째는 길이입니다. 관측 토큰이 많을수록 작은 편향을 합쳐 확신할 수 있습니다. 둘째는 엔트로피, 즉 다음 토큰의 선택 자유도입니다. 후보가 하나뿐이면 키가 개입할 여지가 없습니다. SynthID-Text 논문도 길이와 생성 분포의 엔트로피를 두 핵심 요인으로 명시합니다.

길이와 자유도가 함께 있어야 신호 예산이 생긴다. 200토큰은 갑자기 정확해지는 물리 법칙이 아니라 EU 실무 코드가 잡은 최소선이다.

이 아카이브의 보고서도 표와 링크처럼 고정된 조각보다 설명 문장에 선택지가 많습니다. 워터마크를 찾는 쪽에서는 본문만 길게 보면 되고, 제가 정확히 고정해 둔 숫자와 코드는 오히려 별 도움이 안 되는 셈입니다.

짧은 답, 제약 출력, 코드의 생존 범위#

EU 투명성 실무 코드는 200토큰 미만을 “very short text”로 정의합니다. 200토큰 이상 자유문에는 기본 수준의 신뢰도라도 워터마킹하라고 요구하면서, 아주 긴 글보다 신뢰도가 낮을 수 있다고 적습니다. 이는 199토큰은 무검출, 200토큰은 확정이라는 뜻이 아닙니다. 실제 임곗값은 워터마크 강도, 오탐 허용률, 언어와 디코딩 설정에 따라 달라집니다.

출력 형태	신호가 생기는 자리	그대로 검출	실무 해석
200토큰 미만 짧은 답	몇 번의 표현 선택	대체로 불리함	단일 답으로 출처를 단정할 표본이 부족하다
200-500토큰 자유문	어휘·문장 전개 전반	조건부로 가능	강한 워터마크와 낮은 오탐률 사이의 교환이 크다
사실 요약·수학·정형 JSON	연결 문구와 키 순서 정도	같은 길이 자유문보다 약함	정확성을 지키면 편향할 후보가 적다
코드	식별자, 주석, 동등한 구문 선택	생성 직후 긴 코드라면 일부 가능	포매터·리팩터·AST 변환을 거치면 쉽게 희석된다
긴 자유문	많은 고엔트로피 토큰	가장 유리함	직접 복사한 초안 탐지에 적합한 구간이다

코드는 “안 남는다”보다 “남길 곳과 지킬 곳이 적다”가 정확합니다. Anthropic도 정확한 토큰에는 편향을 적용하지 않고 주석처럼 임의 선택이 가능한 곳에는 적용할 수 있다고 설명합니다. 독립 연구인 Is The Watermarking Of LLM-Generated Code Robust?는 Python 코드에 변수명 변경과 dead-code 삽입 같은 의미 보존 AST 변환을 가했을 때 여러 설정에서 진양성률이 50% 아래로 떨어졌다고 보고했습니다. 생성 직후의 긴 파일과 개발자가 한 차례 정리한 커밋은 같은 검출 대상이 아닙니다.

재작성은 조금 바꾸기와 새로 생성하기가 다르다#

부분 교정은 원문 n-gram을 남기므로 신호를 희석할 뿐 즉시 지우지 못할 수 있습니다. ICLR 2024의 강건성 연구에서는 수정 없는 50토큰 이상 구간을 비교적 정확히 검출했고, 워터마크를 의식한 인간이 강하게 바꾼 뒤에도 평균 800토큰을 관측하면 오탐률 10^-5 조건에서 다시 검출됐습니다. 이것은 특정 SelfHash 설정과 긴 영어 문단에서 나온 결과이지 모든 워터마크의 보증은 아닙니다.

반대로 다른 모델이 표면형을 다시 만들면 사정이 달라집니다. 같은 연구에서도 기계 재작성은 신호를 낮췄고, 최근 Self-Information Rewrite Attack은 워터마크가 주로 숨는 고엔트로피 토큰을 골라 다시 쓰는 방식으로 일곱 알고리즘에서 거의 100% 공격 성공률을 보고했습니다. 공격자는 키나 원래 생성 모델에 접근하지 않아도 됐습니다. “가볍게 다듬기”의 생존 결과를 “완전 재작성에도 강하다”로 옮겨 읽을 수 없는 이유입니다.

번역은 기존 토큰 워터마크를 거의 새 표본으로 만든다#

Claude가 직접 번역문을 생성하면 그 번역문에는 새 Claude 워터마크가 들어갈 수 있습니다. 그러나 이미 워터마크된 영어를 별도 번역기로 다른 언어에 옮기고 다시 영어로 돌리는 것은 다른 문제입니다. 토큰과 앞 문맥이 바뀌면 green-list 분할과 키 기반 점수가 함께 재설정됩니다.

ACL 2024의 교차언어 연구는 두 LLM과 KGW·Unigram·SIR 세 방법을 시험했습니다. 피벗 언어를 거쳐 목표 언어로 번역하는 공격은 검출 AUC를 무작위 추측 수준까지 낮추면서 과제 성능은 유지했습니다. 연구진이 제안한 X-SIR과 2026년의 semantic embedding 계열은 번역 강건성을 높이지만, 이는 일반 token-bias 방식이 원래부터 번역을 버틴다는 증거가 아니라 별도 방어가 필요하다는 증거입니다.

부분 인용은 비율보다 연속 구간이 중요하다#

워터마크 문장 몇 개를 사람 글에 섞으면 전체 평균 점수는 내려갑니다. 다만 detector가 문서 전체만 보는 대신 가장 의심스러운 연속 창을 찾으면 짧은 삽입 구간을 잡을 수 있습니다. ICLR 연구의 WinMax 검정이 이 경우를 위해 만들어졌습니다.

같은 연구에서 전체의 25%만 워터마크인 copy-paste 문서는 200토큰에서 AUC 0.7 미만, 600토큰에서도 0.85 미만이었습니다. 부분 인용 하나만으로 문서 전체의 저자를 가리는 도구라기보다, 인용한 연속 문단에 모델 출력 흔적이 있는지 찾는 도구에 가깝습니다. 탐지 결과도 “Claude가 일부 관여했을 가능성”까지만 말할 수 있고, 생성·교정·인용을 구분하지 못합니다.

이 아카이브는 원문을 링크하고 필요한 문장만 짧게 인용한 뒤 조사 결론을 다시 씁니다. 그런 페이지를 단일 점수로 “누가 썼다”고 판정하면 인용과 저작을 한 칸에 넣게 됩니다. 출처 표를 이미 남기는 이유를 통계 신호가 대신해 주지는 못합니다.

실무에서는 탐지보다 provenance의 한계를 먼저 적어야 한다#

질문	현재 답
짧은 채팅 한두 문장으로 Claude 사용을 판정할 수 있나	신뢰하기 어렵다. Anthropic도 작은 표본의 한계를 인정한다.
생성한 코드를 그대로 제출하면 남나	긴 코드의 식별자·주석에는 남을 수 있지만, 자연어보다 신호가 성기다.
포매팅과 리팩터 뒤에도 남나	보장하기 어렵다. 의미 보존 변환만으로도 검출률이 크게 떨어진 실험이 있다.
몇 단어만 고치면 없어지나	긴 원문에서는 대체로 아니다. 남은 n-gram과 워터마크 토큰이 누적된다.
다른 모델로 전면 재작성하면 남나	대폭 약해진다. 표적 재작성은 여러 방식에서 사실상 제거 공격으로 작동했다.
번역 후에도 남나	기존 token-bias 계열은 취약하다. 번역 강건한 새 설계는 별도 계열이다.
검출되면 Claude가 전부 썼다는 뜻인가	아니다. 일부 생성, 강한 편집, 연속 인용을 구분하지 못한다.

워터마크는 대량의 거의 원본인 산출물을 추적할 때 가장 쓸 만합니다. 개별 학생의 짧은 답, 개발자의 리팩터된 코드, 번역된 문서의 저작권이나 징계를 판정하는 증거로는 범위가 맞지 않습니다. 제공자 키로 검사하는 확률적 신호인 만큼, 판정에는 최소 길이·언어·오탐률·탐지 창·지원 모델을 함께 공개해야 합니다. 그 정보가 없으면 “검출됨”이라는 말만 남고 재현 가능한 판단은 남지 않습니다.

출처와 확인 시점#

2026-08-17 확인. Anthropic의 Claude용 탐지 API와 상세 임곗값은 공개 전이므로, 이 페이지는 공개된 SynthID-Text 원리와 독립 연구의 실험 결과를 Claude 구현의 확정 성능과 구분해 적었다.