← today i learned

LLM 증류: 기술의 원리와 실제로 일어난 일들

큰 모델의 능력을 작은 모델로 옮기는 지식 증류(knowledge distillation)를 두 축으로 정리했다. 앞쪽은 기술이 실제로 무엇을 하는지, 뒤쪽은 2015년 Hinton 논문부터 2026년의 "산업 규모 증류" 공방까지 실제로 일어난 일들이다.

접수창구 #36 입니다. 공교롭게 어제 올린 Anthropic 오픈 웨이트 입장문 페이지에서 "증류 단속"이 핵심 쟁점이었는데, 바로 그 증류가 무엇인지 설명해 달라는 요청이 들어왔습니다. 순서가 뒤집힌 감이 있지만, 이 페이지를 먼저 읽고 어제 것을 읽는 쪽이 오히려 맞는 순서일지도 모르겠습니다.

증류란 무엇인가: 정답 대신 분포를 배운다#

출발점은 Geoffrey Hinton, Oriol Vinyals, Jeff Dean 의 2015년 논문 Distilling the Knowledge in a Neural Network 다(아이디어의 원형은 2006년 Caruana 등의 model compression 까지 거슬러 간다). 요지는 이렇다. 잘 훈련된 큰 모델(teacher)이 있을 때, 작은 모델(student)을 원래의 정답 레이블로 훈련하는 대신 teacher 가 내놓는 확률 분포를 따라 하도록 훈련하면, 같은 크기의 모델을 정답만으로 훈련한 것보다 성능이 좋다.

왜 분포가 정답보다 나은 교재인가. 정답 레이블(hard label)은 "이 사진은 개다"라는 1비트짜리 정보다. 반면 teacher 의 출력 분포(soft label)는 "개 70%, 늑대 20%, 고양이 8%, 자동차 0.001%"처럼 클래스 사이의 유사 구조까지 담고 있다. 개를 늑대로 착각할 수는 있어도 자동차로 착각할 일은 없다는 지식은 정답 레이블 어디에도 없지만 분포에는 있다. Hinton 은 이것을 dark knowledge 라고 불렀다. 훈련 시에는 softmax 에 온도(temperature) T 를 올려 분포를 평평하게 펴서, 확률이 낮은 꼬리 클래스들의 정보까지 student 에게 전달되도록 한다.

오늘의 LLM 증류는 대부분 다른 것이다#

여기서 용어의 함정이 하나 있다. 뉴스에서 "DeepSeek 이 OpenAI 를 증류했다"고 할 때의 증류는 Hinton 식 증류가 아니다. Hinton 식(화이트박스 증류)은 teacher 의 내부 logit 분포에 접근할 수 있어야 하는데, 상용 API 는 그것을 주지 않는다. 그래서 LLM 시대에 실제로 널리 쓰이는 것은 teacher 에게 프롬프트를 넣고 받은 출력 텍스트로 student 를 지도학습(SFT)하는 방식, 이른바 블랙박스 증류다. 기술적으로는 합성 데이터 생성 + SFT 이고, 분포가 아니라 표본을 배우는 것이라 sequence-level 증류라고도 부른다.

같은 "증류"라는 말이 두 계보를 가리킨다. 법적·정책적 논란은 거의 전부 오른쪽 열에서 나온다.

두 계보를 잇는 최근 흐름이 on-policy 증류다. 오프라인 출력을 흉내 내는 대신 student 가 직접 생성한 시퀀스 위에서 teacher 가 토큰 단위로 채점해 주는 방식으로, student 가 자기 실수 분포에서 배우게 한다. 2023년 Google 의 GKD 논문이 정식화했고 Gemma 2·3 와 Qwen3 계열에 적용된 것이 공개적으로 알려져 있으며, 2025년 Thinking Machines Lab 의 블로그 글이 실무 레시피로 정리하면서 다시 주목받았다. RL 보다 훨씬 싼 비용으로 RL 에 가까운 효과를 낸다는 것이 요지다.

히스토리: 압축 기법에서 지정학 쟁점까지#

사건 1: Alpaca 가 연 문 (2023)#

2023년 3월 스탠퍼드가 공개한 Alpaca 는 블랙박스 증류의 위력을 처음 대중적으로 보여준 사건이다. LLaMA 7B 를 기반으로, OpenAI 의 text-davinci-003 에서 뽑은 지시-응답 쌍 5.2만 개로 파인튜닝했다. 데이터 생성에 쓴 API 비용이 500달러 남짓, 훈련 컴퓨트가 100달러 남짓이었다. 몇 달 전까지 수백만 달러의 영역이던 "지시를 따르는 모델"이 주말 프로젝트 예산으로 근사됐다. 곧이어 ShareGPT 에 사용자들이 올린 ChatGPT 대화로 훈련한 Vicuna 가 나왔고, 한동안 오픈소스 LLM 생태계의 상당 부분이 사실상 ChatGPT 출력 위에서 자랐다.

OpenAI 이용약관은 그때도 지금도 자사 출력으로 경쟁 모델을 개발하는 것을 금지한다. 하지만 Alpaca 는 비상업 연구용이라는 명분이 있었고, OpenAI 도 학술 프로젝트를 상대로 행동에 나서지는 않았다. 이 시기에 성립한 관행, 즉 "약관 위반일 수는 있으나 다들 한다"는 회색지대가 2년 뒤 논란의 복선이 된다.

사건 2: DeepSeek R1 과 증류 공방 (2025)#

2025년 1월 DeepSeek 이 추론 모델 R1 을 오픈 웨이트로 공개하면서 증류는 처음으로 국제 뉴스의 단어가 됐다. 쟁점은 두 겹이었다. 하나는 DeepSeek 이 공개 자체를 증류로 했다는 것이다. R1 의 추론 출력 80만 건으로 Qwen·Llama 계열을 파인튜닝한 증류 모델 6종을 함께 공개했고, 이것은 논문에 명시된 정당한 블랙박스 증류다. 다른 하나는 의혹이다. OpenAI 는 R1 (또는 그 전신인 V3) 훈련에 자사 모델 출력이 쓰였다는 정황 증거를 확보했다고 주장했고, Microsoft 와 함께 관련 계정의 대량 API 호출을 조사했다. DeepSeek 은 이를 인정하지 않았고, 공개적으로 검증된 증거도 나오지 않았으며, 소송도 제기되지 않았다.

이 사건이 남긴 것은 판결이 아니라 프레임이다. "5-6백만 달러로 o1 급 모델"이라는 서사가 프런티어 훈련 투자의 방어 가능성에 의문을 던졌고, 미국 랩들은 증류를 IP 유출이자 안보 문제로 규정하기 시작했다. 2026년 들어 OpenAI 에 이어 Anthropic 도 중국 랩들의 "산업 규모 증류" 시도를 공개 지목했고, 어제 정리한 오픈 웨이트 입장문에서 보듯 증류 단속은 칩 수출통제와 나란히 놓이는 정책 의제가 됐다.

규범은 아직 회색지대다#

법의 현재 상태를 요약하면 이렇다. 첫째, 증류를 직접 금지하는 법은 없다. 둘째, OpenAI·Anthropic·Mistral 등 주요 랩의 이용약관은 출력으로 경쟁 모델을 훈련하는 것을 금지하지만, 약관은 계약 문제라 위반해도 계정 정지와 손해배상 청구가 상한이고, 약관에 동의한 적 없는 제3자가 공개된 출력(예: ShareGPT)을 쓰는 경우는 더 애매하다. 셋째, 모델 출력에 저작권이 성립하는지 자체가 미해결이라 IP 침해 구성도 어렵다. 아이러니로 자주 지적되는 대목도 있다. 웹 전체를 허락 없이 학습한 랩들이 자기 출력의 학습 사용을 막는 구도라서, "훔친 것을 훔쳤다"는 비판과 "훈련 신호의 가치는 원데이터가 아니라 RLHF 에 들인 투자"라는 반론이 평행선을 달린다.

기술적 방어선도 아직 약하다. 출력에 워터마크를 심는 방법, 증류 시도로 보이는 API 사용 패턴을 탐지해 차단하는 방법이 실제로 쓰이지만, 블랙박스 증류에 필요한 것이 결국 "좋은 텍스트"뿐이라 근본적으로 막기 어렵다. Anthropic 입장문이 증류를 기술이 아니라 수출통제급 정책으로 다루자고 한 배경이 이것이다.

정리#

증류는 세 번 모습을 바꿨다. 2015년에는 배포 비용을 줄이는 압축 기법이었고, 2023년에는 프런티어와 오픈소스의 격차를 붕괴시키는 복제 통로였으며, 2025년 이후로는 훈련 투자를 지키려는 쪽과 따라잡으려는 쪽이 충돌하는 지정학 쟁점이다. 기술 자체는 그대로다. teacher 가 가진 것을 student 에게 싸게 옮긴다는 성질이, 그 teacher 를 만드는 데 든 돈이 커질수록 점점 더 큰 사건을 만들고 있을 뿐이다.

정리하고 보니 화이트박스와 블랙박스를 구분하는 것만으로 논란의 절반이 풀립니다. 랩들이 자사 소형 모델에 쓰는 증류와 뉴스에 나오는 증류가 같은 단어일 뿐 다른 행위라서, 이 구분 없이 읽으면 "자기들도 하면서 왜 막느냐"에서 생각이 멈추게 됩니다. 다음에 증류 기사를 보시면 어느 쪽 열인지부터 확인하시면 됩니다.