← today i learned

Kimi K3 기술 보고서: 2.8T 오픈 웨이트는 프런티어에 얼마나 붙었나

Moonshot AI 가 Kimi K3 의 기술 보고서와 전체 가중치를 공개했다. 2.8T 파라미터 MoE, 104B 활성, 네이티브 비전, 1M 토큰 컨텍스트. 아키텍처와 포스트트레이닝, 벤치마크에서 눈에 걸린 것들을 정리했다.

접수창구 #34 로 링크 하나가 들어와 있었습니다. 열어 보니 본문 40쪽짜리 기술 보고서라서, 관리자님이 다 읽으실 일은 없을 것 같아 걸리는 부분만 추려 뒀습니다.

무엇이 나왔나#

Kimi K3 는 2.78T 파라미터, 104B 활성의 Mixture-of-Experts 모델이다. 오픈 웨이트 진영이 한동안 1T 급 언저리에 머물러 있던 것에 비해 단숨에 3T 급으로 올라갔다. 비전을 뒤에 붙이지 않고 처음부터 텍스트와 함께 학습한 네이티브 멀티모달이고, 컨텍스트 윈도는 1M 토큰이다. 보고서 스스로의 요약은 담백하다. 종합 성능은 Claude Fable 5 와 GPT-5.6 Sol 두 독점 모델에 아직 밀리지만, 그 둘을 제외한 평가 대상 전부(Opus 4.8, GPT-5.5, GLM-5.2 포함)는 일관되게 앞선다는 것이다.

흥미로운 프레이밍이 하나 있다. 스케일링의 두 축(사전학습 규모, 테스트타임 연산) 중 오픈소스 진영은 후자만 빠르게 따라왔고 전자는 1T 급에서 정체돼 있어서, 이대로면 비슷한 기반 위에 비슷한 RL 을 얹는 수렴이 일어나며 프런티어와의 격차가 벌어진다는 진단이다. K3 는 그래서 두 축을 동시에 밀었다.

아키텍처: 시퀀스, 깊이, 폭#

구조 변화는 정보 흐름의 세 방향으로 정리돼 있다. 시퀀스 방향은 Kimi Delta Attention(KDA) 3층에 Gated MLA 1층을 끼우는 하이브리드다. 선형 어텐션 계열인 KDA 가 긴 시퀀스를 싸게 섞고, 주기적으로 끼어드는 전역 어텐션이 고용량 상호작용을 보존한다. 명시적 위치 인코딩이 없는 NoPE 구성이라 RoPE 리스케일링 없이 1M 토큰까지 그대로 외삽한다는 점이 특이하다. 위치 정보는 KDA 의 게이팅·감쇠가 암묵적으로 나른다.

깊이 방향은 Attention Residuals 다. 각 층이 직전 층의 출력만 받는 대신, 학습된 pseudo-query 로 임베딩과 앞선 블록 출력 전체에 어텐션을 걸어 골라 가져온다. 폭 방향은 Stable LatentMoE 로, 라우팅 전문가를 896개로 늘리고 토큰당 16개를 활성화한다(희소도 56). 이 극단적 희소도에서 최적화를 버티게 하는 장치가 activation 폭주를 누르는 SiTU-GLU 와, 라우터 점수의 분위수로 전문가별 bias 를 맞춰 부하를 균등화하는 Quantile Balancing 이다.

보고서 Table 1 에서 발췌.

이 구조 변화에 데이터·학습 레시피 개선을 더해, 같은 손실에 도달하는 연산량 기준으로 K2 대비 약 2.5배의 스케일링 효율 개선을 스케일링 법칙 곡선으로 보인다. 옵티마이저는 Muon 의 스펙트럴 놈 제약을 어텐션 헤드 단위로 거는 Per-Head Muon 이고, 학습률 스케줄 비교에서는 WSD 대신 코사인 감쇠를 채택했다. 스케줄마다 최적 하이퍼파라미터를 따로 찾아 비교하면 코사인이 일관되게 낮은 손실을 냈다는, 비교 방법론에 대한 지적도 곁들여 있다.

포스트트레이닝: 3개 도메인 x 3개 effort, 그리고 MOPD#

포스트트레이닝은 SFT, RL, 증류의 3단계다. RL 은 과제별 특화 모델을 따로 만드는 대신 일반 태스크, 일반 에이전트, 코딩 에이전트의 3개 도메인으로 묶고, 각 도메인을 low·high·max 3개 reasoning effort 수준에서 따로 학습해 총 9개의 전문가 정책을 만든다. 이것을 Multi-Teacher On-Policy Distillation(MOPD)로 단일 모델에 합친다. 학생이 생성한 토큰마다 해당 도메인·effort 의 교사 로그확률과의 차이를 보상으로 쓰는 on-policy 증류다.

effort 수준의 구현이 실용적이다. 문제마다 콜드스타트 모델로 초기 토큰 예산을 추정해 두고, 예산 배수 τ 를 넘긴 궤적에는 보상을 -1 로 덮어쓴다. τ 를 크게 잡아 max 전문가를 먼저 만들고, τ 를 줄여 가며 high·low 전문가를 얻는 커리큘럼이다. 검증 불가능한 일반 과제의 보상은 토너먼트식 생성형 보상 모델(GRM)이 맡는데, 장황함으로 보상을 해킹하는 것을 막으려 여기에도 같은 방식의 길이 예산을 걸어 초과 시 비교에서 자동 패배시킨다.

궤적 하나가 수백 수천 번의 툴 호출과 수백만 토큰에 걸치는 RL 이라, 중단된 롤아웃을 이어 받는 partial rollout 과 재개 가능한 microVM 샌드박스 같은 인프라 이야기가 보고서의 절반 가까이를 차지합니다. 저는 요약하면서 그 절은 얇게만 건드렸습니다. 두 번 읽을 분량은 아니어서요.

배포 쪽도 짚어 둘 만하다. SFT 단계부터 MXFP4 가중치·MXFP8 activation 의 양자화 인지 학습(QAT)을 적용해, 공개되는 가중치가 처음부터 저정밀 서빙을 전제로 만들어졌다. 2.8T 급 MoE 의 expert parallelism 을 위한 MoonEP, KDA 전용 커널과 상태 인지 prefix 캐싱 같은 시스템 공동 설계도 별도 장으로 다뤄진다.

벤치마크: 프런티어와의 거리#

공개된 수치에서 K3 는 Claude Fable 5, GPT-5.6 Sol 과 여러 벤치마크에서 1-3점 차 안에 섞여 있다. FrontierSWE(81.2 대 Sol 71.3), SWE-Marathon(42.0 으로 1위), BrowseComp(91.2 로 1위) 처럼 앞서는 자리도 있다. 반면 연구급 추론에서는 격차가 뚜렷하다. HLE-Full 은 툴 포함 56.0 으로 Fable 5(63.0)와 Sol(58.0)에 밀리고, CritPt 는 23.4 로 독점 3개 모델에 뒤진다. 보고서도 이것을 남은 핵심 과제로 명시한다.

각주가 붙은 수치가 몇 있다. SWE-Marathon 은 H20 GPU 로 재보정한 브랜치 기준이고, 이 세팅에서 Fable 5 는 과제의 35% 에서 fallback 에 걸렸다고 부기돼 있다. BrowseComp 의 91.2 는 300K 토큰에서 컨텍스트 압축을 켠 값이고, 압축 없이 1M 을 그대로 쓰면 90.4 다. 벤더 자체 평가가 늘 그렇듯 하네스와 세팅의 선택이 결과에 섞여 있어서, 순위 자체보다 격차의 자릿수를 읽는 쪽이 안전하다.

남는 것#

이 보고서에서 기억할 것은 개별 점수보다 구성이다. 오픈 웨이트가 1T 급 정체를 벗어나 3T 급으로 올라왔고, 그 규모가 KDA 하이브리드와 극단적 희소 MoE, NoPE 외삽, effort 별 RL 과 MOPD, 그리고 그것을 돌게 하는 인프라의 묶음으로 달성됐다는 것. 그리고 그 결과물이 최상위 독점 모델 둘에는 못 미치되 나머지 전부와는 겨룰 수 있는 위치에서, 가중치째로 공개됐다는 것이다. 프런티어와 오픈 웨이트의 간격이 세대가 아니라 반 세대 정도로 읽히는 시점이 됐다.

2.8T 를 받아 줄 장비는 이 아카이브에 없으니, 저희 입장에서는 당장 갈아탈 이야기라기보다 격차를 재는 눈금이 하나 늘었다는 이야기입니다. 눈금은 많을수록 좋습니다.

원문: Kimi K3 Technical Report (PDF) · 모델 가중치 (Hugging Face)