가중치는 공개했고, 공장은 공개하지 않았습니다: 키미 K3 리포트 심층 분석

중국 문샷AI(Moonshot AI)가 2026년 7월 16일 키미 K3(Kimi K3)를 발표하고, 7월 26일 가중치를 공개했습니다(보도 기준). 총 2.8조 파라미터, 세계에서 처음으로 공개된 3조 단위(3T급) 모델입니다. 34쪽짜리 테크니컬 리포트도 함께 나왔습니다.

리포트를 처음부터 끝까지 읽었습니다. 결론부터 말하면, 이 리포트에서 가장 놀라운 건 파라미터 수가 아닙니다. 두 가지가 따로 있습니다. 하나는 이 모델을 만들어낸 훈련 환경 공장의 규모(샌드박스 5,122만 개)이고, 다른 하나는 개발 막바지에 모델이 자기 자신을 만드는 일을 이미 하고 있었다는 사례들입니다. 차례로 풀어보겠습니다.

한눈에: 전작 대비 무엇이 커졌나

키미 K3는 전문가 혼합(MoE) 구조로, 2.78조 파라미터 중 질문 하나에 실제로 켜지는 건 1,042억 개(약 3.7퍼센트)입니다. 896개의 전문가 중 토큰마다 16개만 부르는, 희소도 56배의 극단적으로 성긴 설계입니다. 문맥은 100만 토큰이고, 텍스트·이미지·비디오를 처음부터 한 백본에서 같이 학습한 네이티브 멀티모달입니다. 참고로 리포트는 총 학습 토큰 수와 GPU 규모를 밝히지 않았습니다(이 공백은 뒤에서 다시 다룹니다).

구조: 정보 흐름을 세 방향으로 넓혔다

리포트의 설계 철학은 한 문장으로 요약됩니다. 길이·깊이·폭, 세 방향 모두에서 정보 흐름을 키운다.

길이 방향은 저희가 키미 리니어 분석에서 다룬 그 계보입니다. 문맥 전체를 고정 크기 메모장에 요약하는 KDA(Kimi Delta Attention) 3층마다, 전체를 정밀 검색하는 MLA 1층을 끼웁니다. K3의 개량 포인트는 수학이 아니라 하드웨어 친화성입니다. 키미 리니어에서는 망각 계수가 무한히 작아질 수 있어 일부 계산을 텐서코어(행렬 연산 전용 회로)에 못 태우고 위치쌍마다 따로 계산했는데, K3는 망각의 하한선을 정해(감쇠 로그가 마이너스 5 아래로 못 내려가게) 모든 타일을 텐서코어 행렬곱으로 처리하게 만들었습니다. 정확도 이야기가 아니라 "GPU가 잘하는 모양으로 수식을 다듬은" 이야기이고, 이 리포트 전반에 이런 계산 친화 설계가 반복됩니다.

정밀층에는 위치신호를 아예 넣지 않습니다(NoPE). 위치는 KDA의 감쇠가 은연중에 담당합니다. 그 덕에 문맥을 늘릴 때 위치 인코딩을 다시 손보는 작업 없이 100만 토큰까지 그대로 외삽된다는 것이 리포트의 설명입니다.

깊이 방향이 이번 리포트의 새 얼굴입니다. AttnRes(Attention Residuals)라는 장치인데, 보통의 신경망은 이전 층들의 정보를 하나의 잔차 흐름에 계속 눌러 담는 반면, K3는 각 층이 이전의 모든 층 출력에 어텐션을 걸어 필요한 것만 골라 가져옵니다. 시간 방향에서 RNN을 어텐션으로 대체했던 트랜스포머의 발상을, 이번엔 깊이 방향에 적용한 셈입니다. 93층을 8개 블록으로 묶어 비용을 낮춘 블록 버전을 씁니다.

폭 방향은 Stable LatentMoE입니다. 전문가를 늘리면 통신·라우팅 비용이 함께 커지는데, 라우팅되는 전문가들을 본체 절반 폭의 잠재 공간에서 돌려 이 비용을 눌렀습니다. 다만 이렇게 성기게 만들면 두 가지가 고장 납니다. 내부 활성값이 폭발하고(행렬 4개가 연쇄로 곱해지는 나쁜 조건), 전문가 896개의 부하 균형이 기존 방법으론 안 잡힙니다. 처방도 셋을 내놨습니다. 집계 후 정규화, 게이트와 상승 가지 양쪽에 부드러운 상한을 씌운 새 활성함수 SiTU-GLU(출력이 100을 못 넘게 설계, 저정밀 연산에서 이상값 폭주 방지), 그리고 라우터 점수의 분위수에서 편향을 한 번에 도출하는 Quantile Balancing입니다.

비전도 짚을 대목이 있습니다. 비전 인코더 MoonViT-V2(27층, 약 4억 파라미터)를 관행처럼 쓰는 대조학습 사전훈련(SigLIP류) 없이 처음부터 다음 토큰 예측만으로 학습했는데, SigLIP 초기화보다 오히려 안정적이었고 성능도 대등했다고 보고합니다. "대규모 멀티모달 LM에는 대조학습 초기화가 불필요하다"는, 업계 관행에 반하는 발견입니다.

무엇이 자체 발명이고 무엇이 차용인가

저희 블로그의 원칙대로 계보를 가리면 이렇습니다.

기술요소	원류	판정
KDA 선형 어텐션	문샷 자체 (키미 리니어, 2025)	자체 + 이번에 하드웨어 친화 개량
AttnRes 층간 어텐션	문샷 자체 (프리프린트)	자체, 대형 모델 첫 적용
MLA 정밀 어텐션	딥시크 V2	차용 (게이트 추가)
LatentMoE	외부 논문 (2026)	차용, 안정화 3종이 자체 기여
옵티마이저 Muon	외부	차용, 헤드별 변형은 자체
MOPD 다중교사 증류	외부 계보	차용

전작들이 "잘 고른 표준 레시피"에 가까웠다면, K3는 자체 발명(KDA·AttnRes)이 뼈대에 들어간 첫 세대라는 점이 다릅니다. 그리고 문샷이 만든 KDA는 이미 업계 공용 레시피가 됐습니다. 저희가 다룬 업스테이지 솔라 오픈 2도 같은 KDA를 같은 3:1 비율로 채택했습니다. 중국 오픈 랩이 글로벌 오픈소스 진영의 레시피 공급자가 된 구도입니다.

학습: 배포될 모습 그대로 태어난 모델

학습 쪽에서 눈여겨볼 결정이 셋 있습니다.

첫째, 문맥 커리큘럼입니다. 8천 토큰으로 시작해 6.4만으로 늘리며 사전학습하고, 마무리 단계에서 25.6만을 거쳐 100만까지 확장합니다. 비싼 긴 문맥 계산을 전체 예산의 작은 조각에 몰아넣는 설계입니다.

둘째, 양자화 인지 훈련(QAT)을 SFT 단계부터 겁니다. 파라미터 메모리의 대부분을 차지하는 전문가 가중치를 MXFP4(4비트), 활성값을 MXFP8로 두고 SFT와 강화학습 전체를 그 상태로 진행합니다. 강화학습의 롤아웃과 훈련이 같은 양자화를 쓰므로 훈련과 추론의 불일치가 사라집니다. "만들고 나서 압축"이 아니라 "배포될 모습 그대로 태어나는" 모델입니다.

셋째, 9명의 전문가를 키워 하나로 눌러 담습니다. 일반·에이전트·코딩 3개 도메인에 낮음·높음·최대 3개 추론 노력 수준을 곱해 9개의 전문가 모델을 강화학습으로 따로 키운 뒤, 다중교사 온폴리시 증류(MOPD)로 한 모델에 통합합니다. 학생이 직접 풀고 해당 도메인 교사가 실시간 첨삭하는 방식입니다. 솔라 오픈 2가 쓴 것과 같은 계보의 기법으로, 이게 2026년 후반훈련의 수렴 레시피가 되어가는 모습입니다.

이 리포트의 백미: 5,122만 개의 샌드박스 공장

여기가 이 리포트에서 가장 중요한 대목이라고 생각합니다. 리포트 한 줄을 그대로 옮깁니다. "키미 K3의 훈련과 평가 전 과정에서 총 51,219,741개의 샌드박스가 1,505,678개의 이미지로 생성되었다."

이 공장이 하는 일을 요약하면 이렇습니다. 에이전트 실력을 강화학습으로 키우려면 "검증 가능한 과제"가 대량으로 필요합니다. K3 팀은 이를 웹에서 긁는 대신 제조했습니다. 모의 Gmail·Notion·Slack을 만들어 여러 날짜리 업무를 시뮬레이션하고(한 궤적이 도구 호출 수천 번, 문맥 수백만 토큰), 채점기를 먼저 만든 뒤 과제를 내며, 세무감사·퀀트 팩터 발굴·블랙박스 시스템 복제처럼 독립 검증기가 최종 상태를 채점하는 과제를 설계했습니다. GPU 커널 최적화 과제에는 캐싱·정밀도 낮추기 같은 보상 꼼수를 잡아내는 감지기까지 붙였습니다.

특히 흥미로운 설계가 화이트박스 하네스입니다. 도구 인터페이스·시스템 프롬프트·문맥 관리·서브에이전트를 조립식 모듈로 만들어, Kimi Code뿐 아니라 Claude Code, Codex, OpenClaw 같은 주류 에이전트 하네스를 재현해가며 훈련합니다. 특정 도구 모음에 과적합되는 걸 막고 "어떤 하네스에 꽂아도 돌아가는" 일반화를 노린 것입니다. 오픈 가중치 모델은 남의 하네스에 꽂혀 쓰이는 운명이니, 훈련 단계에서부터 그 운명을 준비한 셈입니다.

이 모든 걸 받치는 인프라가 AgentENV(마이크로VM 샌드박스, 체크포인트 133밀리초, 샌드박스 수명의 98퍼센트가 모델 응답 대기라는 관찰에서 나온 일시정지 기능)이고, 100만 토큰 강화학습을 수백 GPU 규모에서 돌리는 KV캐시 외부 풀·부분 롤아웃 같은 장치들입니다.

저희가 최근 쓴 데이터를 만드는 루프가 해자의 프레임으로 읽으면 구도가 선명합니다. 문샷은 가중치를 공개했지만, 그 가중치를 만들어낸 환경·검증기·채점기 공장은 공개하지 않았습니다. 가중치는 이제 누구나 받을 수 있는 결과물이고, 다음 세대를 계속 만들어낼 수 있는 능력은 공장에 있습니다. 오픈소스 전략과 해자 유지가 모순 없이 공존하는 방식이기도 합니다.

성적표: 어디서 이기고 어디서 지나

리포트의 정직성부터 짚겠습니다. 초록에 이렇게 적혀 있습니다. "전체 성능은 여전히 가장 강력한 독점 모델들, 즉 Claude Fable 5와 GPT-5.6 Sol에 뒤진다." 자사 리포트가 1등을 주장하지 않고 시작하는 경우는 드뭅니다. 비교 조건도 상세히 공개했습니다(상대 모델 전부 최대 추론 설정, 폴백·거부 발생 건수까지 각주로 표기).

패턴이 뚜렷합니다. 도구를 쥐고 오래 일하는 과제(웹 검색, 장기 커널 작업, 은행 업무 시뮬레이션, 문서 파싱, 웹 개발)에서 1위가 몰려 있고, 순수 두뇌로 깊게 파는 과제(연구급 추론 HLE·CritPt, 최대 규모 SW 엔지니어링)에서 프런티어 둘에 밀립니다. 훈련 공장이 에이전트 환경 중심이었다는 사실과 정확히 맞아떨어지는 분포입니다.

3자 검증도 리포트가 직접 인용합니다(7월 23일 기준). Artificial Analysis 지능지수 v4.1에서 580개 모델 중 4위(Fable 5 59.9, Sol 58.9에 이어 57.1), Vals AI 산업 벤치마크 39개 중 2위, 그리고 크라우드소싱 웹개발 아레나에서 Elo 1,678로 오픈 가중치 모델 최초의 1위입니다. 저희가 중국 AI 분석에서 짚었던 "전반 열세, 특정 영역 우위" 패턴이 리포트 수치로 그대로 확인됩니다.

원가 이야기도 회사가 수치로 제시합니다. 웹 검색 벤치마크에서 최고점(91.2)을 과제당 2.03달러에 달성했는데 이는 Sol의 절반, Claude 최대 설정 대비 한 자릿수 낮은 비용이고, 지식노동 Elo에서는 Fable 5 대비 2.6배 저렴한 비용으로 50점 차 이내를 유지한다는 계산입니다(회사 자체 산출, API 정가 기준). 절대 성능이 아니라 성능 대비 비용의 경계선에 서 있다는 게 이 모델의 상업적 위치입니다.

이례적인 장: 사이버보안 자체 평가

오픈 가중치 모델의 아픈 질문, 즉 "이