← Back to list2026-07-24

2.8조 파라미터를 오픈으로 푼다: 키미 K3 테크니컬 리포트 심층 분석

키미K3문샷AI오픈모델선형어텐션미중AI

2026년 7월, 중국 문샷AI(Moonshot AI)가 키미 K3(Kimi K3)를 공개했습니다. 총 2.8조(2.78T) 파라미터를 가진, 현재까지 공개된 가장 큰 오픈 웨이트 모델입니다. 가중치를 전부 풀었고, 34쪽짜리 테크니컬 리포트로 아키텍처·학습·인프라·평가를 상세히 공개했습니다.

이 글은 그 리포트를 원문 그대로 정독해 심층 분석한 것입니다. 마케팅 문구가 아니라 리포트가 실제로 담은 숫자와 구조를 근거로, 무엇이 인상적이고 무엇은 회사 스스로 인정한 한계인지까지 갈라 읽었습니다. 이 주제는 중국이 GPU 제약 속에서 어떻게 프런티어급 모델을 만드는가라는 앞선 글, 그리고 키미 리니어의 하이브리드 어텐션 분석과 곧바로 이어집니다.

한눈에: 무엇이 나왔나

2.8조를 갖고 있되 1,040억만 켜서, 거대한 모델을 감당 가능한 비용으로 돌립니다.

K3는 전문가 혼합(MoE) 구조입니다. 2.8조 파라미터를 갖고 있지만 토큰 하나를 처리할 때 실제로 켜지는 건 1,040억(104B)뿐입니다. 896개의 전문가 중 16개만 골라 쓰는 극단적 희소성(약 1.8퍼센트)입니다. 여기에 100만 토큰 문맥, 그리고 텍스트·이미지·영상을 하나의 백본으로 처리하는 네이티브 멀티모달을 얹었습니다.

리포트의 표현을 빌리면, K3의 목표는 두 개의 스케일링 축을 동시에 프런티어로 미는 것입니다. 사전학습 규모를 전례 없는 3조급(3T-class)으로 키우면서, 동시에 강화학습·추론·장기 상호작용도 100만 토큰 문맥에서 함께 키우는 것입니다.

1. 아키텍처: 세 방향으로 정보 흐름을 넓히다

K3의 구조는 정보가 흐르는 세 방향을 동시에 넓히도록 설계됐습니다. 문장의 길이(시퀀스), 신경망의 깊이(층), 그리고 폭(채널)입니다.

길이·깊이·폭 세 방향을 각각의 기법으로 넓힌 것이 K3 구조의 뼈대입니다.

길이 방향: 요약 3 + 정밀 1의 하이브리드

가장 핵심은 어텐션입니다. K3는 키미 델타 어텐션(KDA)이라는 선형 어텐션 3개 층마다, 정밀한 게이트 MLA 1개 층을 끼우는 3:1 하이브리드를 씁니다. 선형 어텐션은 문맥 전체를 고정 크기 메모장에 요약해 두는 방식이라 문장이 아무리 길어져도 메모리가 폭증하지 않습니다. 대신 세밀한 되찾기가 약하니, 4개 층마다 1개씩 정밀 검색 층을 넣어 보강합니다. 이 구조가 100만 토큰 문맥을 감당 가능하게 만듭니다.

KDA에는 흥미로운 장치가 있습니다. 잘못 적은 기억을 그냥 잊는 게 아니라 부호를 뒤집어 능동적으로 지우는(델타 규칙 + 채널별 망각 게이트) 방식이고, 위치 신호를 아예 심지 않습니다(NoPE). 그래서 학습 때 본 길이에 묶이지 않고 100만 토큰까지 그대로 확장됩니다. 이 KDA 계보가 바로 앞서 다룬 키미 리니어의 연장선입니다.

깊이 방향: 층이 과거를 골라 읽는다

어텐션 잔차(Attention Residuals, AttnRes)는 덜 알려졌지만 영리한 아이디어입니다. 보통 신경망은 층을 지날 때 정보를 하나의 상태에 눌러 담아 전달하는데, 깊어질수록 초반 정보가 희석됩니다. AttnRes는 각 층이 앞선 모든 층의 출력 중 필요한 것만 골라 가져오게 합니다. 단순 누적이 아니라 선택적 검색입니다. 리포트는 93개 층을 8개 블록(블록당 12층)으로 나눠 이 비용을 관리했다고 밝힙니다.

폭 방향: 전문가를 896개로, 하지만 좁은 공간에서

Stable LatentMoE는 전문가를 896개까지 늘리면서도 비용 폭증을 막는 방법입니다. 전문가들이 전체 폭이 아니라 압축된 잠재 공간에서 계산하게 해, 통신량과 가중치 트래픽을 줄입니다. 여기에 라우팅 안정화(SiTU-GLU 활성함수, RMSNorm, 그리고 라우터 점수 분위수로 부하를 맞추는 Quantile Balancing)를 더했습니다. 2.8조 규모에서 극단적 희소성은 내부 활성값이 폭발하기 쉬운데, 이 장치들이 그걸 억제합니다.

리포트는 이 세 가지(+데이터·학습 개선)가 합쳐져 전작 K2 대비 스케일링 효율이 약 2.5배 좋아졌다고 주장합니다. 다만 이건 회사 자체 스케일링 실험 기준이라, "발표 기준"으로 읽어야 합니다.

2. 학습: 강화학습을 9개 전문가로 쪼갠 뒤 하나로 합친다

후반 학습(포스트트레이닝)이 K3에서 특히 공들인 부분입니다. 3단계로 짜여 있습니다.

분야별·난이도별로 9명의 전문가를 따로 키운 뒤, 한 모델에 눌러 담습니다.

기본기를 다진(SFT) 뒤, 3개 분야(일반 작업·일반 에이전트·코딩)에 3개 추론 노력 수준(낮음·높음·최대)을 곱해 9명의 전문가 모델을 강화학습으로 따로 키웁니다. 그리고 이 9명을 MOPD(다중 교사 온폴리시 증류)로 한 모델에 통합합니다. 학생이 필기를 베끼는 게 아니라, 직접 풀어보는 과정을 각 분야 교사가 실시간 교정하는 방식입니다.

특히 눈에 띄는 대목이 강화학습 환경입니다. K3는 하나의 고정된 도구 틀에 과적합되지 않도록, 여러 에이전트 하네스(키미 코드, 클로드 코드, 코덱스 등)를 조합해 만들 수 있는 화이트박스 RL 환경에서 훈련했습니다. 그리고 학습·평가 전 과정에서 총 5,122만 개의 샌드박스를 150만 개 이미지 위에서 생성했다고 밝힙니다. 실제 업무를 흉내 낸 환경(Gmail·Notion·Slack 모의 구현, 세무 감사, 블랙박스 시스템 복제 등)에서 검증받았다는 것이 데이터 공장의 핵심입니다.

3. 성능: 프런티어를 "일부에서" 넘고, "전반적으론" 뒤진다

여기가 가장 신중하게 읽어야 할 부분입니다. 리포트는 놀랍도록 정직하게, 자신이 어디서 이기고 어디서 지는지를 표로 다 공개합니다.

일부 영역은 폐쇄 프런티어를 넘지만, 종합 순위와 연구급 추론에선 뒤집니다. 둘 다 사실입니다.

리포트 초록의 표현이 정확합니다. "전반적 성능은 가장 강한 폐쇄 모델, 즉 클로드 페이블 5와 GPT-5.6 Sol에는 여전히 못 미치지만, 평가에 포함된 다른 모든 오픈·폐쇄 모델은 일관되게 앞선다."

숫자로 보면 이렇게 갈립니다.

영역	키미 K3	비교	판정
BrowseComp (웹 검색 에이전트)	91.2	페이블 88.0, GPT 90.4	K3 전체 1위
SWE-Marathon (GPU 커널)	42.0	페이블 35.0	K3가 7점 앞섬
Terminal-Bench 2.1	88.3	GPT-5.6 Sol 88.8	거의 동률
FrontierSWE (장기 SW)	81.2	페이블 86.6	K3 2위, 페이블에 뒤짐
HLE-Full (연구급 지식)	43.5	페이블 53.3	뚜렷한 격차
GPQA Diamond	93.5	GPT-5.6 Sol 94.1	최상위권 접전

회사 자체측정(Table 2), 최대 추론 노력 기준. 굵은 값이 그 줄 1위.

즉 "K3가 페이블 5보다 낫다"도 "K3가 페이블 5보다 못하다"도 둘 다 반쪽짜리 진술입니다. 정확한 그림은 이렇습니다. 웹 검색·GPU 커널·문서 이해·에이전트 오케스트레이션 같은 특정 영역에선 폐쇄 프런티어를 넘거나 나란히 가고, 연구급 지식(HLE)·연구급 추론(CritPt)·무거운 장기 SW엔지니어링에선 뒤집니다. 독립 평가기관 Artificial Analysis의 종합 지수로는 580개 모델 중 4위이고, 오픈 모델 중에선 선두입니다.

4. 인프라: 3조급을 굴리기 위한 시스템 공학

리포트의 절반가량이 사실 인프라입니다. 2.8조급 하이브리드 모델을 실제로 학습·서빙하려면 시스템을 새로 짜야 하기 때문입니다. 대표적인 것 몇 가지만 옮깁니다.

MoonEP: 전문가 병렬 학습에서 각 GPU에 정확히 같은 양의 토큰이 가도록 완벽한 부하 균형을 맞추는 스케줄러. 통신을 제로카피로 처리합니다.
KDA 컨텍스트 병렬(KCP): 선형 어텐션의 순차적 상태 전파를 여러 GPU에 쪼개면서도, 각 조각을 지역적으로 계산해 한 번의 all-gather로 합치는 방식. 100만 토큰 학습을 감당 가능하게 만듭니다.
AgentENV: 에이전트 강화학습용 마이크로VM 샌드박스. 일시정지·포크·스냅샷을 지원해, 모델 응답을 기다리는 동안(샌드박스 수명의 최대 98퍼센트) 자원을 안 씁니다. 오픈소스로 공개했습니다.
MXFP4 양자화 인식 학습: 서빙 비용을 줄이려고 전문가 가중치를 4비트로 양자화하되, 학습 때부터 그 저정밀로 훈련해 정밀도 손실을 흡수합니다.

이 대목이 중요한 이유가 있습니다. 앞선 글에서 다뤘듯, 중국 랩의 진짜 경쟁력은 모델 구조보다 시스템 공학과 원가 구조에 있다는 논지와 정확히 맞물립니다. K3 리포트는 그 논지의 가장 구체적인 물증입니다.

5. 가장 날카로운 지점: 원가

성능 표만큼 중요한 게 원가 표입니다. 리포트는 점수만이 아니라 작업당 비용 대비 점수를 4개 벤치마크에서 함께 공개합니다.

비슷하거나 나은 점수를, 프런티어의 일부 비용으로 냅니다. 이것이 K3 서사의 핵심입니다.

리포트에 따르면 BrowseComp에서 K3는 최고 점수(91.2)를 작업당 2.03달러에 냅니다. GPT-5.6 Sol(90.4점)의 절반 비용이고, 클로드 모델들이 최대 노력을 쓸 때에 비하면 한 자릿수 배 저렴합니다. 키미 코드 벤치에서는 페이블 5에 4점 뒤지지만 비용은 38퍼센트이고, 높은 노력 수준에선 클로드 오푸스 4.8의 최대 점수를 약 3분의 1 비용에 따라잡습니다.

이 원가 구조가 왜 중요한지는 앞선 글의 논지 그대로입니다. 증류(남의 모델 베끼기)로는 원가 구조가 바뀌지 않습니다. 훔친 가중치는 서빙 단가를 낮춰주지 않으니까요. K3가 프런티어급 점수를 3분의 1 원가에 낸다는 건, 구조(하이브리드 어텐션·MXFP4·시스템 공학)에서 실제로 효율을 만들어냈다는 뜻입니다.

6. 사이버보안 평가: 정직하게 공개했지만, 짚고 넘어갈 대목

리포트는 사이버보안 능력도 자체 평가해 공개합니다. 이건 양날입니다. 투명성은 높지만, 이중용도 역량이라 신중히 봐야 합니다.

리포트 기준으로 K3는 취약점 발견 단계에서 널리 쓰이는 시스템 수십 개를 훑어 이전에 알려지지 않은 취약점 16개를 찾아냈다고 밝힙니다(사람 검토를 거친 것의 약 70퍼센트가 진짜로 확인). 취약점을 실제 공격으로 완성하는 단계에선 36개 과제 중 14개(38.9퍼센트)를 풀어, 비교 대상(GLM-5.2, 22.2퍼센트)을 앞섰습니다. 다만 회사도 "사람 전문가 수준에는 명확한 격차가 남는다"고 인정하고, 커널 공격 트랙에선 양쪽 다 4분의 3 이상을 못 풀었다고 밝힙니다.

영국 AI안전연구소·미국 NIST의 독립 평가도 비슷한 결론을 냈다고 리포트는 전합니다. 방어 연구엔 유용하지만 프런티어 사이버 모델에는 못 미친다는 것입니다. 이 부분은 오픈 웨이트 공개와 겹쳐 곱씹을 지점입니다. 가중치가 완전히 공개된 모델이 이 정도 공격 역량을 문서화했다는 건, 오픈소스 프런티어가 안전 논의와 분리될 수 없음을 보여줍니다. 이 블로그는 이런 이중용도 역량 자체를 다루되, 재현을 돕는 어떤 구체적 방법도 옮기지 않습니다.

정리: 이 리포트가 말하는 것

양쪽을 함께 놓고 봐야 K3의 위치가 정확히 보입니다.

키미 K3 리포트를 한 문장으로 줄이면 이렇습니다. 중국 랩이 세계 최대 오픈 모델을, 프런티어급 성능의 일부를 3분의 1 원가에, 자기 한계까지 표로 공개하며 내놨다.

"그냥 남의 걸 베꼈다"로는 설명되지 않습니다. 증류는 정의상 상한이 교사 모델인데, K3는 일부 벤치마크에서 교사(폐쇄 프런티어)를 넘고, KDA·AttnRes·LatentMoE 같은 새 구조를 발명하고, 무엇보다 원가 구조 자체가 다릅니다. 훔친 가중치로는 서빙 단가가 3분의 1로 떨어지지 않습니다.

동시에 과장도 금물입니다. 종합 성능에선 여전히 최상위 폐쇄 모델에 뒤지고, 연구급 지식·추론에선 격차가 뚜렷하며, 화려한 숫자 대부분은 회사 자체측정입니다. 독립 등재(Artificial Analysis 4위, 오픈 선두)까지가 지금 확인된 위치입니다.

그럼에도 방향은 분명합니다. 오픈 웨이트 진영이 폐쇄 프런티어를 일부 영역에서 이미 따라잡았고, 그것을 훨씬 싼 원가로 해내고 있습니다. 모델이 부품이 되어가는 시대에, 2.8조 파라미터짜리 부품을 통째로 공개하는 전략이 무엇을 겨냥하는지, K3 리포트는 34쪽에 걸쳐 그 답을 적어두었습니다.

본 글은 문샷AI가 공개한 키미 K3 테크니컬 리포트와 허깅페이스 모델카드를 원문 그대로 분석한 산업·기술 리뷰이며, 특정 종목에 대한 판단을 담고 있지 않습니다. 인용한 벤치마크 점수는 별도 표기가 없으면 회사 자체측정(Table 2, 최대 추론 노력 기준)이며, 독립 3자 평가는 그렇게 명시했습니다. 스케일링 효율·원가 수치는 회사 발표 기준으로 외부 재현 전입니다. 사이버보안 관련 서술은 역량의 존재와 한계를 다루되 재현을 돕는 방법은 일절 포함하지 않았습니다.

주요 출처: Kimi K3 Technical Report (Kimi Team, 2026-07, 전 36쪽 정독)·허깅페이스 모델카드(moonshotai/Kimi-K3)·GitHub 저장소. 독립 평가: Artificial Analysis·Vals AI·Arena 리더보드(리포트 인용, 2026-07-23 기준).