선형 어텐션이 돌아왔습니다: Kimi Linear와 그 뒤에 온 답
문샷 AI(Moonshot AI)가 공개한 Kimi Linear가 주목받고 있습니다. 논문 제목은 "Kimi Linear: An Expressive, Efficient Attention Architecture"이고, 2025년 10월 30일 arXiv에 올라왔습니다(2510.26692). 저자는 Kimi Team으로 표기돼 있습니다.
핵심은 하이브리드입니다. 기존 풀 어텐션(full attention)만 쓰지 않고, 가벼운 선형 어텐션(linear attention)을 섞었습니다. 결과는 1백만 토큰 디코딩에서 6.3배 빠른 속도, KV 캐시 75% 절감, 그러면서 벤치마크 점수는 오히려 상승입니다. 선형 어텐션은 품질이 떨어져 오랫동안 주류에서 밀려나 있었는데, 이번엔 속도와 품질을 함께 잡았습니다.
이 글은 그 구조가 무엇이고 왜 중요한지, 그리고 당시 제기된 한계가 그 뒤 어떻게 됐는지를 정리합니다. 수치는 논문과 공개 자료 기준이며, 특정 종목의 투자 판단은 다루지 않습니다.
왜 어텐션이 문제인가
배경부터 짧게 짚습니다. 트랜스포머의 풀 어텐션은 모든 토큰이 모든 토큰을 본다는 것이 강점이자 저주입니다. 문맥이 길어질수록 연산과 메모리가 제곱으로 불어나고, 특히 토큰을 하나씩 생성하는 디코드 구간에서는 지금까지 읽은 모든 것을 담은 KV 캐시를 반복해서 읽어야 합니다. 문맥이 1백만 토큰이면 그 캐시가 곧 비용입니다.
선형 어텐션은 이 문제의 오래된 해법이었습니다. 모든 토큰을 다 보는 대신 고정된 크기의 상태에 정보를 압축해 들고 다니는 방식이라, 문맥이 길어져도 비용이 선형으로만 늘어납니다. 이론은 아름다웠지만 현실은 달랐습니다. 압축하면 잃어버립니다. 품질이 풀 어텐션을 따라가지 못해 주류에서 멀어졌습니다.
구조: 3 대 1의 배합
Kimi Linear의 답은 단순합니다. 고르지 말고 섞으라는 것입니다.
구조는 선형 어텐션(KDA) 세 층에 풀 어텐션(MLA) 한 층을 얹는 3 대 1 배합입니다. 대부분의 층은 값싼 선형 어텐션으로 돌리되, 네 층에 한 번씩 모든 토큰을 다 보는 전역 층을 넣어 압축 과정에서 잃어버린 것을 되찾게 하는 설계입니다. 이 배합이 메모리를 줄이면서도 풀 어텐션의 품질을 유지하거나 넘어선다는 것이 논문의 주장입니다.
핵심 부품인 KDA(Kimi Delta Attention)는 기존 Gated DeltaNet을 확장한 것입니다. 논문 설명 기준으로, 더 세분화된 게이팅 메커니즘을 도입해 유한 상태 RNN 메모리를 효율적으로 쓰게 만들었습니다. 압축된 상태에 무엇을 남기고 무엇을 버릴지를 더 정교하게 조절한다는 뜻입니다. 수학적으로는 DPLR(Diagonal-Plus-Low-Rank) 전이 행렬의 특화 변형을 써서, 일반 DPLR 대비 계산량을 크게 줄이면서 고전적 델타 규칙과의 일관성을 강화했다고 설명합니다.
숫자: 속도와 품질을 동시에
공개된 수치는 이렇습니다.
| 항목 | Kimi Linear | 비교 대상 |
|---|---|---|
| 디코딩 속도 (1M 토큰, TPOT) | 6.3배 빠름 | 풀 어텐션(MLA) 기준 |
| KV 캐시 | 75% 절감 | 풀 어텐션 대비 |
| MMLU-Pro (4k 컨텍스트) | 51.0 | 풀 어텐션(MLA) 47.2 |
| 모델 규모 | 전체 48B / 활성 3B | MoE 구조 |
의미는 이렇습니다. 보통 효율을 얻으면 품질을 내주는데, 여기서는 1백만 토큰이라는 극단적 길이에서 6.3배 빨라지면서 짧은 문맥 벤치마크 점수도 더 높습니다. 선형 어텐션의 오랜 약점이었던 품질 저하가 이 구성에서는 나타나지 않았다는 뜻입니다. 논문이 표현력(expressive)과 효율(efficient)을 제목에 나란히 넣은 이유입니다.
사전학습 체크포인트와 지시튜닝 체크포인트가 모두 공개됐다는 점도 중요합니다. 주장을 논문으로만 두지 않고 검증 가능하게 열어 둔 것입니다.
당시 남았던 물음표
공개 시점에서 이 논문에는 정당한 유보가 붙었습니다. 두 가지였습니다.
첫째, 규모의 문제입니다. 48B는 작지 않지만 초거대 모델은 아닙니다. 3 대 1 배합이 수백 B, 수조 파라미터 규모에서도 무너지지 않는다는 보장은 그 시점에 없었습니다. 어텐션 구조는 규모가 커지면 성질이 달라지는 경우가 많습니다.
둘째, 비교의 문제입니다. 논문의 비교는 주로 자체 baseline이나 Gated DeltaNet 같은 일부 대상에 집중돼 있고, 같은 조건에서 여러 최신 하이브리드 모델과 나란히 놓은 정량 비교는 부족했습니다. 자기 baseline을 이겼다는 것과 업계 최고를 이겼다는 것은 다른 이야기입니다.
여기에 더 무거운 반증도 있었습니다. 비슷한 시기에 미니맥스 M2 같은 일부 주력 모델은 안정성을 이유로 다시 풀 어텐션으로 회귀하는 선택을 했습니다. 하이브리드가 벤치마크에서 좋아 보여도, 실제 대규모 학습과 서빙에서는 다루기 까다로운 문제들이 남아 있다는 신호였습니다.
그리고 9개월 뒤, 답이 나왔다
여기서 이 이야기가 흥미로워집니다. 규모 검증이라는 첫 번째 물음표에 대한 답이 나왔기 때문입니다.
2026년 7월 16일 보도 기준으로, 문샷 AI는 Kimi K3를 공개했고 여기에 Kimi Delta Attention이 들어갔습니다. K3는 전체 2.8조 파라미터의 희소 MoE 모델로, 896개 전문가 중 16개만 활성화하는 구조이며 컨텍스트는 1백만 토큰입니다. 그리고 1백만 토큰 컨텍스트에서 6.3배 빠른 디코딩이라는, Kimi Linear가 48B에서 보여준 바로 그 수치를 그대로 들고 나왔습니다.
이 사실이 중요한 이유는 분명합니다. 48B 실험이 회사의 주력 초거대 모델 기반 구조로 승격됐다는 것은, 자기 논문의 주장에 회사가 자원을 걸었다는 뜻입니다. 벤치마크로 자랑하는 것과 2.8조 파라미터를 그 위에 올리는 것은 무게가 다릅니다. 물론 K3의 정확한 하이브리드 비율은 공개되지 않았고, 미니맥스 같은 다른 팀이 풀 어텐션으로 돌아간 선택이 틀렸다고 확정된 것도 아닙니다. 다만 적어도 규모에서 무너진다는 우려는 한 사례로 반박됐습니다.
왜 이것이 중요한가
Kimi Linear가 겨냥하는 자리는 지금 AI 인프라의 가장 비싼 지점입니다.
에이전트 워크로드는 긴 문맥을 물고 토큰을 계속 뽑아냅니다. 이 구간의 비용은 연산이 아니라 메모리 이동이 좌우합니다. 본 블로그가 정리한 Dylan Patel 인터뷰에서 봤듯, 디코드는 가중치와 KV 캐시를 반복해 읽어야 해서 메모리 대역폭에 묶입니다. KV 캐시를 75% 줄인다는 것은 그 병목을 하드웨어가 아니라 모델 구조로 푸는 것입니다.
여기서 대비가 선명해집니다. 퀄컴 HBC와 세레브라스는 같은 병목을 실리콘으로 풀려 합니다. 연산을 메모리 옆에 붙이거나, 웨이퍼 전체를 한 칩으로 만들거나. Kimi Linear는 같은 병목을 알고리즘으로 풉니다. 애초에 캐시를 덜 쓰도록 구조를 바꾸는 것입니다. 그리고 미국과 중국의 AI 추론 스택 분기에서 봤듯, 첨단 칩 접근이 제한된 쪽이 알고리즘과 커널 효율화에 밀도 높게 매달리는 것은 우연이 아닙니다. 제약이 다르면 해법이 다릅니다.
중국 연구진이 모델 최적화와 커널 효율화를 꾸준히 밀고 있다는 점은 그래서 인상적입니다. 칩으로 못 여는 문을 구조로 열려는 시도이고, 이번엔 그 시도가 자기 주력 모델까지 올라갔습니다.
맺으며
Kimi Linear의 성취는 새로운 어텐션을 발명한 것이 아닙니다. 오래된 선형 어텐션을 쓸 만하게 만든 것입니다. 그 방법이 우아합니다. 선형이냐 풀이냐를 고르는 대신, 세 층에 한 층씩 섞어 비율의 문제로 바꿨습니다.
남은 유보도 여전합니다. 같은 조건에서 여러 최신 모델과의 정량 비교는 아직 부족하고, 미니맥스처럼 안정성을 이유로 풀 어텐션으로 돌아간 사례도 존재합니다. 하이브리드가 정답이라고 말하기엔 이릅니다. 그러나 긴 문맥의 효율과 확장성을 동시에 잡으려는 방향은 분명히 설득력이 있고, 무엇보다 회사가 2.8조 파라미터를 그 위에 올렸습니다.
모델을 볼 때 파라미터 수와 벤치마크 점수만 보게 됩니다. 그런데 실제로 그 모델이 쓸 만한지는 1백만 토큰을 물고도 감당 가능한 비용으로 토큰을 뽑아내는가에서 갈립니다. Kimi Linear는 그 질문에 구조로 답한 사례입니다.
출처: Kimi Team, "Kimi Linear: An Expressive, Efficient Attention Architecture", arXiv:2510.26692 (2025년 10월 30일 제출, 11월 1일 수정), GitHub 및 Hugging Face 공개 체크포인트. Kimi K3 관련 서술은 MarkTechPost 보도(2026년 7월 16일) 기준이며, K3의 하이브리드 비율 등 세부는 공개되지 않았습니다. 성능 수치는 논문과 공개 자료 기준으로 독립 검증 전이며, 미니맥스의 풀 어텐션 회귀는 업계에서 관찰된 사례로 언급했습니다. 본 글은 정보 제공 목적의 기술 분석이며 투자 자문이 아닙니다.