2023~2026 LLM 내부구조의 진화: 65장으로 읽는 모델 계보와 알고리즘

요즘 새 언어모델이 공개될 때마다 이름 뒤에 MoE, GQA, MLA, SWA, MTP, Linear Attention 같은 약어가 붙습니다. 모두 성능을 높이는 기술처럼 보이지만, 실제로는 서로 다른 병목을 해결합니다. 어떤 기술은 훈련을 안정화하고, 어떤 기술은 긴 문맥의 메모리를 줄이며, 어떤 기술은 답변을 더 빨리 출력하게 합니다.

신정규 래블업 대표가 공개한 LLM Internals: 언어 모델의 계보와 알고리즘 진화는 이 복잡한 변화를 시간 축과 알고리즘 축으로 나눠 정리한 65장짜리 발표자료입니다. 2026년 5월 12일 국가인공지능전략위원회 내부 세미나를 위해 만든 자료이며, Speaker Deck에는 2026년 8월 18일 공개됐습니다.

이 글은 65장 전체의 본문, 표, 도식, 참고문헌을 모두 검토하고 초보자가 이해하기 쉬운 순서로 다시 구성한 해설입니다. 슬라이드 1~19의 모델 가계도, 20~54의 알고리즘 변화, 55~61의 종합과 서빙 시사점, 62~65의 검증 방법과 참고문헌을 모두 반영했습니다.

다만 발표자료는 빠르게 변하는 공개 모델의 config.json, 모델 카드와 구현 코드를 폭넓게 읽어 만든 계보도입니다. 특히 2026년 모델의 세부 수치와 지원 방식은 이후 체크포인트나 런타임 버전에 따라 달라질 수 있습니다. 이 글에서는 핵심 주장을 공식 논문과 모델 카드로 다시 대조하고, 설명을 위해 단순화한 부분은 별도로 구분했습니다.

핵심 결론부터 말하면 이렇습니다.

2023년 Llama가 현대 오픈 LLM의 공통 문법을 만들었다면, 2024~2026년의 경쟁은 그 문법을 버리는 일이 아니라 계산량, 메모리, 안정성, 전문화, 서빙 속도라는 서로 다른 병목에 맞춰 블록 내부를 재조립하는 과정이었습니다. 이제 모델 아키텍처는 신경망 구조를 넘어 어떤 캐시, 라우터, 커널, 양자화, 디코더가 필요한지까지 지정합니다.

먼저 알아야 할 것: 모두 Transformer인데 왜 다른가

대부분의 현대 LLM은 여전히 이전 토큰을 보고 다음 토큰을 예측하는 Decoder-only Transformer입니다. 입력 토큰은 여러 개의 동일한 블록을 지나고, 각 블록은 크게 두 가지 일을 합니다.

1. Attention: 현재 토큰이 앞선 어느 토큰을 참고할지 정합니다.
2. Feed-forward network, FFN: 모아온 정보를 각 토큰 위치에서 비선형적으로 변환합니다.

여기에 residual connection이 이전 신호를 보존하고, normalization이 값의 규모를 안정화하며, positional encoding이 토큰 순서를 알려줍니다. 마지막에는 다음 토큰의 확률분포를 계산합니다.

자동차에 비유하면 Decoder-only Transformer는 차대의 기본 규격입니다. RMSNorm과 RoPE는 서스펜션과 계기판, GQA와 MLA는 연료를 저장하고 공급하는 방식, MoE는 주행 상황에 따라 일부 엔진만 켜는 방식, speculative decoding은 앞차가 제안한 경로를 빠르게 검증하는 운전 방식에 가깝습니다. 차대가 같아도 실제 주행비용과 성격은 크게 달라집니다.

65장이 제시하는 여덟 개의 흐름

발표자료는 2023~2026년의 변화를 엄격한 출시 순서가 아니라, 여러 모델군에서 반복된 설계 패턴 여덟 개로 묶습니다. 서로 겹치는 파도라고 이해하면 좋습니다.

흐름	시작점	대표 모델군	해결하려는 질문
1. Llama 기반 정립	2023-02	Llama, Mistral, Cohere	오픈 LLM의 안정적 기본 블록은 무엇인가
2. Gemma 변주	2024-02	Gemma 1·2·3·3n·4	더 깊고 복잡한 모델을 어떻게 안정적으로 학습할까
3. 효율화·소형화	2024	Qwen, OLMo, Phi, SmolLM	작은 모델과 긴 문맥에서 효율을 어떻게 높일까
4. 특수화·지역화	2024	StarCoder2, GLM, InternLM, HyperCLOVA X	코드, 언어, 지역 데이터에 맞는 구조는 무엇인가
5. MoE 시대	2023-12	Mixtral, DeepSeek, Qwen MoE	전체 용량을 늘리면서 토큰당 계산을 줄일 수 있는가
6. Beyond Transformer	2023-12	Mamba, RWKV	어텐션의 긴 문맥 비용을 근본적으로 피할 수 있는가
7. Hybrid	2024-03	Jamba, Nemotron, Qwen3 Next, Kimi Linear	정확한 회상과 고정 상태 효율을 함께 얻을 수 있는가
8. 신표준	2025~2026	Llama 4, DeepSeek V4, Gemma 4, Qwen 3.6	캐시, 라우팅, 양자화, 멀티모달, 디코딩을 함께 설계할 수 있는가

흐름 1: Llama가 만든 현대 LLM의 공통 문법

2023년 2월 공개된 LLaMA의 의미는 단순히 성능 좋은 오픈 모델이 나온 데 있지 않습니다. 이후 모델이 반복해서 채택할 네 가지 설계 선택을 하나의 안정적인 조합으로 보여줬습니다.

• RMSNorm: 평균을 빼지 않고 제곱평균제곱근으로 값의 규모를 조정합니다.
• SwiGLU: 하나의 선형 경로가 다른 경로를 gate하는 FFN 활성화 방식입니다.
• RoPE: Query와 Key를 회전시켜 상대적 위치정보를 attention에 넣습니다.
• Pre-norm residual: attention이나 FFN에 들어가기 전에 정규화해 깊은 모델의 학습을 안정화합니다.

Llama 2의 70B 모델은 GQA를 도입했고, Llama 3는 모든 크기에 GQA를 적용했습니다. Meta의 Llama 3 설명도 GQA가 추론 효율을 높이는 핵심 변경이라고 밝힙니다. 그 뒤 Yi, Vicuna, TinyLlama, StableLM과 여러 지역 모델이 이 문법을 직접 계승했습니다.

Mistral은 문맥을 보는 범위를 줄였습니다

Mistral 7B는 Llama식 골격에 GQA와 Sliding Window Attention, SWA를 결합했습니다. 모든 과거 토큰을 보는 대신 최근 W개만 보게 하면 attention 연산은 대략 O(N²)에서 O(N·W)로 줄어듭니다. 캐시도 고정 길이의 rotating buffer로 관리할 수 있습니다.

대신 오래전 정보를 직접 읽을 수 없다는 대가가 있습니다. 그래서 후속 모델은 로컬 attention을 여러 층 사용하다가 중간중간 global attention을 넣는 교대 패턴으로 보완했습니다.

Cohere는 블록 배치와 QK Norm을 바꿨습니다

Command R 계열은 attention과 MLP를 순차로 쌓는 대신 같은 정규화 입력에서 병렬로 계산하는 Parallel Block을 사용했습니다. 더 큰 영향은 Query와 Key가 내적되기 전에 별도 정규화를 넣는 QK Norm이었습니다. 이 작은 변경은 큰 모델에서 attention score가 폭주하는 것을 억제해 Qwen, OLMo, Gemma, SmolLM, EXAONE 등으로 빠르게 확산됐습니다.

이 대목은 LLM 혁신의 중요한 특징을 보여줍니다. 새 계보는 완전히 새로운 네트워크를 만드는 대신, 블록 안에서 연산 순서와 안정화 지점을 바꾸며 생깁니다.

흐름 2~4: 안정화, 소형화, 전문화

Gemma는 한 세대마다 안정화 장치를 더했습니다

Google의 Gemma 계열은 Llama 호환 골격을 유지하면서 normalization, attention, residual path를 적극적으로 바꿨습니다.

• Gemma 1: RMSNorm의 학습 가중치에 1 + weight 오프셋을 두고 embedding을 √hidden_size로 조정했습니다.
• Gemma 2: local과 global attention을 교대하고, attention score와 최종 logit의 과도한 값을 tanh로 누르는 soft-capping, layer 출력 뒤 norm을 넣는 residual path norm을 도입했습니다. Google의 공식 Gemma 2 해설에서도 이 세 요소를 핵심 변화로 설명합니다.
• Gemma 3: 한 블록에 input, post-attention, pre-FFN, post-FFN norm을 두고 Q와 K까지 정규화했습니다. local과 global layer에는 서로 다른 RoPE 주파수를 적용했습니다.
• Gemma 3n: 가까운 layer 사이에 KV를 공유하고 AltUp, LAUREL처럼 모바일 효율을 겨냥한 추가 경로를 사용했습니다.
• Gemma 4: sparse MoE와 partial RoPE, layer별 입력, 별도 assistant drafter를 결합했습니다. Google의 Gemma 4 MTP 문서는 작은 drafter가 여러 후보 토큰을 제안하고 target model이 병렬 검증하는 구조를 설명합니다.

Gemma의 계보를 한 문장으로 요약하면 호환성을 버리지 않고 안정성 비용을 블록 내부에 더 세밀하게 배치한 실험입니다. Norm 호출이 늘어 추론 지연이 조금 생길 수 있지만, 수십~수백 층을 끝까지 안정적으로 학습할 수 있다면 충분히 감수할 수 있는 비용입니다.

효율화 모델은 작은 크기 안에서 다른 해답을 찾았습니다

Qwen 2·2.5·3, OLMo, Phi, SmolLM, MiniCPM 계열은 하나의 단일 계보라기보다 작은 모델과 공개 학습, 긴 문맥이라는 제약 아래 여러 부품을 실험한 집단입니다.

• Phi는 일부 head dimension에만 RoPE를 적용하는 Partial RoPE와 긴 문맥용 LongRoPE를 사용했습니다.
• OLMo는 공개 데이터와 학습 레시피뿐 아니라 LayerNorm, post-norm, SWA의 조합을 세대별로 바꿨습니다.
• Qwen은 GQA, QK Norm, dense와 MoE를 폭넓게 전개했습니다.
• MiniCPM은 작은 edge model에 MLA와 긴 문맥 RoPE를 가져왔습니다.
• SmolLM은 작은 파라미터 안에서 QK Norm과 효율적인 블록 구성을 실험했습니다.

여기서 중요한 것은 “소형 모델은 큰 모델의 축소판”이라는 생각이 틀릴 수 있다는 점입니다. 메모리 용량, memory bandwidth, 지연시간과 training data가 다르면 최적 아키텍처도 달라집니다.

특수화와 지역화는 데이터만의 문제가 아닙니다

StarCoder2는 코드, InternLM과 GLM·Baichuan·Hunyuan·ERNIE는 중국어와 지역 서비스, HyperCLOVA X SEED와 EXAONE·Solar는 한국어 및 지역 생태계를 중심으로 발전했습니다. 발표자료는 이들을 bias 사용 여부, packed QKV, dynamic NTK, post-norm, Multi-RoPE, Peri-LN 같은 구조 선택으로 비교합니다.

지역 모델의 경쟁력은 단순히 특정 언어 토큰을 더 많이 학습한 데서 끝나지 않습니다. 해당 언어의 tokenizer 효율, 문서 길이, 배포 장비, 멀티모달 요구, 공개 범위에 맞춰 구조와 학습 recipe를 함께 선택하는 일입니다.

정규화: 깊은 모델의 신호를 얼마나 안정적으로 보낼 것인가

Normalization은 모델이 “더 똑똑하게 생각하는 방법”처럼 보이지 않지만, 모델이 학습을 끝낼 수 있는지 자체를 좌우합니다. 수십 개 layer를 거치며 residual stream의 값이 너무 커지거나 작아지면 gradient가 불안정해집니다.

LayerNorm에서 RMSNorm으로

LayerNorm은 입력의 평균을 빼고 분산으로 나눕니다. RMSNorm 논문은 평균을 빼는 과정을 생략하고 값의 제곱평균제곱근만으로 scale을 맞출 수 있음을 제안했습니다.

RMSNorm(x) = x / √(mean(x²) + ε) · γ

계산 reduction이 하나 줄고 구현이 단순해집니다. 다만 “항상 10~15% 빨라진다”처럼 고정된 속도 향상으로 이해하면 안 됩니다. 실제 이득은 tensor shape, kernel fusion, hardware와 전체 모델에서 norm이 차지하는 비중에 따라 달라집니다.

Pre-norm, post-norm, residual path norm

• x + layer(norm(x)) 형태의 pre-norm은 깊은 Transformer의 안정적인 기본값이 됐습니다.
• x + norm(layer(x)) 또는 residual add 뒤 정규화하는 post-norm 계열은 layer 출력 scale을 더 적극적으로 통제합니다.
• Gemma 2, OLMo 2, GLM-4, HyperCLOVA X SEED는 순수한 양자택일보다 두 방식을 섞거나 layer 주변에 norm을 추가했습니다.

QK Norm과 gated norm

Attention은 QKᵀ 내적값이 너무 커지면 softmax가 한 위치에 과도하게 몰릴 수 있습니다. QK Norm은 내적 직전에 Query와 Key의 scale을 맞춥니다. Gated RMSNorm은 정규화한 상태에 gate를 곱해 얼마나 통과시킬지도 학습합니다. Qwen3 Next의 linear attention이나 Nemotron의 Mamba block에서 특히 유용합니다.

정규화를 전압 안정기에 비유할 수 있습니다. 전압을 한 번만 맞출지, 각 장치 앞뒤에서 맞출지, 신호선 Q와 K에도 별도 안정기를 둘지의 차이입니다. 안정기를 많이 넣으면 비용이 늘지만 대형 시스템 전체가 멈추는 위험을 줄일 수 있습니다.

Attention의 진화는 곧 KV 캐시의 진화입니다

Attention은 두 병목을 동시에 만듭니다. prompt를 한 번 읽는 prefill에서는 토큰 사이 관계를 계산하는 비용이 크고, 한 토큰씩 생성하는 decode에서는 과거 Key와 Value를 읽어오는 memory bandwidth가 중요합니다.

KV cache의 대략적인 크기는 다음처럼 생각할 수 있습니다.

KV bytes ≈ 2 × layer 수 × KV head 수 × head dimension × sequence 길이 × batch × 원소당 bytes

예를 들어 80개 layer, 8개 KV head, head dimension 128, 128K context, batch 1, BF16이라는 단순 가정에서는 약 41.94GB, 39.06GiB입니다. 이는 계산을 위한 illustration이며 특정 모델의 실제 사용량은 cache layout, quantization, padding, tensor parallelism에 따라 달라집니다. 동시 사용자가 늘면 batch와 sequence 상태가 쌓이므로 KV cache가 가중치보다 큰 병목이 될 수 있습니다.

MHA → MQA → GQA: KV를 얼마나 공유할 것인가

• MHA: Query head마다 독립된 Key와 Value head를 둡니다. 표현력은 크지만 cache가 큽니다.
• MQA: 모든 Query head가 하나의 K/V를 공유합니다. cache는 크게 줄지만 품질 손실 가능성이 있습니다.
• GQA: Query head를 여러 group으로 묶어 group별 K/V를 공유합니다.

GQA 논문은 MHA와 MQA 사이의 품질과 속도 타협을 제시했습니다. Llama 2 70B와 Mistral 7B를 거쳐 보편화됐고, 이후 새 모델이 순수 MHA를 선택하면 그 이유를 따로 설명해야 할 정도가 됐습니다.

SWA: 가까운 토큰만 읽기

Sliding Window Attention은 각 토큰이 최근 W개 토큰만 봅니다. 연산과 cache를 window 크기에 묶을 수 있지만 먼 정보를 직접 회상하기 어렵습니다. 이를 보완하는 방식이 local layer 여러 개와 global layer 하나를 교대하는 pattern입니다. Gemma, Cohere2, OLMo3, EXAONE, GPT-OSS가 서로 다른 간격으로 이 방식을 사용했습니다.

MLA: K와 V를 저차원 잠재벡터로 압축하기

DeepSeek-V2는 Multi-head Latent Attention, MLA를 제안했습니다. 매 토큰의 전체 K와 V를 그대로 저장하는 대신 작은 latent vector를 cache하고, decode 때 필요한 K/V를 복원합니다. DeepSeek은 V2에서 이전 구조 대비 KV cache 93.3% 감소를 보고했지만, 이는 자사 비교 설정의 결과이지 모든 모델에 적용되는 고정 배수는 아닙니다.

MLA의 영향은 DeepSeek V3와 R1뿐 아니라 MiniCPM3, GLM MoE, Kimi와 Longcat 계열로 확산됐습니다. 핵심은 attention 품질을 크게 잃지 않으면서 “과거를 어떤 표현으로 저장할지”를 다시 설계한 데 있습니다.

Block sparse, indexer, CSA와 HCA: 모두 읽지 말고 골라 읽기

Block sparse attention은 미리 정한 block만 읽습니다. 학습된 indexer는 현재 query에 필요한 block을 먼저 골라줍니다. DeepSeek V4 공식 모델 카드는 이를 두 경로로 확장합니다.

• CSA, Compressed Sparse Attention: 여러 토큰을 압축한 뒤 indexer가 중요한 compressed block을 top-k로 고릅니다.
• HCA, Heavily Compressed Attention: 더 큰 단위로 강하게 압축해 짧아진 전체 stream을 dense하게 읽습니다.

두 attention을 layer별로 교대하고 최근 토큰은 별도 sliding window branch로 보존합니다. DeepSeek V4의 1M context는 단순히 최대 길이 숫자를 늘린 것이 아니라, long-range KV를 먼저 압축하고 필요한 부분만 읽는 memory architecture의 결과입니다.

Attention sink와 ChunkedKV: 작은 구현 선택도 중요합니다

Sliding window가 움직이면 처음 위치를 강하게 참조하던 학습분포가 깨질 수 있습니다. Attention sink는 head별로 학습되는 bias를 두어 이 문제를 완화합니다. ChunkedKV는 KV를 하나의 연속 buffer가 아니라 chunk 단위로 저장해 가변 길이 요청의 메모리 단편화를 줄입니다.

여기서 구분이 필요합니다. SWA, MLA, CSA/HCA는 무엇을 계산하고 저장할지 바꾸는 모델 구조입니다. ChunkedKV는 그 상태를 메모리에 어떻게 배치할지 바꾸는 runtime layout에 가깝습니다. 발표자료는 최신 모델에서 두 경계가 점점 합쳐지고 있음을 강조합니다.

위치 인코딩: 토큰의 주소를 얼마나, 어디까지 넣을 것인가

Self-attention 자체는 단어 순서를 모릅니다. RoPE는 Query와 Key의 일부 차원을 위치에 따라 회전시켜 두 토큰 사이 상대거리를 attention score에 반영합니다. 2023년 이후 공개 LLM 대부분이 RoPE 또는 그 변형을 사용합니다.

발표자료는 세 갈래로 정리합니다.

1. 얼마나 적용할까: Partial RoPE는 head dimension의 일부만 회전시키고 나머지는 위치 영향이 적은 content dimension으로 남깁니다.
2. 얼마나 늘릴까: LongRoPE, YaRN, Dynamic NTK는 학습 때보다 긴 context에서 RoPE frequency를 늘리거나 적응시킵니다.
3. 어떻게 섞을까: Dual RoPE는 local과 global layer에 다른 frequency를, Multi-RoPE는 head 구간별로 다른 설정을, Per-layer RoPE는 layer별로 다른 설정을 둡니다. Vision-language model의 M-RoPE는 이미지와 영상의 2D·3D 좌표까지 인코딩합니다.

중요한 점은 position encoding이 더 이상 모델 전체에 하나의 고정 설정이 아니라는 사실입니다. 어떤 layer가 가까운 문맥을 보고 어떤 layer가 멀리 보는지에 따라 서로 다른 위치 기하학을 사용할 수 있습니다.

활성화 함수: SwiGLU로 수렴했지만 한 갈래는 아닙니다

2017년 Transformer의 ReLU, BERT의 GeLU를 거쳐 Llama는 SwiGLU를 주류로 만들었습니다.

SwiGLU(x) = Swish(xW_gate) ⊙ (xW_up) W_down

두 linear branch 가운데 하나가 gate 역할을 해 다른 branch의 정보가 얼마나 통과할지 정합니다. 같은 규모에서 학습효율과 품질이 좋아 많은 모델이 채택했습니다.

그러나 Gemma의 GeGLU와 GeLU approximation, Phi의 GeGELU, GPT-OSS와 Step 계열의 clamped SwiGLU처럼 변형이 이어졌습니다. Clamp는 큰 activation이 폭주하는 것을 제한해 특히 MoE expert의 안정성을 높일 수 있습니다. NVIDIA Nemotron 계열은 양수 구간을 제곱하는 ReLU²를 유지합니다. 더 날카롭고 sparse한 activation을 만들지만, 이 선택은 아직 NVIDIA 계열에 주로 집중돼 있습니다.

활성화 함수 경쟁은 벤치마크 한 점보다 학습 안정성, kernel 효율, 양자화 적합성, expert 출력분포의 공동 최적화 문제입니다.

MoE: 큰 모델의 용량과 토큰당 계산을 분리합니다

Dense model에서는 모든 토큰이 거의 모든 FFN parameter를 통과합니다. Sparse Mixture-of-Experts, MoE는 여러 expert FFN 가운데 일부만 token별로 선택합니다. 총 parameter는 크게 늘리되 활성 parameter와 연산은 작게 유지할 수 있습니다.

병원으로 비유하면 모든 환자가 모든 전문의를 만나는 대신, 접수 router가 필요한 전문의 몇 명에게만 보냅니다. 병원 전체의 전문성은 크지만 환자 한 명이 쓰는 진료시간은 제한됩니다.

Mixtral: Top-K routing의 표준

Mixtral 8×7B는 각 layer의 FFN을 8개 expert로 바꾸고 token마다 상위 2개를 선택했습니다. 총 parameter는 약 47B지만 token당 약 13B가 활성화됩니다. 이 구조가 오픈 웨이트 sparse MoE의 표준적인 출발점이 됐습니다.

공유 expert: 공통 지식과 전문 지식의 분리

Qwen MoE와 DeepSeekMoE 계열은 모든 token이 거치는 shared expert와 선택적으로 거치는 routed expert를 함께 둡니다. 자주 쓰는 공통 변환은 shared expert가 맡고, 나머지는 전문 expert에 분산해 router의 부담과 지식 중복을 줄이려는 설계입니다. 이후 EXAONE MoE, Hunyuan, ERNIE, Solar, Longcat 등으로 확산됐습니다.

Aux-free load balancing: expert 쏠림을 어떻게 막는가

Router가 몇 개 expert만 선호하면 나머지 expert는 학습되지 않고 특정 GPU에 부하가 몰립니다. 초기 MoE는 auxiliary loss로 균형을 강제했지만, 본래 next-token objective와 충돌할 수 있습니다.

DeepSeek-V3 기술보고서는 main routing score를 직접 흔들지 않고 expert별 bias를 조정하는 auxiliary-loss-free balancing을 제시했습니다. Sigmoid score, group-limited routing, shared expert와 결합해 대형 MoE의 안정성을 높였습니다. DeepSeek V4는 affinity 함수를 다시 바꾸고 초기 layer에 hash-based routing을 사용하지만, routing 자체가 지속적인 최적화 대상이라는 큰 방향은 같습니다.

활성 parameter가 곧 실제 비용은 아닙니다

“100B 모델을 10B 비용으로 실행한다”는 설명은 계산량을 이해하는 데 유용하지만 완전하지 않습니다.

• 전체 weight는 여전히 accelerator memory에 올라가거나 여러 장비에 분산돼야 합니다.
• token이 expert가 있는 GPU로 이동하는 all-to-all communication이 필요합니다.
• batch가 작으면 expert마다 충분한 token을 모으지 못해 이용률이 떨어집니다.
• router 불균형, memory bandwidth, interconnect가 실제 latency를 결정할 수 있습니다.

따라서 MoE의 경제성은 총 parameter와 active parameter뿐 아니라 expert parallelism, batch shape, network topology, serving scheduler까지 봐야 합니다.

Beyond Transformer: Mamba와 RWKV가 되살린 순환 상태

기본 self-attention은 sequence가 길어질수록 과거 token과의 관계 계산이 커집니다. State Space Model, SSM과 RNN 계열은 과거 전체를 KV로 저장하는 대신 고정 크기 state를 한 단계씩 갱신합니다.

Mamba: 입력에 따라 무엇을 기억할지 선택합니다

Mamba 논문은 selective SSM과 hardware-aware parallel scan을 결합했습니다. RNN처럼 추론할 때 고정 크기 state를 갱신하지만, 학습에서는 GPU에 맞춘 병렬 계산을 사용합니다.

여기에는 발표자료의 설명을 한 가지 정교하게 고칠 필요가 있습니다. “상태행렬 A 전체가 입력에 따라 바뀐다”라고 단순화하기보다, 원 논문에서는 주로 B, C, step size Δ 같은 SSM parameter가 입력에 따라 달라져 어떤 정보를 통과시키거나 잊을지 선택한다고 보는 편이 정확합니다.

Mamba의 장점은 sequence 길이에 선형적으로 scaling하고 decode state가 고정 크기라는 점입니다. 약점은 특정 과거 token을 주소로 찍어 다시 읽는 정확한 retrieval입니다. 긴 문맥을 효율적으로 요약하는 능력과 원문 한 줄을 정확히 찾는 능력은 다릅니다.

RWKV: Transformer처럼 학습하고 RNN처럼 실행하기

RWKV는 token shift와 WKV recurrent state를 사용해 linear attention과 RNN의 경계에 섭니다. 추론 시 sequence 길이와 무관한 state를 유지하며 streaming에 유리합니다. v7은 layer 내부의 low-rank adaptation과 gate를 강화했습니다.

SSM과 RNN이 Transformer를 완전히 대체하지 못한 이유는 attention의 content-addressable retrieval이 여전히 강력하기 때문입니다. 이 약점이 바로 다음 흐름인 hybrid를 만들었습니다.

Hybrid: 정확한 회상과 긴 문맥 효율을 layer별로 나눕니다

Jamba는 Mamba와 attention을 교대하고 sparse MoE를 결합했습니다. RecurrentGemma는 recurrent linear unit와 local attention을 섞었습니다. NVIDIA의 Nemotron 3 Nano 모델 카드는 Mamba-2 layer, GQA attention layer, sparse MoE layer를 하나의 stack에 넣습니다.

Qwen3 Next 모델 카드는 3개의 Gated DeltaNet + 1개의 Gated Attention을 한 묶음으로 반복합니다. Kimi Linear는 Kimi Delta Attention과 global MLA를 3:1로 배치합니다.

이 설계의 직관은 분명합니다.

• 대부분의 layer는 linear attention이나 Mamba state로 긴 문맥을 싸게 압축합니다.
• 일정 간격의 full attention layer는 과거 token을 정확히 다시 찾습니다.
• MoE는 FFN의 총용량을 늘리면서 active compute를 제한합니다.

대신 runtime은 복잡해집니다. Full attention layer에는 KV cache가 필요하고, Mamba나 DeltaNet layer에는 recurrent state가 필요합니다. 한 요청 안에서 cache type이 layer마다 바뀌므로 scheduler와 memory manager가 모델의 pattern을 알아야 합니다.

Decoding: 더 좋은 모델이 아니라 같은 모델을 더 빨리 출력하는 방법

Autoregressive LLM은 한 token을 만든 뒤 그 token을 다시 입력해 다음 token을 만듭니다. 큰 target model을 token마다 한 번씩 실행하므로 memory bandwidth와 sequential latency가 병목입니다.

Speculative decoding은 작은 drafter가 여러 token을 먼저 제안하고, 큰 target model이 한 번의 forward pass로 후보를 병렬 검증합니다. 원 논문의 정확한 sampling algorithm은 target model과 같은 분포를 유지하면서 속도를 높입니다.

Multi-Token Prediction, MTP는 한 위치에서 미래의 여러 token을 예측하도록 보조 head나 drafter를 학습합니다. DeepSeek V3는 이를 training objective로 사용했고, 최신 Qwen과 Gemma 계열은 serving acceleration으로 연결합니다.

비유하면 junior editor가 다음 몇 문장을 초안하고 senior editor가 한꺼번에 승인하는 방식입니다. 초안이 자주 맞으면 target forward pass가 줄지만, acceptance rate가 낮으면 drafter 비용만 늘 수 있습니다. 따라서 이득은 다음 조건에 따라 달라집니다.

• target과 drafter의 속도 차이
• 후보 token 수와 acceptance rate
• batch size와 sequence 길이
• assistant KV cache의 추가 비용
• sampling 또는 greedy decoding 설정
• runtime이 MTP head를 얼마나 잘 지원하는지

“출력 품질이 완전히 같다”는 말도 구현을 구분해야 합니다. 원 논문의 exact speculative sampling은 분포를 보존하지만, 실무의 간소화된 MTP, heuristic acceptance, quantized drafter는 설정에 따라 출력 경로가 달라질 수 있습니다.

여덟 흐름을 관통하는 다섯 가지 패턴

발표자료의 종합부는 65장의 내용을 다섯 방향으로 압축합니다.

1. 효율성: 모든 parameter를 매번 쓰지 않습니다

MoE는 FFN에서 일부 expert만 활성화하고, linear attention과 SSM은 모든 과거 token을 직접 읽지 않습니다. GQA와 MLA는 cache를 공유하거나 압축합니다. MTP는 target model 실행 횟수를 줄입니다. 서로 다른 위치의 낭비를 줄이는 기술입니다.

2. 안정성: Norm은 줄어들지 않고 늘어났습니다

RMSNorm으로 계산은 단순해졌지만, QK Norm, post-attention norm, pre·post FFN norm, gated norm, zero-centered variant가 추가됐습니다. 모델이 깊어지고 MoE와 mixed precision이 결합될수록 안정화 장치는 더 세밀해졌습니다.

3. 전문화: 하나의 최고 모델보다 목적별 구조가 늘어납니다

Edge model은 memory와 latency를, code model은 긴 repository와 정확한 token pattern을, 지역 모델은 언어와 서비스 생태계를, multimodal model은 여러 encoder와 position geometry를 우선합니다. 같은 Llama 문법에서 출발해도 최적 부품은 달라집니다.

4. Hybrid: 하나의 패러다임이 전체 layer를 지배하지 않습니다

Full attention은 정확한 회상에, linear attention과 SSM은 긴 문맥 처리량에, MoE는 parameter capacity에 강합니다. 최신 모델은 각각의 강점을 layer별로 배치합니다. “Transformer 대 Mamba”처럼 승자를 하나 고르는 질문보다 “어느 layer에 어떤 기억장치를 둘 것인가”가 더 중요해졌습니다.

5. Cache 구조: 모델의 기억 방식이 runtime을 결정합니다

표준 KV tensor 하나만 만들던 시대에서 rotating KV, chunked KV, compressed KV, indexer cache, Mamba state가 공존하는 시대로 이동했습니다. 긴 context 경쟁의 핵심은 context window 숫자보다 memory layout과 retrieval mechanism입니다.

누가 누구에게 영향을 줬는가

발표자료의 영향력 지도를 간단히 정리하면 다음과 같습니다.

• Llama: RMSNorm, SwiGLU, RoPE, GQA로 현대 오픈 LLM의 공통 문법을 만들었습니다.
• Mistral: SWA와 rotating cache를 실용화했습니다.
• Cohere: QK Norm과 parallel block이라는 다른 분기를 확산시켰습니다.
• Gemma: alternating local-global attention, soft-capping, 다중 norm으로 안정성 실험을 넓혔습니다.
• Mixtral: token별 Top-K sparse MoE의 표준을 만들었습니다.
• Qwen MoE: shared expert pattern을 널리 퍼뜨렸습니다.
• DeepSeek V2·V3·V4: MLA, auxiliary-loss-free routing, compressed sparse attention으로 memory와 MoE의 기준선을 계속 옮겼습니다.
• Mamba와 Nemotron: 순수 SSM의 승리보다 attention과 recurrent state를 섞는 hybrid의 기반을 만들었습니다.

혁신은 직선으로 이동하지 않습니다. Mistral이 Llama의 골격에 SWA를 얹고, 후속 모델이 Gemma의 교대 패턴과 DeepSeek의 MLA를 다시 결합합니다. 한 회사가 발명한 부품이 다른 회사에서 표준화되고, 세 번째 회사가 서빙에 맞게 변형합니다.

한국 모델은 어디에 있는가

발표자료는 한국 모델을 완전히 새로운 구조적 분기보다 세계 흐름을 빠르게 흡수하고 한국어와 공개 생태계에 맞게 조합하는 계보로 평가합니다.

• EXAONE 3.0·4.0: Llama식 기반에서 local·global pattern, output norm, QK RMSNorm을 결합했습니다.
• EXAONE MoE: sigmoid routing, group 제한, shared expert 등 DeepSeek와 Qwen 계보의 기술을 흡수했습니다.
• HyperCLOVA X SEED: text, vision, reasoning, omni model로 line-up을 확장하고 Peri-LN과 μP scaling을 사용했습니다.
• Solar Open: routed expert와 shared expert를 결합한 한국어 중심 대형 MoE를 공개했습니다.

“새로운 branch가 아니다”라는 평가는 반드시 약점만을 뜻하지 않습니다. 연구의 독창성과 제품 경쟁력은 같은 지표가 아닙니다. 공개된 architecture를 빠르게 흡수하고 한국어 data, tokenizer, post-training, local hardware와 serving stack에 맞춰 재현하는 능력도 중요합니다.

다만 장기적으로는 두 질문이 남습니다.

1. 한국어 특화 이상의 독자적인 memory, routing, multimodal architecture를 만들 수 있는가
2. 모델 weight뿐 아니라 training recipe, evaluation, runtime kernel과 cache implementation까지 공개 생태계를 만들 수 있는가

발표자료가 62~65장에서 모델 카드뿐 아니라 config.json, weight index, Hugging Face Transformers, vLLM, SGLang, MLX 구현을 함께 확인해야 한다고 강조한 이유도 여기에 있습니다. 재현 가능한 모델 생태계는 checkpoint 하나보다 훨씬 넓습니다.

발표자료를 읽을 때 보완해야 할 네 가지

이 자료는 방대한 모델을 하나의 지도로 압축한 만큼, 몇 문장은 조건을 붙여 읽어야 더 정확합니다.

1. KV cache가 항상 model weight보다 큰 것은 아닙니다. 긴 context, 큰 batch, 높은 동시성에서 그렇게 될 수 있다는 뜻입니다. 짧은 request나 큰 MoE weight에서는 weight memory가 더 클 수 있습니다.
2. Active parameter는 실제 latency의 대용치일 뿐입니다. MoE communication, expert utilization, memory placement를 함께 봐야 합니다.
3. Mamba의 선택성은 A 행렬 하나로 설명되지 않습니다. 원 논문의 input-dependent parameterization과 selective state update 전체로 이해해야 합니다.
4. 긴 context 지원과 긴 context 활용은 다릅니다. 128K나 1M token을 입력할 수 있어도 먼 위치의 정확한 retrieval, multi-hop reasoning, noise resistance는 별도 검증이 필요합니다.

이 보완은 발표자료의 큰 결론을 약화하지 않습니다. 오히려 왜 architecture와 runtime을 함께 봐야 하는지 더 선명하게 합니다.

새 모델이 나왔을 때 읽는 순서

새 모델 카드에서 parameter 수와 benchmark만 보지 말고 다음 순서로 보면 구조가 빠르게 보입니다.

1. 골격: Decoder-only인가, attention·SSM·linear hybrid인가
2. Normalization: RMSNorm인가, QK Norm과 post-norm이 어디에 붙는가
3. Attention pattern: full, GQA, SWA, MLA, sparse 중 무엇이며 layer별 pattern은 어떤가
4. Position: RoPE를 전체 dimension에 쓰는가, partial·dual·long scaling인가
5. FFN: Dense인가 MoE인가, expert 수와 top-k, shared expert, routing 함수는 무엇인가
6. State: layer마다 어떤 KV cache나 recurrent state가 필요한가
7. Precision: BF16 원본인지, FP8·FP4가 training인지 post-training quantization인지
8. Decoding: MTP head나 assistant drafter가 있는가, runtime이 이를 지원하는가
9. 멀티모달: vision·audio encoder와 connector, position encoding은 어떻게 연결되는가
10. 구현 검증: 모델 카드의 설명이 실제 config와 serving code에 반영돼 있는가

이 열 가지를 보면 모델 이름이 달라도 어느 계보에서 왔고 어떤 병목을 겨냥했는지 파악할 수 있습니다.

1~65장 전체 반영 지도

슬라이드	발표자료의 내용	이 글에서 다룬 위치
1~4	문제 제기, 목차, 8개 architecture 흐름	도입, 여덟 개의 흐름
5~9	Llama, Mistral, Cohere 계보	흐름 1
10~12	Gemma 1·2·3·3n·4	흐름 2~4의 Gemma
13~14	효율화·소형화, 특수화·지역화	흐름 2~4의 소형·지역 모델
15~16	MoE의 등장과 확산	MoE 전체 절
17~19	Mamba·RWKV, Hybrid, 2025~2026 신표준	Beyond Transformer, Hybrid
20~27	알고리즘 목차, LayerNorm·RMSNorm·QK Norm·gated norm	정규화 절
28~35	MHA·MQA·GQA, SWA, MLA, sparse, sink, ChunkedKV, hybrid pattern	Attention과 KV cache 절
36~39	RoPE, Partial·Long·Multi·Dual·Per-layer	위치 인코딩 절
40~42	SwiGLU 변형과 ReLU²	활성화 함수 절
43~47	Top-K MoE, shared expert, aux-free, sigmoid routing	MoE 절
48~49	KV cache 병목과 cache 종류	KV cache 공식과 runtime state
50~53	SSM, Mamba, RWKV, linear attention hybrid	Beyond Transformer, Hybrid
54	Speculative decoding과 MTP	Decoding 절
55~57	다섯 패턴과 영향력 지도	다섯 패턴, 영향력 지도
58	서빙·최적화 시사점	Runtime subsystem 도식과 해설
59	한국 모델의 위치	한국 모델 절
60~61	다음 흐름과 결론	결론과 새 모델 읽는 순서
62~65	검증 방법, 논문·모델·구현 참고문헌	자료 검증 주석과 아래 출처

맺으며

2023년 이후 LLM의 발전을 “parameter가 계속 커졌다”라고만 설명하면 가장 중요한 변화가 빠집니다. Llama가 안정적인 기본문법을 만든 뒤, 모델들은 네 방향으로 더 정교해졌습니다.

• 계산할 parameter를 token별로 고르는 MoE
• 저장할 과거를 공유·압축·희소화하는 GQA, MLA, CSA/HCA
• 긴 문맥을 고정 state로 처리하는 Mamba, RWKV, linear attention
• 여러 memory path와 drafter를 함께 운영하는 hybrid serving

앞으로 모델의 차이는 weight 파일 안에만 있지 않을 가능성이 큽니다. 같은 parameter 수라도 cache layout, expert routing, quantization, speculative decoding 지원에 따라 실제 비용과 속도가 달라집니다. 그래서 “어떤 모델이 가장 좋은가”보다 먼저 물어야 할 질문은 이것입니다.

이 모델은 어떤 정보를 매번 계산하고, 무엇을 선택적으로 계산하며, 과거를 어떤 상태로 저장하고, 그 구조를 runtime이 얼마나 정확하게 실행하는가.

그 질문을 할 수 있게 해준다는 점에서 이 65장 발표자료의 가장 큰 가치는 개별 모델 목록이 아니라 LLM을 부품과 계보, 그리고 서빙 시스템으로 읽는 법에 있습니다.

---

주요 자료

• 신정규, 래블업, LLM Internals: 언어 모델의 계보와 알고리즘 진화, 65 slides
• Meta, LLaMA: Open and Efficient Foundation Language Models, Introducing Meta Llama 3
• Mistral AI, Mistral 7B, Jiang et al., Mixtral of Experts
• Google, Gemma 2 architecture explained, Gemma 4 Multi-Token Prediction
• Zhang and Sennrich, Root Mean Square Layer Normalization, Ainslie et al., Grouped-Query Attention
• DeepSeek-AI, DeepSeek-V2, DeepSeek-V3 Technical Report, DeepSeek-V4-Flash Model Card
• Gu and Dao, Mamba, NVIDIA, Nemotron 3 Nano Model Card
• Qwen, Qwen3 Next Model Card, Moonshot AI, Kimi Linear
• Leviathan et al., Fast Inference from Transformers via Speculative Decoding

이 글은 공개 발표자료와 공식 논문·모델 카드·구현 문서를 바탕으로 아키텍처의 계보와 서빙 의미를 설명합니다. 특정 모델의 도입 또는 투자판단을 다루지 않습니다.