트랜스포머 이후 AI 모델 아키텍처는 어디로 가는가
AI 모델을 설명할 때 우리는 GPT, Transformer, LLM, 월드모델, 시계열 파운데이션 모델 같은 이름을 한 줄에 놓곤 합니다. 그러나 이들은 같은 수준의 개념이 아닙니다.
Transformer는 신경망 안에서 정보가 이동하는 계산 아키텍처입니다. LLM은 대규모 언어 데이터와 자기회귀 학습을 결합한 모델 범주입니다. frontier LLM은 여기에 멀티모달 입력, post-training, 추론 시 계산, 도구와 메모리를 결합한 시스템에 가깝습니다. 월드모델은 관측과 행동 이후의 상태 변화를 예측하려는 학습 목적과 표현 방식입니다. Amazon의 Chronos는 언어모델 구조를 시계열 예측에 이식한 도메인 파운데이션 모델입니다.
이 차이를 보지 않으면 “모두 Transformer인데 무엇이 다른가”, “LLM도 다음 상태를 예측하니 월드모델 아닌가”, “Chronos는 숫자를 읽는 LLM인가”라는 질문에 답하기 어렵습니다.
핵심부터 말하면 이렇습니다.
AI 아키텍처의 발전은 하나의 더 큰 신경망으로 수렴하는 과정이 아닙니다. 같은 계산 부품을 사용하더라도 무엇을 상태로 표현하고, 어떤 조건에서 무엇을 예측하며, 그 예측을 어떤 행동에 연결할지에 따라 서로 다른 지능으로 분화하는 과정입니다.
이 글에서는 아키텍처의 개념을 먼저 정의하고, CNN과 RNN에서 Transformer로 넘어온 이유, 현재 frontier LLM의 실제 구조, 월드모델의 여러 계보, Chronos부터 Chronos-2까지의 진화를 하나의 공통 프레임으로 비교합니다. 폐쇄형 모델의 공개되지 않은 내부구조는 추정하지 않고, 논문과 공식 기술자료로 확인할 수 있는 사례를 중심으로 설명합니다.
모델 아키텍처는 신경망 블록보다 넓은 개념입니다
좁은 의미의 아키텍처는 layer, attention, convolution, recurrence처럼 텐서가 어떤 연산을 거치는지를 뜻합니다. 그러나 실제 모델의 능력과 경제성을 이해하려면 적어도 여섯 층을 함께 봐야 합니다.
- 표현: 텍스트, 이미지, 숫자, 행동을 어떤 단위로 바꾸는가
- 정보 혼합: 멀리 떨어진 입력과 여러 변수를 어떻게 연결하는가
- 상태와 메모리: 과거 정보를 어디에 얼마나 오래 보존하는가
- 학습목표: 다음 토큰, 가려진 표현, 미래 상태, 보상 가운데 무엇을 예측하는가
- 출력과 의사결정: 문장, 확률분포, 미래 궤적, 행동 가운데 무엇을 내놓는가
- 시스템: 검색, 도구, 데이터베이스, 시뮬레이터, 사람을 어떻게 연결하는가
예를 들어 GPT형 LLM과 Chronos가 모두 Transformer를 사용할 수 있습니다. 그러나 GPT는 subword token의 다음 분포를 예측하고, Chronos는 정규화된 시계열 값이나 patch의 미래 분포를 예측합니다. V-JEPA 2도 Transformer 계열 encoder를 사용하지만 픽셀을 복원하는 대신 미래 영상의 latent embedding을 예측하고, 행동 조건을 더해 로봇 계획에 사용합니다.
자동차로 비유하면 Transformer는 엔진과 변속기의 기본 설계에 가깝습니다. LLM, 월드모델, Chronos는 같은 엔진 원리를 서로 다른 센서, 차체, 목적함수, 제어시스템에 결합한 차량입니다. 엔진 이름이 같다고 용도가 같지는 않습니다.
Transformer 이전에는 무엇이 병목이었는가
AI 아키텍처의 발전은 이전 구조가 가진 inductive bias와 계산 병목을 바꾸는 과정이었습니다.
완전연결 신경망은 구조를 거의 가정하지 않았습니다
초기의 multilayer perceptron은 입력의 모든 요소를 다음 층의 모든 뉴런에 연결합니다. 범용적이지만 이미지에서 가까운 픽셀이 관련 있다는 공간 구조나 문장에서 단어 순서가 중요하다는 시간 구조를 직접 활용하지 못합니다. 입력 크기가 커지면 파라미터 수도 빠르게 늘어납니다.
CNN은 지역성과 이동 불변성을 구조에 넣었습니다
Convolutional Neural Network는 작은 filter를 이미지 전체에 공유합니다. 가까운 픽셀의 패턴을 먼저 찾고 이를 계층적으로 조합하므로 이미지에 매우 적합했습니다. 파라미터 공유 덕분에 완전연결망보다 효율적이었습니다. 대신 멀리 떨어진 영역의 관계를 직접 연결하려면 층을 깊게 쌓거나 receptive field를 넓혀야 했습니다.
RNN과 LSTM은 순서를 hidden state에 압축했습니다
Recurrent Neural Network는 시점 t의 입력과 이전 hidden state를 결합해 다음 state를 만듭니다.
h_t = f(x_t, h_{t-1})
이 구조는 가변 길이 sequence를 자연스럽게 다뤘지만, 토큰을 순서대로 처리해야 해 병렬 학습이 어렵습니다. 긴 문맥을 하나의 state에 계속 압축하면서 먼 정보가 약해지고 gradient가 사라지거나 폭주하는 문제도 생겼습니다. LSTM과 GRU의 gate가 이를 완화했지만 순차 계산이라는 근본 병목은 남았습니다.
기계번역의 encoder-decoder RNN에서는 원문의 모든 의미를 제한된 벡터에 넣어야 했습니다. Attention은 decoder가 출력할 때 encoder의 각 위치를 다시 참조하게 하면서 이 병목을 줄였습니다. Transformer의 혁신은 attention을 보조장치가 아니라 계산의 중심으로 만든 것입니다.
Transformer는 순차 계산을 관계 계산으로 바꿨습니다
2017년 발표된 Attention Is All You Need는 recurrence와 convolution 없이 attention과 feed-forward network만으로 sequence를 처리하는 encoder-decoder 구조를 제안했습니다. 처음 목적은 범용 챗봇이 아니라 기계번역이었습니다.
Transformer의 핵심은 각 token이 다른 모든 token을 직접 바라보며 현재 위치에 필요한 정보를 가중합하는 self-attention입니다.
1. 입력을 token과 위치로 바꿉니다
문장은 subword token으로 나뉘고 각 token은 embedding vector로 변환됩니다. Self-attention 자체에는 순서 개념이 없으므로 positional encoding이나 rotary position embedding 같은 위치정보를 더합니다.
2. 각 token에서 Query, Key, Value를 만듭니다
입력 X에 서로 다른 학습 행렬을 곱합니다.
Q = XW_Q, K = XW_K, V = XW_V
Query는 지금 무엇을 찾는지, Key는 각 위치가 무엇을 제공하는지, Value는 선택됐을 때 전달할 내용에 해당합니다.
3. 관련도를 계산해 정보를 섞습니다
Attention(Q,K,V) = softmax(QKᵀ / √d_k)V
각 Query와 모든 Key의 유사도를 계산하고 정규화한 뒤 Value를 가중합합니다. 문장 앞의 주어와 뒤의 동사, 코드의 함수 정의와 호출처럼 멀리 떨어진 관계를 한 층에서 직접 연결할 수 있습니다.
4. 여러 관점을 병렬로 봅니다
Multi-head attention은 서로 다른 투영공간에서 여러 attention을 동시에 계산합니다. 하나의 head는 문법 관계를, 다른 head는 개체나 위치 관계를 학습할 수 있습니다. 다만 각 head가 사람이 해석 가능한 고정 역할을 가진다고 단정할 수는 없습니다.
5. 각 위치에서 비선형 변환을 수행합니다
Attention이 token 사이의 정보를 섞는다면 feed-forward network는 각 위치의 표현을 독립적으로 변환합니다. Residual connection과 layer normalization이 깊은 네트워크의 학습을 안정화합니다.
Transformer가 빠르게 확산된 이유는 세 가지입니다.
- 병렬 학습: sequence의 모든 위치를 GPU와 TPU에서 동시에 계산할 수 있습니다.
- 장거리 연결: 한 token이 먼 token을 직접 참조할 수 있습니다.
- 범용 표현: 텍스트뿐 아니라 image patch, audio frame, 단백질, 시계열을 sequence로 바꾸면 같은 계산 틀을 적용할 수 있습니다.
대신 비용도 있습니다. 기본 self-attention은 sequence 길이 n에 대해 attention score가 n×n이므로 계산과 메모리 부담이 빠르게 증가합니다. 긴 문맥을 넣을 수 있다는 사실과 그 문맥을 정확히 사용한다는 사실도 다릅니다. 또한 context window 안의 정보는 일시적인 작업기억이며, 모델 가중치나 외부 저장소처럼 지속되는 메모리는 아닙니다.
Encoder, decoder, LLM은 같은 말이 아닙니다
원래 Transformer에는 encoder와 decoder가 모두 있었습니다.
| 구조 | 볼 수 있는 범위 | 대표 학습방식 | 적합한 작업 |
|---|---|---|---|
| Encoder-only | 입력의 앞뒤를 양방향으로 참조 | 가려진 token 또는 표현 학습 | 분류, 검색, embedding, 이해 |
| Decoder-only | 현재 위치보다 앞선 token만 참조 | 다음 token 예측 | 생성, 대화, 코드, 범용 LLM |
| Encoder-decoder | encoder는 입력 전체, decoder는 이전 출력 참조 | 입력에서 출력 sequence 생성 | 번역, 요약, 조건부 생성 |
BERT는 encoder 계열, GPT는 decoder 계열, T5는 encoder-decoder 계열의 대표 사례입니다. 현재 범용 LLM의 주류는 decoder-only Transformer입니다. 다음 token 예측이라는 단순한 목표가 데이터와 규모를 늘리기 쉽고, prompt와 답변을 하나의 sequence로 표현할 수 있기 때문입니다.
p(x_1, …, x_T) = ∏ p(x_t | x_<t)
문서, 코드, 대화, 이미지 설명을 token sequence로 바꾸면 모델은 과거 token을 조건으로 다음 token의 확률분포를 학습합니다. 이 목적함수는 지식, 문법, 스타일, 일부 추론 패턴을 함께 압축할 수 있습니다. 그러나 다음 token을 잘 맞히는 것과 사실을 검증하고, 장기 목표를 유지하고, 현실의 인과구조를 정확히 갖는 것은 동일하지 않습니다.
현재 frontier LLM은 하나의 신경망보다 하나의 스택입니다
폐쇄형 frontier model은 세부 아키텍처를 전부 공개하지 않습니다. 따라서 특정 상용 모델이 어떤 attention, expert routing, 데이터 조합을 쓴다고 외부에서 단정하면 추정이 됩니다. 대신 공개된 Llama 4, DeepSeek-V3, Apple Foundation Models는 현재 구조가 어디에서 진화하는지 보여주는 확인 가능한 사례입니다.
1. Dense에서 sparse MoE로 계산을 조건부 배분합니다
Dense model은 매 token이 거의 모든 파라미터를 통과합니다. Mixture-of-Experts는 여러 feed-forward expert 가운데 일부만 token별로 활성화합니다. 전체 파라미터와 지식용량은 크게 유지하면서 token당 계산량을 낮추려는 구조입니다.
DeepSeek-V3 기술보고서는 총 671B 파라미터 가운데 token당 37B를 활성화하는 DeepSeekMoE를 설명합니다. Meta의 Llama 4 공개자료에 따르면 Maverick은 400B 총 파라미터와 17B active parameters를 가지며, MoE layer에서 shared expert와 128개 routed experts 가운데 하나를 사용합니다.
MoE는 공짜 확장이 아닙니다. 모든 expert의 가중치를 메모리에 보관해야 하고, token을 expert에 분배하는 통신이 병목이 될 수 있습니다. 특정 expert에 token이 몰리는 load balancing, expert가 실제로 전문화되는지, 분산 inference에서 latency를 어떻게 통제할지가 중요합니다. 파라미터 수만 비교하면 dense와 MoE의 경제성을 오해하기 쉽습니다.
2. Attention보다 KV cache가 inference 병목이 됩니다
Decoder LLM은 새 token을 생성할 때 과거 token의 Key와 Value를 KV cache에 저장합니다. 긴 context, 큰 batch, 많은 동시 사용자가 만나면 이 메모리가 serving 비용을 크게 만듭니다.
Multi-Query Attention과 Grouped-Query Attention은 여러 query head가 Key와 Value를 공유해 cache를 줄입니다. DeepSeek-V3의 Multi-head Latent Attention은 Key와 Value를 저차원 latent로 압축해 inference cache를 줄이는 접근입니다. Apple은 2025 Foundation Models 기술보고서에서 on-device 모델의 KV-cache sharing과 서버 모델의 interleaved global-local attention을 공개했습니다.
이는 현대 아키텍처가 정확도만이 아니라 memory bandwidth와 serving topology에 맞춰 공동 설계된다는 뜻입니다. 모델 구조와 반도체·네트워크 구조의 경계가 흐려지고 있습니다.
3. Multimodality는 모든 입력을 같은 sequence 공간으로 모읍니다
이미지는 patch, 음성은 frame이나 codec token, 영상은 spatiotemporal token으로 바꿀 수 있습니다. Llama 4는 text와 vision token을 하나의 backbone에서 함께 학습하는 early fusion을 공개했습니다. 다른 시스템은 modality별 encoder와 language decoder를 연결하기도 합니다.
모든 modality가 token이 된다고 의미가 같아지는 것은 아닙니다. 이미지는 공간의 2차원 구조, 영상은 시간과 움직임, 오디오는 주파수와 시간, 시계열은 주기와 scale을 가집니다. tokenizer와 positional scheme이 이 구조를 얼마나 보존하는지가 중요합니다.
4. 긴 context는 구조, 학습, serving의 공동 문제입니다
긴 context를 위해 rotary position scaling, local-global attention, sliding window, memory compression, recurrence, retrieval이 사용됩니다. 명목상 context length가 길어도 긴 문서의 중간 정보를 놓치거나, 관련 없는 token 때문에 품질이 떨어질 수 있습니다. Attention 계산을 줄이는 구조와 실제로 먼 의존성을 학습하는 데이터가 모두 필요합니다.
5. Reasoning 성능은 network topology만으로 설명되지 않습니다
현재의 reasoning model은 기본 Transformer에 supervised fine-tuning, reinforcement learning, verifier, distillation, synthetic reasoning traces, test-time sampling과 search를 결합합니다. DeepSeek-V3도 pre-training 뒤 SFT와 RL을 수행했다고 공개합니다.
따라서 reasoning 성능이 올랐다고 새로운 신경망 아키텍처가 등장한 것은 아닐 수 있습니다. 같은 base model도 post-training과 inference budget에 따라 전혀 다른 행동을 보입니다. 모델이 답을 생성하기 전에 더 많은 token과 여러 후보를 사용하면 품질은 오를 수 있지만 latency와 결과당 비용도 함께 증가합니다.
6. Agent가 되면 모델 밖 아키텍처가 성능을 좌우합니다
LLM이 검색, 코드 실행, 데이터베이스, 메모리, 권한, 사람 승인을 사용하면 평가 단위는 neural network가 아니라 전체 agent system이 됩니다. 모델은 다음 행동을 제안하고, harness가 허용된 도구와 순서, 중단, 재시도, 검증을 관리합니다.
결국 현재 frontier LLM은 “Transformer를 버린 다음 세대”라기보다 Transformer의 계산·메모리·학습·시스템 병목을 층별로 최적화한 세대에 가깝습니다.
월드모델은 다음 token이 아니라 행동 이후의 세계를 예측합니다
월드모델이라는 용어는 넓게 사용됩니다. 최소한의 공통 정의는 에이전트가 관측한 세계를 내부 상태로 압축하고, 시간이 흐르거나 행동했을 때 그 상태가 어떻게 변할지를 예측하는 모델입니다.
z_t = encoder(o_t)
z_{t+1} ~ p(z_{t+1} | z_t, a_t)
여기서 o_t는 이미지나 sensor 같은 관측, z_t는 latent state, a_t는 행동입니다. 이 transition을 여러 단계 반복하면 에이전트는 실제로 행동하기 전에 가능한 미래를 상상하고 계획할 수 있습니다.
2018년 World Models는 꿈속에서 policy를 학습했습니다
David Ha와 Jürgen Schmidhuber의 World Models는 세 모듈을 결합했습니다.
V: VAE가 이미지 frame을 latent vector로 압축M: recurrent model이 latent state의 시간 변화를 예측C: controller가 state를 보고 행동을 선택
연구진은 learned world model이 만든 내부 시뮬레이션에서 작은 controller를 학습하고 실제 환경으로 옮길 수 있음을 보였습니다. 핵심은 픽셀을 완벽하게 복사하는 것이 아니라 행동 선택에 필요한 dynamics를 압축하는 것이었습니다.
V-JEPA 2는 픽셀보다 latent representation을 예측합니다
모든 미래 픽셀을 생성하려 하면 조명, 배경 texture처럼 행동과 무관한 세부사항에도 계산을 씁니다. JEPA 계열은 raw pixel을 복원하는 대신 관측의 의미 있는 embedding을 예측합니다.
Meta의 V-JEPA 2는 encoder가 video를 semantic embedding으로 바꾸고 predictor가 가려진 미래 표현을 예측합니다. 1.2B 모델을 대규모 video로 self-supervised pre-training한 뒤, 62시간 미만의 robot video로 action-conditioned model을 post-train해 새로운 환경에서 robot planning을 시연했습니다.
이 접근의 장점은 모든 시각적 세부보다 물체, 움직임, 상태변화 같은 예측 가능한 구조에 집중할 수 있다는 점입니다. 단점은 latent가 무엇을 버렸는지 확인하기 어렵고, 안전에 필요한 작은 물리 신호가 embedding에서 사라질 가능성이 있다는 점입니다.
Genie 3는 사용자가 들어갈 수 있는 미래 frame을 생성합니다
Google DeepMind의 Genie 3는 text prompt에서 interactive environment를 만들고 사용자의 행동에 따라 다음 장면을 실시간 생성합니다. 공식 자료 기준 720p, 초당 24 frame, 수분 동안 일관된 interaction을 목표로 합니다.
이는 latent planning model과 다른 장점을 가집니다. 사람이 결과를 직접 보고, agent를 다양한 생성 환경에서 훈련하고 평가할 수 있습니다. 반면 official limitation에는 제한된 action space, 여러 독립 agent의 상호작용, 실제 장소의 정확한 재현, 긴 시간 일관성이 포함됩니다. photorealistic video가 물리적으로 정확한 simulator라는 보장은 없습니다.
월드모델은 하나의 아키텍처가 아니라 세 가지 선택입니다
| 선택 | 방법 | 장점 | 주요 위험 |
|---|---|---|---|
| 상태 표현 | pixel, discrete token, latent embedding | 해석 가능성과 효율 사이 선택 | 중요한 상태를 누락하거나 불필요한 세부에 과투자 |
| dynamics | recurrent, Transformer, diffusion, JEPA predictor | 시간과 불확실성 모델링 | 여러 step에서 오차 누적 |
| 행동 연결 | action conditioning, planner, policy, value model | 반사실적 미래 비교와 계획 | 관측 상관관계를 인과효과로 오인 |
월드모델의 진짜 기준은 영상이 그럴듯한가보다 다음 질문에 있습니다.
- 같은 state와 action에서 가능한 미래의 분포를 잘 표현하는가
- 드문 사건과 실패 mode를 보존하는가
- 여러 step을 rollout해도 state가 붕괴하지 않는가
- action을 바꿨을 때 결과가 인과적으로 일관되는가
- model 안에서 좋은 plan이 현실에서도 좋은가
- uncertainty가 커질 때 실제 환경이나 사람에게 돌아갈 수 있는가
시뮬레이션 안에서 보상이 높아도 현실에서 실패하면 model exploitation입니다. agent가 world model의 오류를 찾아내 이용할 수 있기 때문에, 월드모델은 생성품질뿐 아니라 policy가 악용하기 어려운 정확성으로 평가해야 합니다.
LLM은 월드모델인가
넓은 의미에서는 LLM도 세계의 통계적 규칙을 내부에 압축합니다. “컵을 놓치면 떨어진다”와 같은 문장을 예측하려면 물리와 인간 행동의 패턴을 어느 정도 표현해야 합니다. 다음 token 예측만으로도 공간, 시간, 개체, 사회적 관계에 대한 latent structure가 나타날 수 있습니다.
그러나 일반적인 decoder LLM을 곧바로 action-conditioned world model이라고 부르기에는 차이가 큽니다.
- 상태가 명시적이지 않습니다. 대화 context는 세계상태, 관측, 가설, 사용자의 말이 섞인 token sequence입니다.
- 행동과 관측이 분리되지 않습니다. 문장 속 행동의 서술과 agent가 실제로 수행한 intervention이 같은 형태의 token일 수 있습니다.
- 학습신호가 다릅니다. 그럴듯한 다음 설명을 맞히는 것과 행동 뒤의 실제 sensor state를 맞히는 것은 다릅니다.
- 닫힌 loop가 약합니다. 현실 행동, 관측, state update, planning을 위해 별도의 도구와 환경이 필요합니다.
- 장기 일관성이 보장되지 않습니다. 긴 rollout에서 작은 오류가 누적될 수 있습니다.
반대로 경계는 계속 흐려질 것입니다. Multimodal LLM이 video와 sensor를 읽고, action token을 내며, world model이 만든 rollout을 language reasoning과 연결할 수 있습니다. 미래의 embodied agent는 LLM과 world model 가운데 하나를 선택하기보다 semantic planner와 physical dynamics model을 결합할 가능성이 큽니다.
Chronos는 시계열을 언어처럼 바꿔 읽었습니다
시계열은 언어와 다른 어려움을 가집니다. 값의 scale이 데이터마다 다르고, 추세와 계절성, 결측치, sampling frequency, 여러 변수의 동조, 미래에 이미 아는 covariate가 섞입니다. 전통적으로는 ARIMA, exponential smoothing, state-space model, gradient boosting, 목적별 deep model을 데이터셋마다 선택하고 조정했습니다.
Amazon의 Chronos 계열은 여러 도메인의 시계열에서 공통 패턴을 pre-train하고 새로운 데이터셋에서 별도 학습 없이 forecasting하려는 Time Series Foundation Model입니다. 정확히 말하면 일반적인 “시계열 분석” 전체가 아니라 확률적 forecasting에 초점을 둡니다. 이상탐지, 인과추론, change-point detection, 최적제어를 모두 자동으로 수행하는 모델은 아닙니다.
Original Chronos: 숫자를 token으로 바꿨습니다
2024년 공개된 Chronos는 실수값 sequence를 language model이 처리할 수 있는 token sequence로 바꿨습니다.
- 각 시계열을 absolute mean으로 scale합니다.
- scale된 값을 일정한 간격의 bin으로 quantize합니다.
- 각 bin을 vocabulary token으로 바꿉니다.
- T5 계열 encoder-decoder를 cross-entropy로 학습합니다.
- 미래 token을 autoregressive sampling합니다.
- token을 dequantize하고 원래 scale로 되돌립니다.
문장 token의 순서가 문법을 만든다면 Chronos token의 순서는 추세, 계절성, 변동성, 반복 pattern을 만듭니다. 다양한 real series에 TSMix augmentation과 Gaussian process 기반 KernelSynth synthetic data를 더해 domain generalization을 학습했습니다.
이 접근은 과감하고 단순했습니다. 기존 language architecture와 loss를 거의 그대로 재사용할 수 있고, 여러 sample trajectory를 생성해 point forecast가 아니라 확률분포를 만들 수 있습니다. 반면 연속값을 bin으로 바꾸면서 quantization error가 생기고, 긴 horizon을 한 step씩 생성해 latency가 커집니다. 원본 Chronos는 기본적으로 univariate forecasting이어서 외부 covariate와 변수 사이 관계를 직접 다루기 어려웠습니다.
Chronos-Bolt: 언어 token에서 시계열 patch로 이동했습니다
2024년 11월 공개된 Chronos-Bolt는 여러 관측값을 하나의 patch로 묶어 encoder에 넣고, decoder가 여러 미래 step의 quantile을 직접 출력합니다. 한 점씩 autoregressive sampling하는 대신 direct multi-step forecasting을 사용합니다.
공식 Chronos repository에 따르면 같은 크기의 original Chronos 대비 오류를 5% 낮추고, 최대 250배 빠르며, 메모리를 최대 20배 효율적으로 사용했습니다. 이 수치는 연구팀의 benchmark와 설정에 따른 결과이므로 모든 hardware, batch, horizon에서 같은 배수가 나온다는 의미는 아닙니다.
중요한 방향은 명확합니다. 언어모델 아키텍처를 그대로 쓰는 것이 출발점에는 유리했지만, production forecasting에서는 시계열의 연속성과 여러 step 출력을 반영한 domain-specific architecture가 더 효율적이었습니다.
Chronos-2: 시간축과 변수축을 따로 attention합니다
2025년 10월 공개된 Chronos-2는 120M parameter model로 univariate, multivariate, covariate-informed forecasting을 zero-shot으로 지원합니다.
Chronos-2의 Transformer block은 두 attention을 번갈아 사용합니다.
- Time attention: 한 시계열 안에서 과거 patch 사이 관계를 계산
- Group attention: 같은 task에 속한 여러 target과 covariate가 같은 patch 위치에서 정보를 교환
예를 들어 cloud 운영에서는 CPU, memory, storage I/O를 같은 group으로 묶을 수 있습니다. retail에서는 판매량 target과 예정된 promotion, 미래에 알려진 holiday를 함께 넣을 수 있습니다. 모델은 새로운 task에서 변수 사이 관계를 in-context learning으로 추론합니다.
실제 multivariate와 covariate data는 pre-training에 충분하지 않기 때문에 Chronos-2는 univariate generator에서 여러 dependency structure를 합성한 data도 사용합니다. Amazon은 fev-bench, GIFT-Eval, Chronos Benchmark II에서 pretrained model 중 선두 결과와 Chronos-Bolt 대비 90% 이상의 head-to-head win rate를 보고했습니다. 이는 공식 benchmark 결과이며, 각 기업의 production distribution과 사업손실함수에서 같은 우위를 보장하지는 않습니다.
Chronos는 월드모델인가
Chronos도 과거에서 미래를 예측하므로 넓은 의미의 dynamics model로 볼 수 있습니다. 그러나 일반적인 action-conditioned world model과는 목적이 다릅니다.
| 질문 | Chronos-2 | Action-conditioned world model |
|---|---|---|
| 무엇을 예측하는가 | 미래 시계열 값의 quantile 또는 분포 | 행동 뒤의 latent state나 관측 |
| 조건은 무엇인가 | 과거 target, 관련 변수, 알려진 미래 covariate | 현재 state와 agent action |
| 개입을 이해하는가 | covariate의 예측관계를 활용 | action을 intervention으로 모델링하려고 함 |
| 출력의 용도 | 수요, 가격, 부하, sensor forecasting | planning, control, simulation, policy learning |
| 핵심 위험 | regime shift, scale, horizon, covariate leakage | model exploitation, causal error, rollout drift |
Promotion schedule을 covariate로 넣어 판매량을 예측할 수 있다고 해서 promotion의 인과효과를 안다는 뜻은 아닙니다. 과거에 promotion이 특정 상품과 계절에 선택된 편향까지 함께 학습할 수 있습니다. “promotion을 하지 않았다면 어떻게 됐을까”를 신뢰성 있게 답하려면 causal identification, 실험, 정책 model이 추가로 필요합니다.
반대로 world model도 항상 정확한 수치 forecasting model은 아닙니다. 로봇이 컵을 잡는 데 필요한 geometry와 motion을 잘 예측해도 전력수요의 90% prediction interval을 보정하는 데 적합하지 않을 수 있습니다. 예측한다는 공통점보다 무엇을 state와 intervention으로 정의했는가가 더 중요합니다.
세 모델을 하나의 식으로 비교하면 차이가 선명해집니다
세 모델은 모두 조건부 확률분포를 학습하지만 조건과 출력이 다릅니다.
- LLM:
p(next token | previous tokens) - Chronos-2:
p(future values | history, related series, covariates) - World model:
p(next state | current state, action)
| 구분 | Frontier LLM | World model | Chronos-2 |
|---|---|---|---|
| 주 입력 | text·image·audio token | observation·state·action | numeric time series·covariate |
| 기본 단위 | subword·multimodal token | pixel·patch·latent state | numeric patch·series group |
| 정보 혼합 | causal attention·MoE | latent dynamics·attention·generative model | time attention·group attention |
| 학습목표 | 다음 token + post-training reward | 미래 state·representation·reward | 미래 quantile·forecast loss |
| 시간의 의미 | token 순서와 문맥 | 환경의 상태전이 | 관측 시간축과 forecast horizon |
| 행동 조건 | 기본 model에는 없음, tool layer에서 추가 | 핵심 요소 | known covariate는 가능, 인과 action은 아님 |
| 대표 출력 | 문장·코드·tool call | rollout·latent future·action value | point·quantile·prediction interval |
| 가장 강한 영역 | 의미·지식·지시·일반화 | 물리적 prediction·planning·control | 수요·부하·가격·sensor forecasting |
| 대표 실패 | hallucination·state drift·권한 오해 | compounding error·sim-to-real gap | regime shift·covariate leakage·miscalibration |
이 표는 경계를 고정하려는 것이 아닙니다. Multimodal LLM은 world model을 호출할 수 있고, world model의 plan을 언어로 설명할 수 있습니다. Chronos의 forecast를 LLM이 해석하고 inventory tool을 호출할 수도 있습니다. 다만 한 model이 다른 model의 interface를 사용한다고 내부 학습목표까지 같아지는 것은 아닙니다.
어떤 업무에 어떤 아키텍처를 써야 하는가
문서, 코드, 지식 작업에는 LLM이 중심입니다
입력이 비정형이고 사람이 자연어로 목표를 설명하며 여러 자료를 해석해야 한다면 frontier LLM이 유리합니다. 최신 사실과 정확 계산은 retrieval, database, code tool로 보완해야 합니다. 긴 업무 state와 권한은 모델 context가 아니라 외부 system에서 관리하는 편이 안전합니다.
수요와 운영지표 예측에는 TSFM과 통계 baseline을 함께 봐야 합니다
판매량, call volume, 서버부하, energy demand처럼 미래 수치와 uncertainty가 핵심이면 Chronos-2 같은 TSFM이 강한 baseline이 될 수 있습니다. 하지만 seasonal naive, ETS, ARIMA, gradient boosting, domain model을 함께 비교해야 합니다. 파운데이션 모델이라는 이름이 모든 짧은 시계열과 안정적 계절성에서 더 낫다는 보장은 없습니다.
평가도 평균 error 하나로 끝나면 안 됩니다.
- 실제 forecast horizon과 update frequency
- 품절과 과잉재고의 비대칭 비용
- prediction interval의 coverage와 sharpness
- 신제품과 regime change 성능
- 미래에 실제로 알 수 있는 covariate만 사용했는지
- model latency와 batch economics
- baseline 대비 수용 가능한 개선폭
로봇과 자율시스템에는 action-conditioned dynamics가 필요합니다
로봇 arm, 자율주행, game agent는 “무엇이 일어날까”뿐 아니라 “이 행동을 하면 무엇이 바뀔까”를 알아야 합니다. World model, planner, policy, safety constraint, real-world feedback loop가 필요합니다. LLM은 high-level task decomposition과 semantic instruction에 유용하지만 millisecond control과 contact dynamics를 token reasoning만으로 처리하는 것은 비효율적일 수 있습니다.
정책효과에는 forecasting보다 causal model이 필요합니다
가격을 10% 내리면 수요가 어떻게 변하는지, 치료를 바꾸면 환자 결과가 어떻게 달라지는지는 단순한 forecast가 아니라 intervention 질문입니다. 관측 data의 상관관계를 학습한 LLM이나 Chronos만으로는 식별되지 않을 수 있습니다. 실험, causal graph, structural model, domain constraint가 필요합니다.
기업 agent에는 여러 모델의 조합이 자연스럽습니다
예를 들어 공급망 agent는 다음처럼 구성할 수 있습니다.
- Chronos-2가 SKU별 수요분포와 uncertainty를 예측합니다.
- optimization engine이 재고, lead time, service level을 반영해 발주안을 계산합니다.
- LLM이 예외 원인과 공급업체 문서를 해석하고 선택지를 설명합니다.
- simulation 또는 world model이 disruption scenario를 비교합니다.
- 정책 engine이 금액, 권한, 규정을 확인합니다.
- 사람이 고위험 발주와 정책 변경을 승인합니다.
가장 큰 모델 하나가 모든 단계를 처리하는 것보다 각 model의 output contract와 검증기준을 명확히 하는 편이 정확하고 비용 효율적일 수 있습니다.
Transformer는 끝났는가
Transformer의 약점 때문에 대안도 계속 연구됩니다. State Space Model 계열인 Mamba는 sequence 길이에 선형으로 확장되는 selective state space를 제안했고, attention과 recurrence 또는 convolution을 결합한 hybrid도 등장했습니다. 긴 sequence, streaming, 작은 memory footprint에서는 이런 구조가 매력적입니다.
그러나 새로운 block이 발표됐다고 frontier LLM 전체가 즉시 교체되는 것은 아닙니다.
- Transformer에는 성숙한 kernel, compiler, distributed training stack이 있습니다.
- 대규모 학습에서 안정성과 scaling behavior가 검증됐습니다.
- checkpoint, fine-tuning, serving 생태계가 큽니다.
- multimodal과 MoE 같은 변형을 흡수하는 유연성이 있습니다.
- 실제 제품성능은 block보다 데이터, post-training, inference, system의 영향을 함께 받습니다.
따라서 가까운 발전은 Transformer와 비Transformer의 단순 승자독식보다 attention을 필요한 곳에 쓰고, state-space나 local operator를 긴 sequence에 결합하며, domain별 inductive bias를 추가하는 hybrid화일 가능성이 높습니다.
앞으로 아키텍처 경쟁이 벌어질 여섯 곳
1. Tokenization에서 state representation으로
텍스트 token은 세계의 사물을 직접 나타내지 않습니다. Multimodal agent와 로봇은 object, geometry, affordance, uncertainty를 더 안정적으로 표현하는 state가 필요합니다. Chronos도 scalar bin에서 patch와 group으로 발전했습니다. 무엇을 한 단위로 압축하는지가 모델의 상한을 결정합니다.
2. 모든 정보를 섞는 attention에서 선택적 계산으로
긴 context의 모든 token을 똑같이 연결하는 것은 비쌉니다. Sparse attention, retrieval, recurrent memory, MoE, group attention은 필요한 정보와 expert만 활성화합니다. 중요한 것은 sparsity 자체가 아니라 올바른 정보가 선택됐는지를 검증하는 것입니다.
3. 정적 지식에서 변화하는 state로
모델 weight는 학습 시점의 압축지식입니다. Agent와 world model은 시간에 따라 변하는 사용자, 환경, 정책, sensor state를 다뤄야 합니다. Context window를 늘리는 것만으로 지속적이고 일관된 memory가 생기지 않습니다. external state store와 update semantics가 모델 architecture만큼 중요해집니다.
4. Prediction에서 intervention으로
다음 token과 다음 값 예측은 관측된 패턴을 잘 이어갑니다. 과학, 로봇, 정책에서는 action을 바꿨을 때 결과가 어떻게 달라지는지가 중요합니다. Action-conditioned data, experiment, simulator, causal constraint가 새로운 학습자원이 됩니다.
5. 모델 규모에서 결과당 계산으로
MoE, quantization, KV compression, speculative decoding, direct multi-step forecasting은 모두 결과 하나에 필요한 memory와 latency를 줄이려는 시도입니다. 총 parameter보다 active parameters, memory traffic, rollout length, accepted outcome당 비용이 더 중요해집니다.
6. 단일 benchmark에서 system-level evaluation으로
LLM의 답변 점수, world model의 video quality, Chronos의 평균 forecast error만으로 production 가치를 알 수 없습니다. Tool success, multi-step completion, causal consistency, uncertainty calibration, rare-event recall, human correction, business cost까지 평가해야 합니다.
가장 강한 반론도 봐야 합니다
이 글은 domain별 architecture의 차이를 강조합니다. 그러나 반대 방향의 주장도 강합니다. 모든 data를 token으로 바꾸고 충분히 큰 multimodal Transformer를 학습하면 언어, 영상, 행동, 시계열을 하나의 model이 처리할 수 있다는 주장입니다. 실제로 Transformer가 여러 modality로 확장된 역사는 이를 뒷받침합니다. General model의 transfer learning과 shared representation은 domain model이 얻기 어려운 장점입니다.
그럼에도 세 가지 이유로 완전한 통합이 곧 단일 architecture를 뜻하지는 않습니다.
첫째, modality마다 손실함수와 오류비용이 다릅니다. 문장 표현의 작은 차이와 로봇 충돌확률, 재고 forecast의 tail risk는 같은 방식으로 평가할 수 없습니다.
둘째, real-time control, 대규모 batch forecasting, 긴 문서 reasoning은 hardware와 latency 요구가 다릅니다. 하나의 거대한 model이 모두 할 수 있어도 경제적으로 최적이라는 보장은 없습니다.
셋째, 통합 model 안에서도 modality encoder, expert routing, memory, tool, decoder가 전문화될 수 있습니다. 외부에서는 하나의 AI처럼 보여도 내부는 conditional modules의 조합일 가능성이 큽니다.
반대로 domain-specific model이 항상 이긴다는 주장도 틀릴 수 있습니다. 데이터가 적고 task가 자주 바뀌며 자연어 지식이 중요한 영역에서는 general frontier model의 in-context learning이 더 빠르게 개선될 수 있습니다. Chronos-2의 group attention처럼 domain architecture도 Transformer의 범용성을 흡수하면서 발전합니다.
따라서 경쟁의 본질은 범용 대 전문의 양자택일이 아닙니다.
어디까지 표현과 계산을 공유하고, 어디부터 domain의 시간·물리·인과·위험 구조를 명시적으로 넣을 것인가의 문제입니다.
맺으며
Transformer는 AI 아키텍처의 종착점이 아니라 범용 계산기반이 되었습니다. Sequence의 모든 위치가 직접 관계를 계산하고 GPU에서 병렬 학습할 수 있게 하면서 text, image, audio, biology, time series로 확산됐습니다.
현재 frontier LLM은 이 기반 위에 MoE, KV-cache 절감, multimodality, 긴 context, post-training, test-time compute, tool system을 쌓았습니다. 성능은 neural network block 하나가 아니라 전체 stack에서 만들어집니다.
월드모델은 attention의 형태보다 state와 action의 관계를 중심에 둡니다. V-JEPA 2는 미래의 latent representation을, Genie 3는 상호작용 가능한 visual world를 생성합니다. 목표는 언어를 이어 쓰는 것이 아니라 행동하기 전에 미래를 상상하고 계획하는 것입니다.
Chronos는 시계열을 언어처럼 token화하는 과감한 출발에서 patch 기반 direct forecasting을 거쳐, Chronos-2의 time attention과 group attention으로 발전했습니다. 이는 Transformer를 그대로 복제하는 것보다 domain의 구조를 다시 넣는 방향이 더 중요해지고 있음을 보여줍니다.
앞으로 AI 아키텍처를 볼 때 “Transformer인가 아닌가”만 물어서는 부족합니다. 다음 여섯 질문이 더 중요합니다.
- 현실을 어떤 token이나 latent state로 표현하는가
- 어떤 정보와 변수가 서로 섞이는가
- 시간이 지나도 state를 어떻게 유지하는가
- 무엇을 예측하도록 학습됐는가
- 행동과 intervention을 구분하는가
- 예측을 어떤 도구, 검증, 책임체계에 연결하는가
결국 모델 아키텍처의 발전은 더 큰 두뇌 하나를 만드는 경쟁이 아닐 수 있습니다. 언어를 다루는 의미모델, 수치의 미래를 다루는 forecasting model, 물리적 결과를 상상하는 world model, 현실을 바꾸는 tool system을 얼마나 정확히 연결하느냐의 경쟁입니다.
주요 출처
- Ashish Vaswani 외, Attention Is All You Need, NeurIPS 2017.
- DeepSeek-AI, DeepSeek-V3 Technical Report, 2024.
- Meta AI, The Llama 4 herd, 2025.
- Apple Machine Learning Research, Apple Intelligence Foundation Language Models Tech Report 2025, 2025.
- David Ha·Jürgen Schmidhuber, World Models, NeurIPS 2018.
- Meta AI, V-JEPA 2, 2025.
- Google DeepMind, Genie 3: A new frontier for world models, 2025.
- Amazon Science, Chronos: Adapting language model architectures for time series forecasting, 2024.
- Amazon Science, Introducing Chronos-2: From univariate to universal forecasting, 2025.
- Amazon Science, Chronos forecasting repository.
- Albert Gu·Tri Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces, 2023.
이 글은 공개 논문과 기술자료를 바탕으로 AI 모델 아키텍처의 개념과 발전을 분석한 글입니다. 각 기관이 공개하지 않은 폐쇄형 모델의 내부구조는 다루지 않았으며, 공식 benchmark 결과가 모든 production 환경의 우위를 보장하지는 않습니다.