긴 문맥은 State가 아닙니다

앞선 글에서는 초기 Transformer와 현재 프런티어 LLM, 월드모델과 인과모델의 차이를 하나의 흐름으로 연결했습니다. 그 글의 중심 문장은 Token은 기록이고 state는 세계에 대한 가설이라는 것이었습니다.

그런데 state라는 단어를 조금만 더 따라가면 곧 새로운 혼란을 만납니다.

• Transformer도 과거 token을 KV cache에 저장하는데 왜 state가 없다고 말할까요.
• Mamba의 state와 Dreamer 같은 월드모델의 state는 같은 것일까요.
• 긴 context window가 있으면 세계의 상태를 오래 기억한다고 볼 수 있을까요.
• Action을 입력에 넣은 월드모델은 자동으로 인과관계를 알게 될까요.

답부터 말하면 긴 문맥, 계산 상태, 세계 상태, 인과 상태는 서로 다른 것입니다. 모두 과거를 이용해 미래를 예측한다는 공통점은 있지만, 무엇을 보존하고 무엇을 버리는지, 어떤 미래를 예측하는지, 실제 행동과 어떻게 연결되는지가 다릅니다.

가장 쉬운 비유는 업무 책상입니다.

• 긴 문맥과 KV cache는 지금까지 받은 모든 서류를 책상 위에 펼쳐두는 방식입니다.
• Mamba의 순환 state는 서류를 읽을 때마다 핵심 장부를 갱신하고 원문은 치우는 방식입니다.
• 월드모델의 state는 장부가 아니라 현재 공장, 도로 또는 게임판이 어떤 상태인지 나타내는 지도입니다.
• 인과모델의 state와 mechanism은 지도 위 시설 하나를 바꿨을 때 나머지가 어떻게 달라질지를 시험할 수 있는 구조입니다.

이 네 층을 구분하면 Transformer와 Mamba의 경쟁, LLM과 월드모델의 차이, LLM이 인과관계에 약한 이유가 한꺼번에 선명해집니다.

AI에서 State라는 말은 서로 다른 것을 가리킵니다

컴퓨터과학에서 state는 대체로 다음 계산이나 행동을 결정하는 데 필요한 현재 정보를 뜻합니다. 정의가 넓기 때문에 같은 단어가 여러 층에서 사용됩니다.

이름	무엇을 저장하나	크기	주된 목적	대표 사례
Context와 cache	과거 token의 표현	문맥 길이에 따라 증가	원문의 특정 위치를 다시 참조	Transformer KV cache
계산 state	과거를 압축한 고정 크기 벡터	보통 고정	긴 sequence를 싸게 처리	RNN, SSM, Mamba
세계 state	현재 환경을 설명하는 잠재 변수	설계에 따라 고정	행동 이후의 미래를 rollout	Dreamer, MuZero, V-JEPA 2-AC
Belief state	가능한 세계 state의 분포	고정 또는 구조화	부분 관찰과 불확실성 관리	로봇 위치 추정, POMDP
인과 변수와 mechanism	개입에도 유지되는 변수 관계	문제에 따라 다름	do(X)와 반사실 추론	Structural Causal Model

이 표에서 가장 중요한 사실은 고정 크기 벡터라고 해서 모두 세계 state가 되는 것은 아니라는 점입니다. Mamba의 hidden state가 고정 크기인 것과 그 벡터가 컵의 위치, 사람의 의도, 기계의 고장상태처럼 해석 가능한 세계를 표현하는 것은 별개입니다.

반대로 세계 state가 반드시 연속 벡터일 필요도 없습니다. 체스판은 64개 칸의 구조화된 state로 표현할 수 있고, 소프트웨어 저장소의 state는 파일, Git commit, test 결과와 실행 중인 process의 집합일 수 있습니다. 중요한 것은 데이터형이 아니라 그 정보만으로 다음 상태와 행동 결과를 충분히 예측할 수 있느냐입니다.

Transformer는 과거를 압축하기보다 펼쳐놓습니다

Transformer가 문장을 읽는 모습을 회의록 검색에 비유해 보겠습니다. 수백 쪽의 회의록을 모두 책상 위에 날짜순으로 펼쳐두고, 새 질문이 들어올 때마다 관련 있어 보이는 문장을 직접 찾아보는 방식입니다.

각 token은 세 종류의 벡터로 변환됩니다.

• Query: 지금 이 위치가 무엇을 찾고 있는가
• Key: 과거의 각 위치가 어떤 주소표를 갖는가
• Value: 그 위치에서 실제로 가져올 내용은 무엇인가

Self-attention은 현재 query와 과거 key의 유사도를 계산하고, 관련도가 높은 value를 섞습니다. 이 덕분에 수천 token 전에 나온 사람 이름, 함수 정의 또는 계약조건을 다시 참조할 수 있습니다.

Autoregressive LLM이 한 token씩 생성할 때는 과거 token의 key와 value를 매번 다시 계산하면 낭비가 큽니다. 그래서 이미 계산한 key와 value를 KV cache에 저장합니다. 새 token은 cache에 있는 과거 위치를 읽고, 자신의 key와 value를 뒤에 추가합니다.

이 cache를 state라고 부르는 구현 문서도 있습니다. 넓은 의미에서는 맞습니다. 다음 token 생성에 필요한 실행 상태이기 때문입니다. 그러나 상태공간모델에서 말하는 고정 크기 state와는 다릅니다. 문맥이 길어질수록 KV cache도 커집니다. 원문을 압축한 장부가 아니라 원문 위치마다 붙여둔 색인 카드에 가깝습니다.

Transformer는 stateless다라는 말도 절반만 맞습니다

Transformer의 출력은 과거 context에 따라 달라지고, 각 층의 hidden activation에는 문맥화된 정보가 들어갑니다. 따라서 아무 기억도 없는 계산이라고 말하면 틀립니다.

정확한 표현은 이렇습니다.

표준 decoder-only Transformer에는 과거 전체를 대체하는 고정 크기 순환 state가 없습니다. 대신 과거 token과 그 KV 표현을 외부 cache에 보존하고 다시 attention합니다.

이 구분은 비용에서 바로 드러납니다.

• Prompt를 처음 읽는 prefill: 모든 token 사이의 attention을 계산하므로 표준 full attention의 계산량은 sequence 길이의 제곱에 비례합니다.
• 한 token씩 만드는 decode: 새 query가 과거 전체의 key를 읽으므로 token 하나를 추가하는 attention 계산과 메모리 읽기는 현재 문맥 길이에 비례합니다.
• KV cache memory: 층 수, KV head 수, head dimension, sequence 길이와 batch 크기에 비례해 증가합니다.

FlashAttention, GQA, MQA, MLA, sliding-window attention, cache 양자화는 이 비용을 크게 낮춥니다. 그래도 기본 철학은 같습니다. 과거의 많은 위치를 보존하고 필요할 때 주소를 찍어 읽습니다.

긴 Context window는 기억 용량의 상한이지 이해의 보증이 아닙니다

모델이 100만 token을 입력으로 받을 수 있다는 말에는 적어도 세 가지 다른 능력이 섞여 있습니다.

1. 그 길이의 입력을 기술적으로 처리할 수 있습니다.
2. 먼 위치의 사실 한 줄을 정확히 찾을 수 있습니다.
3. 긴 문서 전체에서 사건, 객체, 인과관계와 현재 상태를 일관되게 유지할 수 있습니다.

첫 번째가 가능하다고 두 번째와 세 번째가 자동으로 따라오지 않습니다. 이른바 needle-in-a-haystack 평가는 긴 문서 속 암호 한 줄을 찾는 능력을 측정합니다. 중요한 평가이지만, 등장인물의 소유관계가 수백 장 동안 어떻게 바뀌었는지 추적하거나 여러 문서의 충돌을 해결하는 능력까지 증명하지는 않습니다.

또한 context window는 보통 요청이 끝나면 사라집니다. 다음 세션에도 이어지는 기억은 별도의 database, retrieval, summary, event log 또는 memory policy가 담당합니다. 문맥 길이, 장기 기억, 세계 state는 서로 다른 시스템 문제입니다.

Mamba는 원문 대신 갱신되는 장부를 둡니다

상태공간모델(State Space Model, SSM)은 제어공학과 신호처리에서 오래 사용된 생각을 sequence model로 가져옵니다. 가장 단순한 형태는 다음과 같습니다.

hₜ = A hₜ₋₁ + B xₜ

yₜ = C hₜ

여기서 xₜ는 지금 들어온 입력, hₜ는 현재까지의 정보를 압축한 state, yₜ는 출력입니다. 새 입력이 들어올 때마다 이전 state를 갱신하므로 과거 입력 전체를 다시 펼칠 필요가 없습니다.

가계부를 생각하면 쉽습니다. 오늘 거래 20건이 들어오면 모든 영수증을 매번 처음부터 다시 읽는 대신 현재 잔액, 계정별 누계와 미지급금 장부를 갱신합니다. 내일 의사결정에 충분한 정보가 장부에 들어 있다면 오래된 영수증을 당장 책상 위에 둘 필요가 없습니다.

문제는 무엇을 장부에 남기고 무엇을 버릴 것인가입니다. 고정된 규칙으로 모든 입력을 같은 방식으로 압축하면 언어처럼 내용에 따라 중요도가 달라지는 sequence를 처리하기 어렵습니다.

Mamba의 핵심은 selective state space입니다. 입력 내용에 따라 state를 얼마나 갱신하고, 어떤 정보를 통과시키며, 어떤 정보를 잊을지 달리합니다. 전화번호가 등장하면 정확한 숫자를 잠시 강하게 보존하고, 반복되는 접속사는 빨리 흘려보내는 식의 선택이 가능해집니다.

Mamba는 두 실행 방식을 함께 노립니다.

• 학습 시점: GPU가 잘 처리하도록 sequence를 병렬 scan으로 계산합니다.
• 생성 시점: RNN처럼 고정 크기 state를 한 단계씩 갱신합니다.

원 논문은 sequence 길이에 선형으로 확장되는 계산과 고정 크기 decode state를 제시했습니다. 후속 Mamba-2 논문은 attention과 SSM이 완전히 동떨어진 두 세계가 아니라 구조화된 행렬 관점에서 연결될 수 있음을 보였고, 이 연결을 이용해 Mamba-2 layer를 설계했습니다.

여기서 중요한 통찰은 Transformer가 낡았고 SSM이 새롭다가 아닙니다. 과거를 위치별로 보존하는 방식과 과거를 동적 state로 압축하는 방식 사이에 연속적인 설계공간이 있다는 것입니다.

고정 크기 State는 공짜가 아닙니다

고정 크기 state는 sequence가 아무리 길어져도 같은 크기의 서랍에 과거를 넣는다는 뜻입니다. 서랍이 커지지 않는 장점은 분명하지만, 모든 원문을 손실 없이 넣을 수는 없습니다.

예를 들어 다음 두 업무는 요구하는 기억이 다릅니다.

• 지난 1시간의 고객 감정이 전반적으로 좋아졌는가는 흐름을 압축한 state가 잘 맞습니다.
• 37분 12초에 고객이 말한 주문번호 16자리를 그대로 알려달라는 특정 위치의 원문 회상이 필요합니다.

Zoology 연구는 attention과 여러 효율적 sequence architecture를 같은 조건에서 비교했습니다. 연구진은 성능 격차의 큰 부분이 문맥 앞부분에 나온 key와 value를 나중에 정확히 연결하는 연상 회상(associative recall) 능력에서 설명된다고 보고했습니다. 70M attention model이 1.4B gated-convolution model보다 해당 과제에서 더 나은 결과를 보인 사례도 제시했습니다.

후속 BASED 연구는 고정 크기 recurrent state가 작을수록 회상이 어려워지는 trade-off를 분석하고, linear attention과 짧은 sliding-window attention을 결합했습니다. 연구의 핵심은 모든 SSM이 회상에 실패한다는 단정이 아닙니다. State 크기, 초기화, 선택성, convolution과 학습 데이터에 따라 결과는 달라집니다. 다만 과거 위치를 모두 보존하는 memory와 고정 크기 압축 state 사이에는 구조적인 긴장이 있다는 뜻입니다.

이 trade-off는 제품 평가에서도 중요합니다. 평균적인 perplexity나 일반 benchmark가 비슷해도 다음과 같은 작업에서는 차이가 커질 수 있습니다.

• 긴 코드에서 정확한 변수 정의를 다시 찾기
• 여러 계약서에서 특정 조항과 숫자를 그대로 인용하기
• 대화 초반의 사용자 제약을 끝까지 지키기
• 센서 stream의 장기 추세를 낮은 memory로 계속 추적하기

긴 문맥 benchmark가 높다는 한 문장 대신 정확한 회상, 장기 압축, streaming latency, state memory와 out-of-distribution 길이를 각각 측정해야 합니다.

Hybrid는 Attention과 Mamba의 역할을 나눕니다

Attention과 Mamba 사이에서 승자를 하나 고를 필요는 없습니다. 법무팀도 모든 계약서를 책상에 펼쳐두지 않고, 모든 원문을 버린 채 요약문만 믿지도 않습니다. 핵심 조항과 색인은 바로 찾을 수 있게 두고, 반복되는 맥락과 진행상태는 장부로 압축합니다.

Hybrid architecture도 같은 생각을 모델의 층 배치에 적용합니다.

• Attention layer: 특정 token 사이의 관계와 정확한 회상을 담당합니다.
• Mamba 또는 SSM layer: 긴 흐름을 고정 크기 state로 압축하고 빠르게 갱신합니다.
• MoE layer: token마다 일부 expert만 활성화해 전체 지식용량과 실제 계산량을 분리합니다.

Jamba는 Transformer와 Mamba layer를 교차 배치하고 일부 층에 MoE를 넣었습니다. 발표된 초기 구성은 80GB GPU 한 장에 들어가면서 최대 256K token 문맥에서 평가됐습니다. 이는 모든 attention을 없애는 실험보다 적은 수의 attention layer를 어디에 남길지가 중요한 설계변수가 됐음을 보여줬습니다.

NVIDIA의 Nemotron-H도 같은 방향입니다. NVIDIA가 공개한 56B base model은 Mamba-2 layer 54개, MLP layer 54개와 self-attention layer 10개를 조합했습니다. 회사 발표 기준으로 유사 규모의 공개 Transformer model과 비교해 정확도가 비슷하거나 높고 추론속도는 최대 3배 빨랐습니다. 숫자는 NVIDIA의 선택한 hardware와 benchmark 조건에 귀속해 해석해야 하지만, 대부분의 attention을 SSM으로 바꾸면서도 일부 attention을 남겼다는 구조 자체가 더 중요한 신호입니다.

Hybrid가 공짜 해법은 아닙니다. Serving runtime은 attention layer의 KV cache와 Mamba layer의 recurrent state를 동시에 관리해야 합니다. Layer마다 cache의 형태와 update 규칙이 다르고, batching과 tensor parallelism도 복잡해집니다. Architecture의 효율은 논문 속 연산량뿐 아니라 inference engine이 실제로 해당 kernel과 memory layout을 얼마나 잘 지원하는지에 달려 있습니다.

설계	잘하는 일	비용 또는 위험	어울리는 작업
Full attention 중심	위치별 정확한 참조, in-context 관계 형성	긴 문맥에서 KV memory와 decode 비용 증가	코드, 문서 질의, 정확한 인용
SSM 중심	Streaming, 고정 state, 긴 sequence의 낮은 단계당 비용	압축 과정에서 세부 회상 손실 가능	센서, 음성, 장기 신호, edge
Attention + SSM hybrid	회상과 처리량의 균형	Runtime과 학습 recipe 복잡	긴 reasoning, agent, 범용 LLM
External retrieval 결합	원문을 필요할 때 다시 가져옴	검색 실패, index freshness, 권한관리	기업문서, 규정, 지식업무

프런티어 아키텍처의 질문은 이제 Attention인가 Mamba인가보다 어떤 정보는 원문으로 남기고, 어떤 정보는 state로 압축하며, 언제 외부 저장소에서 다시 가져올 것인가에 가깝습니다.

Mamba의 State는 아직 세계의 지도가 아닙니다

Mamba가 과거를 고정 벡터로 압축한다고 해서 그 벡터가 자동으로 세계를 표현하지는 않습니다. Mamba state의 기본 목적은 다음 token 또는 다음 sequence 출력을 효율적으로 계산하는 것입니다.

월드모델의 state는 다른 기준으로 설계됩니다. Agent가 행동을 바꿨을 때 환경이 어떻게 달라질지를 예측하는 데 충분해야 합니다.

sₜ₊₁ = f(sₜ, aₜ, εₜ)

oₜ = g(sₜ)

여기서 sₜ는 세계 state, aₜ는 action, oₜ는 카메라 frame이나 sensor reading 같은 observation, εₜ는 예측할 수 없는 noise입니다.

컵이 책상 위에 놓인 장면을 생각해 보겠습니다. 카메라가 잠시 가려져도 컵은 사라지지 않습니다. 좋은 world state는 컵의 존재, 위치, 소유관계와 로봇 팔의 자세를 유지해야 합니다. 로봇이 컵을 미는 action을 선택하면 state transition model은 컵의 다음 위치를 예측해야 합니다.

이것은 대화에서 다음 단어를 예측하기 위해 문맥을 압축하는 문제와 다릅니다. 같은 Mamba block을 transition model 안에 사용할 수는 있지만, 다음 token loss만으로 학습한 hidden state가 바로 물리적 state가 되지는 않습니다.

Dreamer는 잠재 State에서 미래를 상상합니다

DreamerV3는 환경의 관찰과 action에서 recurrent state-space model을 학습합니다. Agent는 실제 환경에서 모든 후보 행동을 실행하지 않고, 학습된 잠재 state 안에서 여러 미래를 상상해 policy를 개선합니다.

Dreamer의 state에는 두 요소가 함께 들어갑니다.

• 과거를 순차적으로 요약하는 deterministic recurrent state
• 관찰의 불확실성과 여러 가능한 미래를 표현하는 stochastic state

이 조합은 부분 관찰 환경에서 중요합니다. 카메라에 보이지 않는 정보까지 하나의 확정된 값으로 고정하면 잘못된 믿음을 수정하기 어렵습니다. 가능한 state의 분포를 유지해야 새 관찰이 들어왔을 때 믿음을 고칠 수 있습니다.

MuZero는 화면 전체가 아니라 계획에 필요한 것을 예측합니다

MuZero는 게임의 완전한 규칙이나 다음 화면의 모든 pixel을 복원하지 않습니다. 현재 observation을 hidden state로 바꾸고, action을 넣어 다음 hidden state, reward, policy와 value를 예측합니다. 계획에 필요한 결과만 맞히는 representation, dynamics, prediction function을 공동학습합니다.

이 사례는 world state가 현실의 모든 세부를 담아야 한다는 오해를 풀어줍니다. 좋은 state는 세계의 완벽한 복사본이 아니라 목표에 관련된 미래를 예측하는 충분한 요약입니다. 그러나 목표에 없는 정보는 버릴 수 있기 때문에 다른 task로 옮겼을 때 중요한 요소가 빠져 있을 수도 있습니다.

V-JEPA 2는 Pixel보다 잠재표현의 미래를 예측합니다

V-JEPA 2는 인터넷 영상과 이미지에서 보이지 않는 부분과 미래의 latent representation을 예측하도록 학습됐습니다. 후속 action-conditioned model인 V-JEPA 2-AC는 62시간 미만의 비라벨 로봇영상으로 post-training되고, image goal을 향한 물체 집기와 놓기 계획에 사용됐습니다.

JEPA 계열의 생각은 바람에 흔들리는 잎 하나하나처럼 예측하기 어렵고 행동에 중요하지 않은 pixel을 모두 복원하는 대신, 객체와 움직임의 추상적 표현을 예측하자는 것입니다. 다만 latent prediction이 곧 인과발견을 뜻하지는 않습니다. 무엇을 action으로 바꿨을 때 어떤 state가 달라지는지 실제 interaction으로 검증해야 합니다.

경로를 잘 찾는 모델도 일관된 지도를 갖지 않을 수 있습니다

LLM이 수많은 문장을 예측하려면 사람, 장소, 규칙과 사건의 내부표현을 어느 정도 형성해야 합니다. 따라서 LLM에는 world model이 전혀 없다고 단정하는 것도 정확하지 않습니다. 중요한 질문은 그 암묵적 표현이 새로운 상황에서도 일관되게 작동하는 세계모형인가입니다.

Vafa 연구진의 NeurIPS 2024 논문은 이 차이를 뉴욕 도로로 보여줬습니다.

연구진은 Manhattan 택시 이동경로를 교차로와 방향 token의 sequence로 바꾸고 GPT-2 계열 Transformer를 다음 token 예측으로 학습했습니다. 모델은 학습에서 보지 않은 출발지와 목적지 사이에서도 유효한 경로를 만들고, 대체로 짧은 길을 찾았습니다. 행동만 보면 내부에 뉴욕 지도를 배운 것처럼 보입니다.

그러나 모델의 예측을 이용해 암묵적 도로망을 복원하자 실제 지도와 크게 달랐습니다. 평소 경로 분포에서는 잘 작동했지만 도로 일부를 막아 우회해야 하는 조건을 주면 성능이 무너졌습니다.

내비게이션 앱에 비유하면 이렇습니다.

• 많은 택시기사의 이동기록을 외워 평소에는 목적지까지 잘 안내합니다.
• 그러나 어느 도로와 어느 교차로가 실제로 연결되는지 일관된 그래프로 갖고 있지 않습니다.
• 공사로 익숙한 길이 막히면 다른 도로를 조합해 새 경로를 만들지 못합니다.

이 결과는 모든 현대 LLM이 지도를 못 배운다는 증명이 아닙니다. 연구는 제한된 합성설정과 특정 크기의 Transformer를 평가했고, 모델과 학습법은 계속 발전하고 있습니다. 더 정확한 결론은 정상분포에서의 높은 생성 성능만으로 일관된 world state와 transition 구조를 배웠다고 판정할 수 없다는 것입니다.

역전 저주는 관계를 문장 순서로 배울 위험을 보여줍니다

Reversal Curse 연구는 모델이 A는 B의 부모다 같은 사실을 한 방향으로 학습해도 B의 자녀는 누구인가라는 역방향 질문에 자동으로 일반화하지 못할 수 있음을 보였습니다. In-context로 관계를 주면 뒤집을 수 있지만, weight에 저장된 지식은 학습문장의 생성방향에 묶이는 현상이 나타났습니다.

사람은 부모와 자녀를 같은 관계구조의 두 방향으로 이해합니다. Autoregressive model은 기본적으로 앞 문자열에서 뒤 문자열을 예측하는 확률을 최적화합니다. 충분한 데이터와 후학습으로 역방향 답변이 개선될 수는 있지만, 관계를 명시적 graph로 저장하도록 보장하는 목적함수는 아닙니다.

Causal Parrots 논문도 비슷한 경고를 합니다. LLM은 인간이 문서에 써둔 인과적 설명을 학습하므로 인과질문에 답할 수 있습니다. 그러나 답을 잘 말하는 것과 관찰분포에서 인과구조를 직접 식별하는 것은 다릅니다. 모델이 흡연은 폐암 위험을 높인다고 정확히 답해도, 그것이 임상시험과 역학연구가 밝혀둔 문장을 재구성한 것인지, 원자료에서 교란요인을 분리해 효과를 식별한 것인지는 별도의 문제입니다.

이 세 연구가 가리키는 공통점은 성능의 부재가 아닙니다. 유창한 예측, 성공적인 행동, 일관된 구조와 식별된 인과효과를 각각 평가해야 한다는 것입니다.

State가 있어도 인과관계는 자동으로 생기지 않습니다

월드모델에 state와 action이 명시되어 있으면 LLM보다 인과추론에 가까워 보입니다. 같은 state에서 여러 action을 넣어 미래를 rollout할 수 있기 때문입니다. 그러나 action-conditioned prediction과 causal effect identification 사이에도 간격이 있습니다.

예를 들어 병원이 과거 진료기록으로 치료결과 모델을 학습한다고 하겠습니다. 의사는 중증환자에게 강한 약을 더 자주 처방했을 수 있습니다. 모델은 강한 약을 쓴 환자의 사망률이 높다는 패턴을 정확히 배울 수 있습니다. State와 action을 분리해도 state에 중증도를 완전히 포착하지 못했다면 약의 효과와 환자의 원래 위험이 섞입니다.

관찰 예측은 다음을 묻습니다.

P(Y | X=x)

X가 관찰된 사례에서 Y가 얼마나 자주 나타났는가라는 질문입니다.

인과효과는 다음을 묻습니다.

P(Y | do(X=x))

X를 만들던 기존 결정과정을 끊고 값을 x로 강제했을 때 Y가 어떻게 달라지는가라는 질문입니다.

두 확률은 무작위배정이 됐거나 모든 교란요인을 적절히 통제한 특별한 조건에서만 같아집니다.

Pearl의 사다리는 정보의 종류를 구분합니다

Judea Pearl의 인과 사다리는 질문을 세 층으로 나눕니다.

1. 연관(association): X를 보았을 때 Y가 어떻게 달라지는가
2. 개입(intervention): X를 바꾸면 Y가 어떻게 달라지는가
3. 반사실(counterfactual): 실제로 X를 했던 이 대상에게 X를 하지 않았더라면 Y가 어땠을까

높은 층의 질문에는 그에 맞는 실험정보나 구조적 가정이 필요합니다. 관찰문장을 아무리 많이 읽어도 서로 같은 관찰분포를 만드는 여러 인과 graph를 항상 구분할 수 있는 것은 아닙니다.

Decoder Transformer의 causal mask는 여기서 말하는 인과와 무관합니다. 미래 token을 미리 보지 못하게 가리는 시간순서 규칙일 뿐입니다. 문장의 앞부분이 뒷부분의 현실 원인이라는 뜻도 아니고, 높은 attention weight가 인과효과라는 뜻도 아닙니다.

인과에 가까워지려면 아키텍처와 데이터 수집이 함께 바뀌어야 합니다

인과적 AI에 필요한 변화는 하나의 새 layer로 끝나지 않습니다.

• 인과 변수를 분리합니다. 배경색, 물체 위치, 속도와 의도를 하나의 얽힌 latent에 넣기보다 개입 가능한 단위로 표현합니다.
• Mechanism을 모듈화합니다. Structural Causal Model처럼 각 변수가 부모 변수와 noise에서 어떻게 생성되는지 분리합니다.
• Action을 명시합니다. 같은 state에서 여러 action이 어떤 next state를 만드는지 학습합니다.
• 개입을 다양화합니다. 과거 policy가 선택한 좁은 action만 보지 않고, 가설을 구분할 실험을 수행합니다.
• 불확실성을 유지합니다. 관찰만으로 구분되지 않는 state나 graph를 하나로 확정하지 않습니다.
• 현실의 결과로 수정합니다. Model이 만든 가상 미래를 model 스스로 정답으로 삼지 않고 실제 action 결과와 비교합니다.

특히 마지막 두 항목이 중요합니다. 월드모델이 만든 counterfactual은 현실에서 관찰한 사실이 아니라 모델의 믿음입니다. 물리를 잘못 배운 모델은 action A와 B의 미래를 모두 그럴듯하게 틀릴 수 있습니다. 현실의 결과가 다시 state estimator와 dynamics model로 들어오는 폐쇄루프가 필요합니다.

강화학습도 인과를 자동으로 보장하지 않습니다

최근 reasoning model은 강화학습, 특히 정답을 자동검증할 수 있는 RLVR(Reinforcement Learning with Verifiable Rewards)를 적극 활용합니다. 수학문제의 최종 답, code test 통과 여부처럼 명확한 보상이 있으면 모델은 더 긴 추론과 자기검증 전략을 학습할 수 있습니다.

이 과정에는 action과 feedback이 있으므로 단순 next-token pre-training보다 닫힌 고리에 가깝습니다. 그러나 보상을 받았다고 곧바로 현실의 인과구조를 식별한 것은 아닙니다.

• 수학환경은 규칙이 이미 고정되어 있고 답을 verifier가 알고 있습니다.
• 모델은 높은 보상을 주는 문자열 전략을 배울 수 있지만 변수의 현실적 기제를 명시적으로 표현하지 않을 수 있습니다.
• Reward가 잘못 정의되면 원래 목표보다 채점기를 공략하는 shortcut을 배울 수 있습니다.
• 학습분포 밖의 intervention에서는 같은 전략이 깨질 수 있습니다.

강화학습은 행동과 결과의 연결을 제공하지만, 인과적 일반화에는 state representation, 탐색전략, confounding 통제, 환경변화와 uncertainty calibration이 더 필요합니다.

Training과 Inference의 경계도 State를 중심으로 흐려집니다

전통적인 LLM 서비스는 학습과 실행이 뚜렷이 나뉩니다. Model weight를 한 번 학습한 뒤 배포하고, 사용자 요청은 weight를 바꾸지 않은 채 처리합니다. 한 요청에서 얻은 경험이 다음 요청의 능력을 자동으로 높이지는 않습니다.

Agent가 장기 memory, skill, tool과 evaluator를 갖기 시작하면 다른 형태의 개선이 가능합니다.

1. Agent가 task를 수행하고 trace, action과 결과를 남깁니다.
2. 반복되는 성공 절차를 skill이나 workflow로 압축합니다.
3. 정확한 원문과 중요한 실패는 외부 memory에 보존합니다.
4. Evaluator가 어느 조건에서 skill이 작동하고 깨지는지 측정합니다.
5. 충분히 검증된 경험은 fine-tuning이나 reinforcement learning data가 됩니다.

여기서도 서로 다른 state를 섞으면 위험합니다. 대화 summary는 장기 memory일 수 있지만 세계의 ground truth는 아닙니다. Agent가 스스로 쓴 회고는 학습자료 후보일 뿐 검증된 경험이 아닙니다. Tool 실행 결과, database transaction, test runner와 sensor처럼 외부에서 확인되는 state가 함께 있어야 자기오류를 증폭하지 않습니다.

따라서 self-improving system의 핵심은 모델이 자신을 고친다는 한 문장이 아닙니다. 원문 memory, 압축 state, 환경 state, evaluator와 현실 feedback을 어떤 권한과 검증규칙으로 연결하느냐입니다.

제품에서 State를 평가하는 질문도 달라져야 합니다

AI 제품이 장기 state, world model, causal engine을 내세울 때는 용어보다 실제 입력과 평가를 확인해야 합니다.

확인할 대상	물어야 할 질문	실패가 드러나는 시험
Context	최대 길이 안에서 먼 원문을 실제로 다시 찾는가	숫자·이름·코드 정의의 정확한 회상
계산 state	Sequence가 길어져도 memory와 단계당 latency가 안정적인가	길이 2배·4배의 streaming 부하
장기 memory	세션을 넘어 사실이 유지되고 수정·삭제되는가	충돌, 만료, 권한변경, 삭제요청
세계 state	관찰되지 않은 객체와 관계를 일관되게 유지하는가	가림, 지연관찰, 순서교란
Transition	같은 state에서 action별 next state가 맞는가	익숙하지 않은 action 조합과 장기 rollout
인과효과	상관관계와 intervention 효과를 구분하는가	정책변경, 무작위실험, 자연실험
불확실성	모르는 state와 식별 불가능한 관계를 인정하는가	센서 누락, 모순관찰, 새로운 환경
현실교정	틀린 rollout을 실제 결과로 수정하는가	예측실패 뒤 재학습·belief update

특히 다음 표현은 구분해서 들어야 합니다.

• 긴 context가 있다는 원문을 많이 입력할 수 있다는 뜻입니다.
• Memory가 있다는 정보를 세션 밖에 저장하고 다시 가져온다는 뜻일 수 있습니다.
• State를 추적한다는 현재 세계를 지속적으로 갱신한다는 뜻이어야 합니다.
• World model이 있다는 action별 미래를 rollout하고 실제 transition으로 검증한다는 뜻이어야 합니다.
• Causal하다는 intervention, confounding과 반사실을 다루는 식별전략이 있다는 뜻이어야 합니다.

Document summary를 저장한 시스템이 world model은 아닙니다. Video generator가 선명한 미래 frame을 만든다고 causal simulator인 것도 아닙니다. A/B test 결과를 말로 설명하는 LLM이 treatment effect를 직접 식별한 것도 아닙니다.

미래의 AI는 하나의 Memory가 아니라 계층형 State를 가질 가능성이 큽니다

현실에서 오래 일하는 agent에게 필요한 것은 거대한 context window 하나가 아닙니다. 성질이 다른 기억장치를 목적에 맞게 나눈 계층입니다.

1. Attention과 working context: 지금 문제를 푸는 데 필요한 원문과 정확한 관계를 유지합니다.
2. Recurrent computational state: 긴 sensor, 음성, 행동 stream의 흐름을 낮은 비용으로 압축합니다.
3. External memory와 database: 사실, 문서, 권한, transaction과 provenance를 지속적으로 보관합니다.
4. Belief state: 현재 세계에 대한 가설과 불확실성을 갱신합니다.
5. World model: 후보 action 아래의 next state와 reward를 rollout합니다.
6. Causal model과 evaluator: Intervention 효과, confounding과 현실결과의 차이를 검증합니다.

코딩 agent가 좋은 축소판입니다. LLM의 context에는 지금 읽는 코드와 대화가 들어갑니다. Git과 filesystem은 실제 repository state를 보존합니다. Build와 test runner는 action 결과를 검증합니다. Agent는 patch를 만들기 전에 여러 수정안을 언어로 상상할 수 있지만, 실제 state transition은 patch를 적용하고 test를 실행해야 확인됩니다. 실패 trace를 memory에 남겨도 다음 상황에서 재검증해야 합니다.

로봇, 신약연구, 제조공정과 기업운영도 구조는 비슷합니다. 언어모델이 목표와 지식을 다루고, perception이 관찰을 구조화하며, state estimator가 현재를 유지하고, world model이 action의 결과를 예측합니다. 실제 실험과 업무시스템이 결과를 돌려주고, verifier와 사람이 안전·권한·목표를 확인합니다.

모델의 다음 경쟁은 State를 얼마나 잘 나누고 연결하느냐입니다

초기 Transformer의 위대한 선택은 과거를 하나의 고정 state에 욱여넣지 않고, 필요한 위치를 직접 attention하게 만든 것이었습니다. 이 선택은 언어와 코드에서 놀라운 회상과 in-context learning을 가능하게 했습니다. 동시에 문맥이 길어질수록 KV cache와 memory bandwidth가 커지는 비용을 만들었습니다.

Mamba와 SSM은 고정 크기 순환 state를 다시 가져왔습니다. 과거를 선택적으로 압축해 긴 sequence와 streaming을 싸게 처리합니다. 대신 정확한 원문 회상과 압축 사이의 trade-off를 관리해야 합니다. Jamba와 Nemotron-H 같은 hybrid는 두 기억방식을 섞으며 이 trade-off를 architecture 안에서 조정합니다.

월드모델은 여기서 한 단계 다른 질문을 합니다. 과거를 얼마나 싸게 기억하는지가 아니라 현재 세계를 어떤 state로 표현해야 action 이후의 미래를 계획할 수 있는가를 묻습니다. Dreamer는 잠재공간에서 미래를 상상하고, MuZero는 계획에 필요한 reward와 value를 예측하며, V-JEPA 2-AC는 영상표현에 action을 결합해 로봇계획을 수행합니다.

인과모델은 다시 한 단계 더 나아갑니다. Action이 관찰됐을 때의 미래와 action을 개입했을 때의 미래가 같은지, 숨은 교란요인이 있는지, 실제와 다른 action을 선택했더라면 결과가 어떻게 달라졌을지를 묻습니다. 이 능력은 긴 context나 latent state만으로 생기지 않습니다. 실험, 구조적 가정, 불확실성과 현실 feedback이 필요합니다.

따라서 미래 AI의 단위는 하나의 거대한 model보다 다음 조합에 가까울 가능성이 큽니다.

정확히 다시 읽는 memory + 싸게 갱신하는 computational state + 행동 가능한 world state + 현실에서 검증되는 causal loop

긴 문맥은 강력합니다. 그러나 긴 문맥은 아직 state가 아닙니다. State는 과거를 줄인 벡터라는 뜻에서도 끝나지 않습니다. 무엇을 보존해야 미래가 예측되는지, 어떤 action이 세계를 바꾸는지, 무엇을 모르는지까지 표현할 때 비로소 지속적으로 행동하는 지능의 기반이 됩니다.

---

주요 출처

• Vaswani et al., Attention Is All You Need
• Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces
• Dao and Gu, Transformers are SSMs: Structured State Space Duality and Mamba-2
• Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model
• NVIDIA, Nemotron-H: A Family of Accurate, Efficient Hybrid Mamba-Transformer Models
• Arora et al., Zoology: Measuring and Improving Recall in Efficient Language Models
• Arora et al., Simple Linear Attention Language Models Balance the Recall-Throughput Tradeoff
• Hafner et al., DreamerV3: Mastering Diverse Domains through World Models
• Schrittwieser et al., MuZero: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
• Assran et al., V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
• Vafa et al., Evaluating the World Model Implicit in a Generative Model
• Berglund et al., The Reversal Curse
• Zecevic et al., Causal Parrots: Large Language Models May Talk Causality But Are Not Causal
• Pearl, The Seven Tools of Causal Inference, with Reflections on Machine Learning