KL과 마르코프, 베이즈, 가우시안이 없었으면 무엇이 없었을까

지인이 올린 글에서 문장 하나를 가져왔습니다.

KL divergence와 Markov chain과 Bayesian, Gaussian model이 없었으면 LLM이고 뭐고 없었다.

이미지 확산모델 중 DDPM 설명을 듣고 나서 쓴 소회입니다. 저는 이 문장이 감상으로 소비되기에는 아깝다고 봅니다. 네 이름이 각각 어느 자리에서 무슨 일을 하는지 짚어 보면, 지난 10년의 생성모델이 왜 그 모양이 되었는지가 거의 그대로 나옵니다. 그리고 한 대목은 정확히 고쳐 쓸 필요가 있습니다.

결론부터 적습니다.

DDPM에서는 네 이름이 모두 실제로 일합니다. 마르코프 연쇄가 문제를 잘게 쪼개고, 가우시안이 각 조각을 닫힌 형태로 만들고, 변분추론이 학습 가능한 목표를 만들고, KL이 그 목표를 잰 뒤 제곱오차 한 줄로 무너집니다. LLM에서는 KL과 확률의 분해가 그대로 살아 있지만, 마르코프 가정은 오히려 버려서 성능을 얻었고 가우시안은 목적함수 밖으로 밀려나 있습니다. 그래서 이 문장은 "이론이 기술을 낳는다"의 사례가 아니라, 어떤 부품이 교체 가능하고 어떤 문법이 남는지를 보여주는 사례로 읽는 편이 정확합니다.

먼저 DDPM에서 네 이름이 하는 일

Denoising Diffusion Probabilistic Models는 2020년 NeurIPS에 나온 Jonathan Ho, Ajay Jain, Pieter Abbeel의 논문입니다. 뿌리는 더 오래됐습니다. Sohl-Dickstein 등이 2015년 비평형 열역학에서 가져온 발상으로, 구조를 가진 상태를 천천히 흐트러뜨렸다가 그 과정을 거꾸로 되짚으면 구조를 만들어 낼 수 있다는 것입니다.

문제는 "거꾸로 되짚는다"를 어떻게 학습 가능한 손실함수로 바꾸느냐입니다. 여기서 네 이름이 순서대로 등장합니다.

마르코프 연쇄가 문제를 자릅니다. 깨끗한 이미지에 아주 작은 가우시안 잡음을 T번 더해 결국 순수한 잡음으로 만드는 앞방향 과정을 정의합니다. 이 과정은 학습하지 않고 고정합니다. 각 단계가 직전 상태에만 의존하므로, 한 번에 풀 수 없는 "잡음에서 이미지 만들기"가 "잡음을 조금만 걷어내기" T개로 쪼개집니다.

가우시안이 그 조각을 계산 가능하게 만듭니다. 여기가 핵심입니다. 각 단계에 더하는 잡음이 가우시안이고 그 크기가 작으면, 되돌리는 단계도 근사적으로 가우시안이 됩니다. 게다가 가우시안끼리는 더해도 가우시안이라, 중간 단계를 하나하나 시뮬레이션하지 않고 임의 시점 t의 상태를 한 번의 식으로 바로 만들 수 있습니다. 학습할 때 T번을 다 밟지 않아도 되는 이유가 이 성질 하나입니다.

변분추론이 목표를 만듭니다. 잠재변수 모델이므로 로그가능도를 직접 최대화할 수 없고, 변분하한을 대신 최대화합니다. VAE에서 쓰던 기계를 그대로 가져온 것입니다.

KL divergence가 그 목표를 잽니다. 하한을 시점별로 펼치면 각 항이 두 분포 사이의 KL이 됩니다. 하나는 정답을 알고 있을 때의 되돌리기 분포이고, 다른 하나는 신경망이 내놓는 되돌리기 분포입니다.

그리고 마지막에 계보 전체가 한 줄로 무너집니다. 두 분포가 분산이 같은 가우시안이면, 둘 사이의 KL은 평균 차이의 제곱에 상수를 곱한 값으로 정확히 정리됩니다. 몬테카를로 추정이 필요 없습니다. 여기에 "이미지가 아니라 더해진 잡음을 예측하라"는 재매개변수화를 얹으면, 최종 손실은 진짜 잡음과 예측한 잡음 사이의 평균제곱오차 한 줄이 됩니다.

논문이 이론을 한 번 배신하는 지점

여기서 한 걸음 더 들어가면 더 재미있습니다. Ho 등은 위에서 유도한 변분하한을 끝까지 지키지 않았습니다. 시점별로 붙는 가중치를 전부 떼어 버리고, 모든 t에 같은 무게를 주는 단순한 평균제곱오차를 썼습니다. 이건 더 이상 정확한 변분하한이 아닙니다. 가능도 측면에서는 손해를 보고, 대신 사람 눈에 보이는 샘플 품질을 얻는 교환입니다.

논문은 이 선택을 이론이 아니라 실험으로 방어합니다. 결과는 CIFAR-10 무조건부 생성에서 Inception score 9.46, FID 3.17이었고, 256x256 LSUN에서는 ProgressiveGAN급 품질에 도달했습니다. 당시 GAN이 지배하던 이미지 생성 판을 뒤집은 수치입니다.

이 대목이 실무자 입장에서 가장 중요합니다. 뼈대가 되는 이론은 문제를 계산 가능한 모양으로 만들어 주지만, 마지막 한 걸음은 대개 이론을 조금 배신하면서 나옵니다. 이론만 아는 사람은 이 지점을 만들지 못하고, 이론을 모르는 사람은 무엇을 배신하고 있는지조차 모릅니다.

그러면 LLM은 어떤가

같은 잣대를 LLM에 대 봅니다. 네 이름 중 둘은 그대로 살아 있고, 둘은 위치가 다릅니다.

KL은 살아 있습니다. 그것도 두 군데에서. 사전학습의 손실함수인 교차엔트로피는 정의상 데이터 분포의 엔트로피에 KL을 더한 값입니다. 엔트로피는 모델과 무관한 상수이므로, 교차엔트로피를 줄이는 일은 데이터 분포와 모델 분포 사이의 KL을 줄이는 일과 정확히 같습니다. 평가 지표로 쓰는 퍼플렉시티도 이 값의 지수입니다. 즉 오늘 공개되는 모든 사전학습 곡선은 KL 곡선입니다. 그리고 사람 선호를 반영하는 정렬 단계에서는 KL이 아예 명시적인 항으로 들어갑니다. 원래 모델에서 너무 멀어지지 않도록 KL 페널티를 걸어 두는 방식이 표준이 되었습니다.

확률의 분해도 살아 있습니다. 다만 마르코프 가정은 아닙니다. 여기가 원문에서 정확히 고쳐야 할 지점입니다. 마르코프 연쇄의 정의는 "미래가 현재에만 의존하고 과거는 잊는다"입니다. 1913년 Markov가 푸시킨의 예브게니 오네긴 2만 글자에서 모음과 자음의 전이를 센 것이 첫 사례이고, 1948년 Shannon이 A Mathematical Theory of Communication에서 영어 텍스트를 n-gram으로 모사한 것이 첫 언어모델입니다. Shannon은 이 작업으로 영어의 실제 정보량이 글자당 1에서 1.5비트 수준이고 이론적 최대치인 4.7비트보다 훨씬 낮다는 것을 보였습니다. 언어가 통계적으로 예측 가능하다는 사실 자체가 여기서 나왔습니다.

그런데 트랜스포머는 마르코프 가정을 쓰지 않습니다. 자기회귀 분해는 근사가 아니라 확률의 연쇄법칙이라는 항등식이고, 어텐션은 문맥 전체를 봅니다. n-gram이 세 단어, 다섯 단어 뒤를 잊어버렸기 때문에 겪던 한계를 걷어낸 것이 성능의 출처였습니다. 정확히 말하면 이렇습니다. LLM은 마르코프 연쇄를 계승한 것이 아니라, 마르코프 연쇄가 정의한 문제를 물려받고 그 가정을 버린 결과입니다. 반대로 DDPM은 마르코프 가정을 적극적으로 이용합니다. 같은 이름이 한쪽에서는 발판이고 다른 쪽에서는 걸림돌이었습니다.

가우시안은 LLM의 목적함수에 없습니다. 텍스트는 이산 토큰이고, 출력은 어휘 위의 범주형 분포입니다. 가우시안은 가중치 초기화, 정규화 계층, 각종 잡음 주입 같은 주변부에 남아 있지만 손실함수 안에는 없습니다. 참고로 출력층의 softmax도 가우시안이 아니라 통계역학의 볼츠만 분포와 같은 꼴입니다. temperature라는 이름이 붙은 이유가 그것입니다.

베이즈는 해석 층에 있습니다. LLM 학습은 완전한 베이즈 추론이 아니라 최대가능도 계열입니다. 가중치의 사후분포를 다루지 않습니다. 다만 문맥 내 학습을 암묵적 베이즈 추론으로 보는 해석이 연구에서 널리 쓰이고, 변분추론이라는 기계 자체는 VAE를 거쳐 DDPM으로 흘러갔습니다. 즉 베이즈는 LLM의 엔진이라기보다, 같은 시대 생성모델 전체가 공유한 사고 방식에 가깝습니다.

그래서 원문을 이렇게 고쳐 쓰면 정확해집니다.

정보이론의 엔트로피와 KL, 그리고 확률의 연쇄법칙이 없었으면 LLM이 없었습니다. 마르코프 연쇄와 가우시안과 변분추론이 없었으면 확산모델이 없었습니다. 두 계보는 서로 다른 부품을 썼고, 지금 그 부품을 맞바꾸는 중입니다.

부품은 교체되고 문법은 남습니다

마지막 문장이 과장이 아니라는 증거가 2025년과 2026년에 쌓였습니다. 두 방향에서 동시에 일어났습니다.

이미지 쪽은 가우시안 확산에서 직선으로 옮겨 갔습니다. flow matching과 rectified flow는 잡음에서 데이터로 가는 경로를 구불구불한 확률과정 대신 거의 직선인 결정론적 흐름으로 정의합니다. 경로가 곧으면 큰 보폭으로 건너뛰어도 무너지지 않으므로, DDPM이 1,000단계를 밟던 자리를 10단계 안팎으로, 재정렬을 거치면 1에서 4단계까지 줄일 수 있습니다. Stable Diffusion 3와 Flux가 이 방식 위에 서 있습니다. 확산의 마르코프 연쇄와 가우시안 잡음이라는 원래 부품이 성능 때문에 교체된 것입니다.

언어 쪽은 반대로 확산을 가져왔습니다. 텍스트에는 가우시안 잡음을 더할 수 없으니, 토큰을 가리는 이산 상태 확산으로 바꿉니다. LLaDA가 이 방식으로 사전학습과 지도미세조정을 처음부터 끝까지 돌렸고, 2025년 12월에는 1,000억 파라미터급으로 확장한 후속 작업이 나왔습니다. 상용 쪽에서는 Inception Labs의 Mercury가 H100에서 초당 1,000토큰을 넘겼고, 구글의 Gemini Diffusion은 오버헤드를 뺀 샘플링 속도 초당 1,479토큰에 HumanEval 89.6퍼센트를 기록했습니다. ByteDance의 Seed Diffusion Preview는 H20에서 초당 2,146토큰으로 동급 자기회귀 모델 대비 5.4배를 보고했습니다.

다만 같은 표에서 약점도 같이 드러납니다. Gemini Diffusion은 코드에서는 Gemini 2.0 Flash-Lite와 대등하거나 앞섰지만, GPQA Diamond는 40.4퍼센트로 56.5퍼센트에 크게 뒤졌고 BIG-Bench Extra Hard도 15.0퍼센트 대 21.0퍼센트로 밀렸습니다. 병렬 생성으로 속도를 얻는 대신 깊은 추론에서 손해를 보는 구간이 아직 남아 있다는 뜻입니다. 이 격차가 언제 닫히는지가 확산 언어모델의 실제 관문입니다.

이 이야기가 실무에 남기는 것

원문에는 "LLM이 어떻게 만들어진 건지 이해를 못 하면 백날 가야 prompt만 넣는 유저가 될 뿐"이라는 문장도 있습니다. 저는 이 진단에 동의하지만, 근거는 조금 다르게 잡습니다. 수식을 외워야 해서가 아닙니다. 목적함수를 모르면 그 모델이 무엇에 최적화되어 있고 무엇에는 전혀 최적화되어 있지 않은지를 못 보기 때문입니다.

몇 가지가 바로 따라 나옵니다.

DDPM이 정확한 변분하한을 버리고 가중치 없는 제곱오차를 택한 순간, 그 모델은 가능도가 아니라 사람 눈에 좋아 보이는 샘플을 향해 조준됐습니다. 사전학습 LLM이 교차엔트로피를 최소화한다는 말은, 그 모델이 다음 토큰의 분포를 맞추도록 조준됐다는 뜻이지 사실을 맞추도록 조준됐다는 뜻이 아닙니다. 사실성과 유용성은 그 뒤에 붙는 정렬 단계와 검증 루프가 따로 밀어 넣는 성질입니다. 환각을 모델 결함이 아니라 목적함수의 정직한 결과로 읽으면, 어디를 고쳐야 하는지가 달라집니다.

기술을 판단할 때도 층을 나눠야 합니다. 구조는 3년 주기로 갈립니다. GAN에서 확산으로, 확산에서 직선 흐름으로, 자기회귀에서 이산 확산으로 넘어가는 동안 "무엇을 최소화하는가"라는 질문의 답은 크게 바뀌지 않았습니다. 어떤 팀이 새 구조 이름을 앞세울 때, 그 구조가 어떤 계산 장벽을 제거하는지 한 문장으로 설명하지 못하면 대개 유행을 따라간 것입니다. 모델 계보를 부품 단위로 읽는 방법은 따로 정리해 뒀습니다.

그리고 확산 언어모델의 속도 수치를 볼 때는 조건을 같이 봐야 합니다. 초당 2,146토큰과 초당 1,479토큰은 하드웨어도 벤치마크도 다릅니다. 한 자리 숫자로 비교하면 틀립니다. 실제로 의미 있는 질문은 병렬 생성으로 얻은 속도가 추론 품질 손실을 상쇄하는 업무가 무엇인가입니다. 지금까지 나온 근거로는 코드 생성과 채우기 작업에서 먼저 성립하고, 깊은 추론에서는 아직 성립하지 않습니다. 상태와 문맥을 구분하는 문제는 따로 다룬 적이 있는데, 확산 언어모델에서는 이 구분이 더 날카롭게 드러납니다.

마지막으로

원문 작성자는 "아무리 테크가 발전해도 뼈대가 되는 이론들은 다 똑같은 것"이라고 썼습니다. 절반은 맞고, 나머지 절반은 더 흥미롭습니다.

똑같이 남은 것은 도구 자체가 아니라 사고의 문법입니다. 어려운 문제를 계산 가능한 조각으로 자르고, 두 분포 사이의 거리를 재고, 직접 못 구하는 목표를 하한으로 대체하는 방식입니다. 실제 부품은 계속 갈립니다. 가우시안은 이미지에서 빠지는 중이고, 마르코프 가정은 언어에서 이미 버려졌다가 다른 형태로 돌아왔습니다.

1913년 푸시킨 시집의 모음과 자음을 세던 계산이 2026년 초당 2,000토큰을 뱉는 코드 모델까지 이어졌다는 사실은, 이론이 기술을 예언했다는 뜻이 아닙니다. 좋은 추상은 자기가 만들어진 문제보다 오래 산다는 뜻입니다. 새 모델이 나올 때마다 이름을 세는 대신 그 모델이 무엇을 최소화하는지를 먼저 묻는 습관이, 결국 백날 가는 사용자와 만드는 사람을 가릅니다.