5만 개의 샘플로 슈퍼컴퓨터를 이겼습니다: 아난드쿠마르가 말한 물리의 벽

2026년 8월 26일, 칼텍의 브렌 석좌교수 아니마 아난드쿠마르(Anima Anandkumar)가 레이턴트 스페이스(Latent Space) 팟캐스트에 나왔습니다. 제목이 도발적입니다. "물리가 등장하는 순간 트랜스포머가 벽에 부딪히는 이유."

이 글은 83분 분량 대화의 자막 전문을 읽고 논지를 다시 묶은 것입니다. 수치와 주장은 모두 아난드쿠마르의 발언 기준이며, 독립 검증 전입니다. 종목 판단은 다루지 않습니다.

아난드쿠마르의 이력은 이 대화의 무게를 설명합니다. 딥러닝이 뜨기 전 확률 모델과 텐서 방법의 이론적 기초를 만들었고, AWS에서 최초의 클라우드 AI 제품군을 세웠으며, 엔비디아 AI 리서치를 이끌었습니다. 지금은 칼텍에서 AI와 과학을 붙이는 일을 합니다. 순수 데이터 주도 방식을 대규모로 굴려 본 사람이 이제 "그것만으로는 안 되는 영역"을 이야기한다는 점이 중요합니다.

트랜스포머가 막히는 지점은 취향이 아니라 산수입니다

이 대화에서 가장 단단한 부분은 아키텍처 취향 논쟁이 아니라 컨텍스트 길이 계산입니다.

언어는 1차원입니다. 그런데도 컨텍스트 길이가 수백만에 이르면 이미 버겁습니다. 물리 세계는 3차원 공간에 시간이 붙은 4차원이고, 산업용 해상도는 각 차원마다 대략 1,000개 격자점에서 시작합니다. 곱하면 하나의 상태가 수천억에서 1조 개 원소가 됩니다. 어텐션의 비용은 컨텍스트 길이의 제곱으로 늘어납니다.

"이런 규모에 트랜스포머를 쓴다는 생각은 아예 접으십시오. 세상의 모든 연산을 끌어와도 부족합니다."

이 문장이 이 대화의 뼈대입니다. 스케일링으로 돌파할 수 있는 문제가 아니라, 산수가 애초에 성립하지 않는 문제라는 뜻입니다. 비디오 모델이나 비전 언어 모델도 빠져나가지 못합니다. 그것들은 낮은 해상도에서 작동하고, 물리적으로 정확하기보다 보기 좋게 만들도록 설계됐기 때문입니다.

두 번째 제약은 데이터입니다. 언어 모델은 수조 개 토큰을 먹습니다. 아난드쿠마르의 기상 모델은 약 5만 개 샘플로 학습했습니다. 핵융합 영역에서는 수천 개 수준입니다. 데이터가 넘치는 세계에서 통하던 "일단 다 던져 보자"는 방식이, 데이터가 모자란 세계에서는 쓸 수 없습니다.

그래서 다시 귀납 편향으로 돌아옵니다. 아키텍처 설계, 물리 제약, 기하 인식 같은 것들입니다. 아난드쿠마르는 이것을 자기 커리어의 한 바퀴로 설명합니다. 텐서 방법과 확률 모델에서 시작해, 딥러닝의 순수 데이터 주도 시대를 산업에서 통과했고, 이제 원칙 있는 설계로 돌아왔다는 것입니다.

뉴럴 오퍼레이터는 고정된 벡터가 아니라 함수를 다룹니다

표준 신경망은 고정 크기 입력을 고정 크기 출력으로 옮깁니다. 224×224 이미지가 들어가고 1,000개 클래스 벡터가 나오는 식입니다. 뉴럴 오퍼레이터는 이것을 함수에서 함수로 가는 사상으로 일반화합니다. 입력과 출력을 어떤 해상도에서도 평가할 수 있고, 여기에는 학습 중 본 적 없는 해상도도 포함됩니다.

이건 미용상의 개선이 아닙니다. 확대할 수 있는 모델과 영원히 흐릿한 모델의 차이입니다.

"표준 신경망은 픽셀 수가 고정돼 있어서 확대하면 흐려지고 그걸로 끝입니다. 뉴럴 오퍼레이터는 함수 공간 표현이라서 계속 확대할 수 있고, 더 높은 해상도의 데이터를 주거나 더 높은 해상도의 물리 제약을 걸어서 필요한 디테일을 채워 넣을 수 있습니다."

푸리에 뉴럴 오퍼레이터(FNO)가 대표 아키텍처입니다. 설계 논리는 두 갈래입니다. 첫째, 미분 연산자의 역은 적분이고 적분은 본질적으로 전역적입니다. 푸리에 변환은 이 비국소 현상을 효율적으로 잡습니다. 둘째, 어텐션의 제곱 비용과 달리 준선형 복잡도를 유지합니다.

주의할 지점이 있습니다. FNO는 고전 스펙트럴 방법으로의 회귀가 아닙니다. 비선형성, 잔차 연결, 채널 리프팅 같은 딥러닝 도구를 그대로 씁니다. 푸리에 층이 어텐션 맵을 대체할 뿐, 트랜스포머식 기계장치의 나머지는 남아 있습니다. 이 혼합 덕분에 모델이 고정된 기저에 갇히지 않고 적절한 잠재 기저를 학습합니다.

속성	표준 신경망	트랜스포머	푸리에 뉴럴 오퍼레이터
입출력	고정 해상도	고정 컨텍스트 길이	임의 해상도 (함수 대 함수)
복잡도	파라미터에 선형	컨텍스트에 제곱	준선형
비국소성	수용영역에 갇힘	전체 어텐션	푸리에 모드로 전역
데이터 효율	낮음	매우 낮음	높음 (5만 샘플급에서 작동)
다중 스케일	불가	불가	제로샷 초해상 가능

2021년의 회의론자들과 허리케인 리

가장 구체적인 성과는 기상입니다.

2021년 아난드쿠마르 팀은 유럽중기예보센터(ECMWF)의 ERA5 재분석 데이터로 뉴럴 오퍼레이터를 시험하기로 했습니다. 데이터가 공개돼 있다는 이유가 컸습니다. 기상 과학자들은 만류했습니다. 수십 년간 쌓인 세심한 상향식 물리 기반 모델링을 데이터 주도 방식이 이길 수 없다는 것이었습니다.

결과는 정확도가 전통 모델에 근접하면서 속도가 수만 배 빨랐습니다. 슈퍼컴퓨터가 필요하던 계산이 소비자용 GPU 한 장에서 돌았습니다.

"큰 슈퍼컴퓨터로 돌리던 것을 이제 돌릴 수 있게 됐고, 우리가 필요했던 건 소비자급 GPU뿐이었습니다."

버전이 올라가며 두 가지가 추가됐습니다. 2세대는 구면 기하를 넣었습니다. 세계는 직사각형이 아니라 구이고, 이 가정이 없으면 긴 롤아웃이 발산합니다. 미용상의 문제가 아니라 안정성의 문제였습니다. 3세대는 앙상블을 넣어 단일 결정론적 예측이 아니라 보정된 확률 예측을 내놓게 했습니다. 극한 사건에서는 "어디에 상륙하는가"가 아니라 "각 지역에 상륙할 확률이 얼마인가"가 실제 질문이기 때문입니다.

학습 방식은 놀랍도록 단순합니다. 6시간 앞을 예측하도록 자기회귀로 학습하고 다단계 미세조정을 약간 더합니다. 그런데 롤아웃은 몇 달까지 나갑니다. 허리케인 리(Lee)의 상륙을 표준 모델보다 며칠 먼저 맞힌 사건이 공개적 전환점이었습니다.

여기서 나오는 관찰이 이 대화에서 가장 흥미로운 대목입니다. 희귀 사건은 데이터가 적어 AI가 못 할 것 같은데, 실제로는 잘합니다.

"극한 사건인데 아주 특정한 방식으로 극한입니다. 그래서 샘플이 그렇게 많이 필요하지 않을 수도 있습니다. 물리 세계에는 구조가 아주 많기 때문입니다."

이 문장이 뒤집는 것은 스케일링 신념 자체입니다. 언어에서는 규모가 거의 전부였습니다. 물리에서는 자연이 이미 방정식으로 구조를 깔아 놓았기 때문에, 그 구조를 모델에 넣으면 적은 데이터로도 학습이 됩니다.

토치린은 신경망에 증명을 붙입니다

두 번째 축은 신뢰입니다. 신경망을 드론이나 원자로, 토카막의 제어 루프에 넣으려면 평균 성능이 좋다는 말로는 부족합니다. 보장이 필요합니다.

토치린(TorchLean)은 파이토치 비슷한 추상으로 신경망을 형식 증명 언어인 린(Lean)에 직접 쓰게 하는 프레임워크입니다. 신경망이 형식화되면 인증된 강건성 한계를 증명할 수 있습니다. 예를 들어 입력이 정해진 범위 안에서 흔들릴 때 출력이 특정 한계 이상 변하지 않는다는 것을 증명하는 식입니다. 크라운(CROWN) 같은 기존 인증 알고리즘이 이 프레임워크 위에 구현돼 있습니다.

적용 범위는 적대적 강건성보다 넓습니다. 제어 시스템의 민감도 분석, 유한 정밀도 산술의 영향에 대한 한계 설정(신경망은 실수가 아니라 float32에서 학습됩니다), 그리고 물리 법칙을 만족한다고 주장하는 물리 정보 신경망(PINN)의 검증입니다.

한계도 분명합니다. 린은 CPU 기반이고 GPU 가속이 없습니다. 큰 모델로 검증을 확장하는 문제는 열려 있습니다. 아난드쿠마르 본인이 시작점이지 완성품이 아니라고 말합니다.

핵융합 디지털 트윈과 역설계

기상 다음은 핵융합입니다. 영국 원자력청(UKAEA)과 함께 토카막의 디지털 트윈을 만들었고, 플라즈마 전개를 전통 시뮬레이션보다 100만 배 빠르게 모델링합니다. 학습 샘플은 수천 개 수준입니다.

당면 목표는 붕괴(disruption) 예측입니다. 플라즈마가 빔 형태로 뭉쳐 반응로 벽을 손상시키는 현상입니다. 다음 단계는 제어입니다. 빠른 대리모델로 자기장 조정을 실시간 설계해 붕괴를 막는 것입니다. 예측에서 개입으로 넘어가는 지점입니다.

역설계 쪽이 더 급진적입니다. 주어진 설계를 시뮬레이션하는 대신, 최적 설계를 곧바로 내놓게 하는 방향입니다. 사례로 반도체 제조용 역 리소그래피 마스크와 비선형 광자학의 양자점 게이트가 언급됩니다. 두 경우 모두 인간 설계자가 고도로 비선형인 최적화 지형에서 고전했고, AI가 내놓은 설계는 새로우면서 시뮬레이션 루프로 검증됐습니다.

더 큰 그림은 물리 파운데이션 모델입니다. 방정식 하나짜리 좁은 대리모델이 아니라, 여러 기하와 결합된 다중 물리를 다루는 모델입니다. 잠재 공간 요령이 재미있습니다. 임의의 자동차 형상을 위상적으로 동등한 도넛으로 변환하고, 표준 기하에서 물리를 모델링한 뒤 되돌립니다. 다중 물리로 가는 경로는 커리큘럼 학습입니다. 열 전파나 재료 변형 같은 개별 현상을 먼저 학습하고, 결합된 버전을 훨씬 적은 샘플로 미세조정합니다.

규제가 AI를 언어 모델과 같은 것으로 취급합니다

아난드쿠마르는 최근 유엔 과학자문위원회에 합류했고, 그 역할을 하나의 우려로 정리합니다. 규제 프레임워크가 AI를 곧 언어 모델과 동일시한다는 것입니다.

"많은 규제 프레임워크가 AI를 언어 모델과 동일시합니다. 언어 모델이 사람을 조작할 수 있는 건 맞습니다. 하지만 과학을 위한 AI는 다릅니다."

언어 모델의 조작과 허위정보 위험은 규제 대상이 맞습니다. 다만 과학용 AI는 조작하지 않고 발견합니다. 하나의 틀로 묶으면 해로운 쪽을 겨냥하면서 이로운 쪽을 함께 옥죌 위험이 있다는 지적입니다. 그가 위원회에서 내건 목표는 편향 없는 과학적 근거 제공과 접근의 민주화입니다. 유럽 대형 기관을 위한 기상 모델과 남반구 소규모 기관을 위한 기상 모델이 같은 모델일 수 있다는 점이 지킬 가치가 있다는 것입니다.

스케일링이 안 통하는 곳이 희소성이 실재하는 곳입니다

VC 관점에서 이 대화의 값어치는 기술 자체보다 선별 기준에 있습니다.

언어 모델 계열에서는 규모가 곧 해자였고, 그래서 자본이 해자를 샀습니다. 자본으로 살 수 있는 해자는 더 큰 자본에 무너집니다. 반대로 아난드쿠마르가 그리는 영역은 데이터가 모자라고 해상도가 잔혹해서 연산을 부어도 풀리지 않습니다. 여기서 우위를 만드는 것은 아키텍처 설계, 도메인 물리, 검증 도구, 그리고 기관 접근권입니다. 이런 것들은 돈으로 즉시 복제되지 않습니다.

딥테크 그로스 관점에서 이것을 세 개의 질문으로 바꿀 수 있습니다.

첫째, 이 회사의 우위가 연산으로 복제되는가. 복제된다면 자본 경쟁이고, 더 깊은 주머니가 이깁니다. 복제되지 않는다면 왜 안 되는지를 물리로 설명할 수 있어야 합니다. 컨텍스트 길이 산수처럼 구체적인 근거가 나와야 합니다.

둘째, 데이터 희소성이 진입장벽인가 아니면 그냥 결핍인가. 아난드쿠마르 쪽에서는 물리 구조가 적은 데이터를 보완합니다. 그런 보완 구조가 없는 도메인에서 데이터가 적다는 건 그냥 학습이 안 된다는 뜻입니다. 구조가 있는지 없는지가 갈림길입니다.

셋째, 검증이 채택의 병목인가. 기상은 ECMWF가 공개하면서 신뢰가 붙었고, 핵융합은 UKAEA가 쓰면서 실증이 붙었습니다. 제어 루프에 들어가는 순간 인증이 필요하고, 토치린이 아직 확장성 문제를 안고 있다는 사실은 이 계열 회사들의 상용화 시점이 검증 도구의 성숙에 물려 있다는 뜻입니다.

여기에 재평가 사건 관점을 겹치면 그림이 선명해집니다. 이 계열에서 기업가치를 다시 매기는 사건은 매출 곡선이 아니라 기관 채택입니다. 기상청이 운영에 넣는지, 원자력 기관이 제어에 쓰는지, 반도체 업체가 마스크 설계 파이프라인에 넣는지가 그 시점입니다. 기술 희소성은 입장권이고, 기관 도입과 인증이 조건입니다.

맺으며

물리 세계는 데이터가 부족하고 해상도가 잔혹해서 충분히 큰 트랜스포머가 존재할 수 없고, 그래서 세계의 구조를 모델 안에 넣어야 합니다. 그 대가로 5만 개 샘플과 GPU 한 장이 슈퍼컴퓨터를 대체합니다.

---

출처 노트: Latent Space, "Why Transformers Hit a Wall the Moment Physics Shows Up" (2026-08-26, 83분) 자막 전문. TorchLean 논문은 arXiv:2602.22631. 인용문은 자막 기준으로 옮긴 것이며 문장 다듬기가 들어갔습니다. 성능 수치는 모두 발언 기준이고 독립 검증 전입니다.