5조 포인트를 읽는 물리 AI, Transformer를 버렸다는 말의 정확한 의미
2026년 8월 25일 Reuters는 Anima Anandkumar와 Benedikt Jenik이 세운 Accelerated Understanding을 공개했습니다. 회사는 하나의 입력에서 물리 데이터 5조 포인트를 처리했다고 밝혔습니다. 최대 1조 파라미터 모델을 훈련했고, 35조 파라미터 규모까지 확장 실험을 했다는 설명도 내놓았습니다.
두 창업자가 Jeff Bezos가 지원하는 Project Prometheus의 합류 제안을 거절했다는 이야기는 강한 헤드라인입니다. 회사의 기술 베팅은 다음 한 문장에 더 잘 드러납니다.
이 모델은 Transformer 대신 신경 연산자(neural operator)를 토대로, 물리 현상이 공간과 시간에서 어떻게 변하는지를 예측합니다.
이 문장은 절반만으로는 오해하기 쉽습니다. Transformer는 계산 구조이고, 신경 연산자는 학습하려는 대상과 모델 계열입니다. Transformer로도 신경 연산자를 만들 수 있고, 신경 연산자도 Fourier 변환·그래프·저랭크 커널·attention을 섞을 수 있습니다. Reuters가 전한 회사 설명만으로는 실제 내부 블록이 Fourier Neural Operator인지, 새로운 비Transformer 연산자인지 확인할 수 없습니다.
현재 공개된 차이는 “attention을 쓰지 않는다”보다 더 근본적입니다. GPT 계열은 토큰 열에서 다음 토큰의 확률을 배웁니다. 신경 연산자는 초기조건·경계조건·재료·외력 같은 입력 함수 전체를 미래의 물리장 함수로 바꾸는 변환을 배웁니다. 문장을 읽는 모델과 편미분방정식의 해 묶음을 압축하는 모델의 차이입니다.
Transformer는 토큰 관계를, 신경 연산자는 함수 변환을 배웁니다
Transformer의 self-attention은 유한한 토큰 행렬 X에서 Query, Key, Value를 만들고 다음 계산으로 정보를 섞습니다.
Attention(Q,K,V) = softmax(QKᵀ/√d)V
각 토큰은 다른 토큰과의 관련도를 계산합니다. 위치는 positional encoding이나 RoPE 같은 별도 장치로 넣습니다. 언어모델에서는 이 표현으로 다음 토큰을 한 개씩 생성하는 방식이 일반적입니다. 물리 격자를 토큰으로 바꾸고 Transformer로 풀 수도 있지만, 포인트 수가 커지면 모든 쌍의 관계를 계산하는 표준 attention의 비용이 빠르게 늘어납니다.
신경 연산자는 함수에서 함수로 가는 사상을 근사합니다. 한 층을 단순화하면 다음처럼 쓸 수 있습니다.
v_{ℓ+1}(x) = σ(Wv_ℓ(x) + ∫_D κ_θ(x,y)v_ℓ(y)dy)
입력 v는 한 점의 숫자가 아니라 공간 전체에 정의된 온도·압력·속도·전자기장입니다. 학습된 커널 κ가 멀리 떨어진 위치의 영향을 모읍니다. Fourier Neural Operator는 이 적분 커널을 Fourier 공간에서 매개화해 전역 상호작용을 효율적으로 계산합니다.
차이는 해상도를 바꿀 때 드러납니다. 일반 신경망은 고정 크기 벡터나 격자에 맞춰 가중치를 배웁니다. 신경 연산자는 연속 함수 공간의 변환을 근사하도록 설계되어, 서로 다른 격자에서도 같은 가중치를 공유할 수 있습니다. 이를 이산화 불변성(discretization invariance)이라고 부릅니다. 훈련 때보다 촘촘한 격자에서 계산할 가능성이 생기지만, 보지 못한 고주파 현상까지 정확해진다는 보장은 아닙니다.
| 구분 | GPT형 Transformer | 신경 연산자 계열 |
|---|---|---|
| 기본 입력 | 이산 토큰과 위치 | 공간에 정의된 함수·장·형상·경계조건 |
| 학습 대상 | 토큰 열의 조건부 확률 | 함수에서 함수로 가는 연산자 |
| 대표 출력 | 다음 토큰, 문장, 코드 | 온도·압력·속도·응력의 전체 분포 |
| 전역 정보 혼합 | self-attention | 적분 커널, Fourier 모드, 그래프, 저랭크 기저 등 |
| 해상도 | 토큰화와 위치체계에 의존 | 같은 가중치를 여러 이산화에서 공유하도록 설계 가능 |
| 시간 예측 | 토큰을 순차 생성하는 경우가 많음 | 한 스텝, 반복 전개, 전체 궤적 직접 출력 모두 가능 |
한 번의 방정식 풀이가 아니라 해의 가족을 압축합니다
전통적인 수치해석기는 형상·재료·초기조건·경계조건이 주어질 때마다 편미분방정식을 다시 풉니다. 유한요소법이나 전산유체역학 계산은 물리 법칙을 이산화하고 반복 계산해 하나의 해를 찾습니다. 정확도를 높이려면 격자를 촘촘하게 만들고 시간 간격을 줄여야 하므로 계산비용이 커집니다.
신경 연산자는 여러 조건에서 미리 만든 해를 학습해 G: 입력 함수 → 해 함수를 근사합니다. 열 방출판을 예로 들면 입력은 3차원 형상, 재료 특성, 전력 밀도, 냉각 조건이고 출력은 공간과 시간에 따른 온도와 유동장입니다. 훈련이 끝난 뒤에는 새 설계마다 수치해석을 처음부터 반복하는 대신 학습한 연산자를 한 번 평가합니다.
속도 향상은 계산을 없앤 결과가 아닙니다. 많은 고정밀 시뮬레이션과 실험 데이터를 앞에서 사용해 반복 풀이 비용을 사전학습 비용으로 옮긴 결과입니다. 비슷한 물리 문제를 수천 번 풀어야 하는 설계 탐색, 디지털 트윈, 앙상블 예측에서는 이 선투자가 경제적일 수 있습니다. 한 번만 풀 문제이거나 훈련 범위를 크게 벗어난 문제라면 기존 해석기가 더 안전할 수 있습니다.
Accelerated Understanding은 직접 4차원 예측·다중 물리·설계 기울기를 한 모델에 묶었습니다
회사의 기술 설명은 공개 논문이 아니라 창업팀의 자체 발표입니다. 발표 기준으로 이들이 기존 신경 연산자 연구보다 더 멀리 밀고 간 부분은 다음 조합입니다.
3차원 공간과 시간 전체를 한 번에 냅니다
많은 날씨·영상·물리 예측 모델은 t+1을 예측한 뒤 그 결과를 다시 넣어 t+2를 만듭니다. 작은 오차가 다음 입력으로 들어가면서 장기 전개에서 누적될 수 있습니다. Accelerated Understanding은 3차원 공간의 전체 시간 궤적, 즉 u(x,y,z,t)를 한 번에 출력한다고 설명합니다.
전체 궤적 직접 출력은 오차 전파 고리를 줄입니다. 반대급부도 있습니다. 출력이 매우 크고, 시간별 조건부 불확실성을 표현하기 어렵고, 긴 시간축 전체를 동시에 맞추는 학습문제가 생깁니다. 회사가 밝힌 5조 컨텍스트 추론 한 건의 출력은 약 22TB입니다. 노트북에서 긴 문서를 읽는 문맥창보다 초대형 분산 과학계산에 가깝습니다.
훈련과 추론의 해상도를 바꿀 수 있다고 주장합니다
회사는 patching이나 sub-sampling 없이 훈련에서 최대 1조, 추론에서 5조가 넘는 컨텍스트를 시험했고, 같은 모델을 원하는 해상도에서 실행할 수 있다고 밝혔습니다. 이는 신경 연산자의 이산화 불변성을 초대형 시스템으로 확장하겠다는 주장입니다.
“어떤 해상도든 가능하다”와 “어떤 해상도에서도 정확하다”는 다릅니다. 격자가 촘촘해져도 모델이 훈련 데이터에 없던 난류의 작은 소용돌이, 충격파, 경계층을 자동으로 복원하지는 않습니다. aliasing, 보존법칙 위반, 형상 변화, 훈련 범위 밖의 물성은 따로 검증해야 합니다.
열·유체·재료를 한 모델에서 학습합니다
기존 surrogate model은 한 방정식이나 한 산업 문제에 맞춰 훈련하는 경우가 많습니다. 이 회사는 서로 다른 물리 영역을 한 모델에서 함께 학습했을 때 같은 크기의 개별 모델보다 성능이 좋아지는 cross-physics uplift를 관찰했다고 주장합니다.
이 방향은 언어 기반모델의 범용 사전학습을 물리로 옮긴 것입니다. 그러나 보편근사정리는 특정한 연속 연산자를 충분한 용량으로 근사할 수 있다는 수학적 성질이지, 하나의 훈련된 모델이 열역학·전자기학·탄성·유체를 모두 이해한다는 증명이 아닙니다. 서로 다른 물리의 기울기가 충돌해 성능이 떨어지는 negative transfer도 가능한 반증입니다.
결과뿐 아니라 설계를 바꿀 방향을 냅니다
신경 연산자는 입력과 출력 사이가 미분 가능한 대리모델입니다. 설계변수 a, 예측 물리장 u=G_θ(a), 목표함수 J(u,a)가 있으면 자동미분으로 ∂J/∂a를 계산할 수 있습니다. 열이 가장 높은 지점을 낮추려면 어느 형상이나 재료값을 어느 방향으로 움직여야 하는지 제안할 수 있다는 뜻입니다.
회사는 이를 “왜 그런 결과가 나왔는지, 어떻게 개선할지 알려주는 방향성 피드백”이라고 표현합니다. 수학적으로 더 정확한 말은 현재 대리모델 안에서의 국소 민감도와 기울기입니다. 이는 인간이 이해하는 인과 설명과 다르고, 모델이 훈련 범위 밖에서 틀리면 최적화가 그 오류를 적극적으로 파고들 수 있습니다. 최종 설계는 고정밀 해석기와 실험으로 다시 확인해야 합니다.
5조 컨텍스트는 LLM 컨텍스트와 같은 단위가 아닙니다
Reuters 기사는 5조 데이터 포인트를 Anthropic과 Google의 대표 모델이 처리하는 문맥보다 약 500만 배 크다고 비유했습니다. 물리 격자의 크기를 감각하게 하는 비유일 뿐, 모델 성능이나 정보량의 배수는 아닙니다.
LLM의 컨텍스트는 subword·코드·이미지 patch처럼 모델이 의미 단위로 토큰화한 1차원 열입니다. 물리 모델의 컨텍스트는 x×y×z×t 격자와 여러 채널에 놓인 수치입니다. 인접 격자값은 강하게 상관되어 있고, 각 포인트의 정보량과 계산량도 토큰 한 개와 다릅니다. 회사가 든 예처럼 각 축에 1,000개 포인트를 두면 곱셈만으로 1조가 됩니다.
5조라는 숫자는 초대형 4차원 장을 분산 처리했다는 시스템 규모 주장으로는 의미가 있습니다. “LLM보다 500만 배 더 긴 생각을 한다”거나 “500만 배 더 많은 정보를 이해한다”는 뜻은 아닙니다.
파라미터 수 역시 구분해야 합니다. 회사 발표에는 최대 1조 파라미터 모델을 훈련했다는 문장과 35조 파라미터까지 scaling experiment를 했다는 문장이 따로 있습니다. 35조 파라미터의 완성 모델을 학습해 정확도를 검증했다는 뜻으로 합치면 안 됩니다. 평균 훈련 실행에 2~6PB 데이터를 사용했다는 숫자도 회사 발표치입니다.
DeepONet과 FNO에서 다중 물리 기반모델까지 같은 문제를 다른 구조로 풀고 있습니다
Accelerated Understanding의 방향은 갑자기 생기지 않았습니다. 함수 공간의 변환을 배우는 연구, 물리 법칙을 손실함수에 넣는 연구, 여러 물리를 하나의 모델로 묶는 연구가 합쳐지는 지점에 있습니다.
| 연구 사례 | 같은 점 | 다른 점 |
|---|---|---|
| DeepONet, 2021 | 입력 함수를 읽는 branch net과 출력 좌표를 읽는 trunk net으로 비선형 연산자를 학습 | 여러 응용에서 연산자 근사의 기초를 보였지만, 공개 연구 규모는 범용 4차원 모델과 다름 |
| Fourier Neural Operator, 2021 | 함수 공간의 적분 커널을 Fourier 공간에서 학습하고 해상도 변화에 같은 가중치를 사용 | 표준 실험은 Burgers·Darcy·Navier-Stokes 같은 방정식군 중심이며 모든 형상·물리를 한 모델에 넣지 않음 |
| Physics-Informed Neural Operator, 2021 | 데이터 오차와 PDE 잔차를 함께 줄여 물리 법칙을 학습 신호로 사용 | Accelerated Understanding의 model hill-climbing·설계 기울기 주장과 가깝지만, 해당 회사의 실제 손실함수는 비공개 |
| FourCastNet, 2022 | Anandkumar 연구진이 AFNO로 고해상도 기상예측을 대규모 GPU에서 가속한 직접 선행사례 | 초기 FourCastNet은 ViT와 Fourier 계열 token mixer를 결합하고 시간 스텝을 전개하는 기상 특화 모델 |
| Multiple Physics Pretraining, 2024 | 서로 다른 물리 시스템을 한 backbone에 사전학습하면 전이 성능이 좋아질 수 있음을 실험 | Transformer 기반이고 autoregressive이며, 회사가 주장하는 비Transformer·직접 4차원 출력과 다름 |
| Transolver, 2024 | 복잡한 형상의 PDE를 효율적으로 풀고 내재된 물리 상태를 학습 | mesh point를 물리 상태별 slice로 묶어 선형 복잡도의 attention을 쓰므로 Transformer도 여전히 강한 경쟁 구조임 |
이 계보는 “Transformer를 버려야 물리를 풀 수 있다”는 결론을 지지하지 않습니다. 오히려 같은 목표를 operator kernel, Fourier mixer, graph, convolution, Transformer, state-space model이 나눠 경쟁하고 있음을 보여줍니다. Accelerated Understanding의 독자성은 신경 연산자라는 이름 자체보다 비Transformer 기반의 초대형 분산 실행, 직접 4차원 궤적, 다중 물리 사전학습, 미분 가능한 설계 최적화를 한 시스템으로 묶었다는 주장에 있습니다.
공개된 기술은 강하지만 엔지니어링 대체 증거는 아직 없습니다
2026년 8월 26일 현재 회사 사이트에는 모델 카드, 논문, 코드, 구조도, 비교 벤치마크가 없습니다. 공개 영상은 여러 물리 영역의 출력을 보여주지만, 입력 분포·정답 해석기·오차지표·추론시간·하드웨어·비교 기준을 확인하기 어렵습니다. 회사가 “이전에 보지 못한 열 방출판 형상”을 처리했다고 밝힌 사례도 독립 검증 전입니다.
엔지니어링 현장에서는 그럴듯한 영상보다 다음 검증이 먼저입니다.
- 분포 밖 정확도: 보지 못한 형상·재료·경계조건·Reynolds 수에서 상대오차가 어떻게 늘어나는가
- 물리 보존: 질량·운동량·에너지·전하 보존과 PDE 잔차를 장시간 유지하는가
- 작은 척도: 난류 스펙트럼, 충격파, 경계층, 극단기상처럼 저주파 평균에 묻히기 쉬운 현상을 보존하는가
- 불확실성: 한 개의 궤적만 내지 않고 가능한 미래의 분포와 신뢰구간을 보정하는가
- 경제성: 데이터 생성·학습·추론·검증을 모두 합친 총비용이 기존 CFD·FEM·실험보다 낮아지는 반복 횟수는 얼마인가
- 설계 안전성: gradient가 제안한 최적 설계가 고정밀 해석기와 실제 실험에서도 개선되는가
최근 복잡 형상의 유동 예측 비교 연구도 최신 신경 연산자들이 훈련 분포 안에서는 강하지만 보지 못한 유동 조건에서 일관되게 약해지고, 물리 불변량을 구조적으로 강제하기 어렵다고 지적했습니다. 해상도 불변성과 물리적 일반화는 같은 말이 아닙니다.
언어 기반모델의 다음 세대가 아니라 과학계산의 기반모델을 겨냥합니다
Accelerated Understanding은 ChatGPT를 대체하려는 회사가 아닙니다. 언어로 아이디어를 내는 모델 옆에, 열·유체·재료·전자기장의 결과를 수치로 검증하고 설계를 고치는 기반모델을 세우려 합니다. Transformer 이후 아키텍처의 분화에서 말한 “같은 지능이 더 커지는 과정”보다 “서로 다른 상태와 예측목표를 가진 지능이 갈라지는 과정”에 가깝습니다.
고품질 시뮬레이션과 실험 데이터, 여러 물리를 함께 학습시키는 교육과정, 초대형 4차원 장을 나누는 분산 인프라, 물리 잔차와 실제 실험이 모델을 다시 고치는 검증 폐루프가 함께 쌓여야 합니다. 5조라는 숫자 하나로는 이 기술 자산을 증명할 수 없습니다.
신경 연산자가 함수 공간의 변환을 배우고 기존 수치해석보다 반복 추론을 크게 가속할 수 있다는 연구 계보는 확인됩니다. Accelerated Understanding이 이를 범용 물리 기반모델 규모로 확장했다는 주장은 아직 회사 발표 단계입니다. Transformer를 버렸다는 헤드라인보다 물리 문제의 입력·출력·검증을 언어와 전혀 다른 방식으로 정의했다는 점이 더 중요합니다.
출처·검증 범위: 창업 경위와 neural operator 기반이라는 설명은 Reuters 보도, 1조 파라미터·35조 scaling experiment·5조 컨텍스트·22TB 출력·2~6PB 훈련 데이터·직접 4차원 출력·cross-physics uplift는 Accelerated Understanding의 2026년 8월 25일 자체 발표 기준입니다. 회사 고유 아키텍처와 성능은 논문·모델 카드·독립 벤치마크로 확인되지 않았습니다. 특정 기업이나 종목에 대한 투자판단은 포함하지 않습니다.
주요 출처: Reuters 원문 전재, Accelerated Understanding 기술 설명, Neural Operator, JMLR, Fourier Neural Operator, DeepONet, Physics-Informed Neural Operator, FourCastNet, Multiple Physics Pretraining, Transolver.