OpenAI Jalapeño가 Rubin을 앞선 조건과 진짜 의미

OpenAI의 자체 추론 칩 Jalapeño가 처음으로 성능을 공개했습니다. GPT-OSS 120B, DeepSeek R1, Kimi K2.5처럼 OpenAI가 직접 만든 모델이 아닌 대형 오픈 모델에서도 GB200·GB300보다 높은 처리량 대비 전력 효율과 낮은 지연시간을 기록했습니다. SemiAnalysis는 이 결과를 NVIDIA Vera Rubin의 초기 측정점과 같은 축에 놓았고, Jalapeño A0가 단일턴 출력 토큰/MW에서 Rubin을 앞섰다고 평가했습니다.

처음 공유된 문구는 더 강합니다. MTP도 없고, 프리필과 디코드 분리도 하지 않고, 순수 TP만으로 Rubin보다 빨랐으며 B0는 여기서 25% 더 좋아진다는 주장입니다. 큰 방향은 맞지만 두 부분은 구분해서 읽어야 합니다. 모든 시험이 순수 TP만 쓴 것은 아닙니다. B0의 25% 개선도 아직 공개 실측치가 아닙니다.

이 한계를 붙여도 Jalapeño의 의미는 작아지지 않습니다. 오히려 어디가 진짜 혁신인지 더 또렷해집니다.

공개 수치는 짧은 단일턴 추론에서 강했습니다

OpenAI는 8,000개 입력 토큰과 1,000개 출력 토큰을 가진 단일턴 조건에서 세 모델을 시험했습니다. 사용자 체감 속도를 맞추고 칩 패키지의 정격 전력으로 나눴습니다. Jalapeño는 실제 지속 전력이 550W 이하였지만 계산에는 더 보수적인 정격 700W를 썼다고 밝혔습니다.

모델	비교 시스템	처리량/kW 우위	전체 지연시간 개선	토큰 간 지연 개선
GPT-OSS 120B	GB200	1.90배	1.75배	2.71배
DeepSeek R1	GB300	1.67배	3.63배	4.13배
Kimi K2.5	GB300	1.53배	3.40배	3.81배

위 수치는 OpenAI가 공개한 원표를 다시 계산한 값입니다. 처리량뿐 아니라 낮은 동시성 구간의 토큰 간 지연시간도 좋아졌습니다. 더 많은 사용자를 몰아넣어 처리량만 높인 결과가 아니라는 뜻입니다.

Rubin을 이겼다는 문장에는 측정 조건이 붙습니다

OpenAI의 표에서 직접 비교한 상대는 GB200과 GB300입니다. Rubin 우위는 SemiAnalysis가 2026년 7월 CoreWeave와 NVIDIA의 Rubin 결과를 같은 출력 토큰/MW 축에 놓은 분석에서 나왔습니다. 그 그래프에서 Jalapeño A0의 single-turn profile은 Rubin의 MTP 결과보다 위에 있었습니다.

짧은 단일턴 안에서도 두 시험은 완전히 같은 경기가 아닙니다. Rubin은 MTP, 프리필·디코드 분리, 대규모 expert parallelism과 NVFP4를 사용했습니다. TensorRT-LLM과 Dynamo도 함께 썼습니다. Jalapeño는 MTP, speculative decoding과 프리필·디코드 분리를 사용하지 않았습니다. SemiAnalysis 연구진은 OpenAI 실험실에서 일부 실행을 직접 관찰했습니다. 다만 전체 suite를 독립 재현하지는 않았고 숫자는 OpenAI가 제공했습니다.

장문과 agent workload는 별도의 경기입니다. NVIDIA는 2026년 8월 1.6조 파라미터급 DeepSeek V4 Pro의 AgentX 결과를 새로 발표했습니다. 이 결과도 NVIDIA 자체 측정이고 SemiAnalysis 검토 전입니다. 8K/1K 단일턴과 장문 agent workload는 KV cache 압력과 병렬화가 달라 한 숫자로 비교할 수 없습니다.

현재 내릴 수 있는 판정은 이 정도입니다. Jalapeño는 짧은 단일턴 추론에서 Rubin급 성능 경계를 넘은 강한 초기 실리콘 증거입니다. 모든 모델과 모든 문맥에서 Rubin을 이긴 칩이라는 증거는 아닙니다.

순수 TP와 B0 25%는 구분해서 읽어야 합니다

MTP와 프리필·디코드 분리를 쓰지 않았다는 설명은 공개 근거와 맞습니다. 다만 “순수 TP만 사용했다”는 표현은 전체 시험에 적용되지 않습니다. SemiAnalysis는 높은 동시성의 GPT-OSS 구성에 EP8이 쓰였다고 적었습니다. 다른 구간에서는 TP8과 TP32가 쓰였습니다. 정확한 표현은 모델별 TP와 EP를 사용하되, 추가 토큰 예측과 speculative decoding, 프리필·디코드 분리 없이 성능을 냈다는 것입니다.

B0의 25% 개선은 더 조심해야 합니다. 공개된 수치는 A0 engineering sample의 결과입니다. SemiAnalysis는 B0가 fab에 있으며 성능 대비 전력이 약 25% 좋아질 것으로 전했습니다. 아직 B0 실리콘에서 측정해 공개한 값은 아닙니다. timing, power와 생산 수율까지 확인해야 제품 성능이 됩니다.

피크 FLOPS보다 데이터 이동이 중요해졌습니다

LLM의 디코드는 한 토큰씩 만들 때 큰 모델 가중치와 KV cache를 반복해서 읽습니다. 연산기가 빨라도 HBM에서 데이터를 가져오고 칩 사이로 옮기는 시간이 길면 행렬 연산기는 기다립니다. 이 때문에 추론 칩의 경제성은 이론상 FLOPS보다 HBM의 바이트를 실제 토큰으로 얼마나 바꾸는지에 가까워집니다.

SemiAnalysis가 전한 Jalapeño A0의 수치는 MXFP4 13.4 PFLOPS와 HBM4 15.4TB/s입니다. NVIDIA가 공개한 Rubin GPU의 preliminary 사양은 NVFP4 50 PFLOPS와 HBM4 22TB/s입니다. 정밀도와 집계 방식이 다르므로 FLOPS를 직접 비교할 수 없습니다. 피크 연산량이 작은 전용 칩이 특정 모델에서 더 높은 토큰 효율을 냈다는 점만 남습니다. 데이터 이동과 활용률의 중요성을 보여주는 대목입니다.

OpenAI는 모델 상태와 KV cache를 가까이 두고, prefill과 decode를 같은 가속기에서 처리하도록 Jalapeño를 설계했다고 설명합니다. SemiAnalysis는 여기에 weight-stationary systolic array, HBM slice별 지역성, 필요한 집합통신에 집중한 네트워크가 결합됐다고 분석합니다. GPU가 지원해야 하는 넓은 범용성 가운데 OpenAI의 추론에 필요한 경로만 남긴 셈입니다.

칩 하나보다 모델에서 실리콘까지의 폐루프가 강합니다

OpenAI는 모델 구조, 커널과 serving 동작을 알고 있습니다. Broadcom은 silicon과 network를, Celestica는 board·rack·system을 맡았습니다. 자체 칩은 모든 것을 혼자 만드는 사업이 아니라 workload를 가진 회사가 검증된 설계·생산 파트너를 조립하는 사업이 될 수 있습니다.

OpenAI는 9개월 만에 tapeout했고, 두 달 동안 세 개의 새 오픈 모델을 올렸다고 밝혔습니다. AI가 선택된 하드웨어 설계 블록을 사람보다 1.5~1.8배 개선했다고도 발표했습니다. 전체 모델의 속도가 그만큼 좋아졌다는 뜻은 아닙니다. 새 모델이 나올 때 mapping과 커널을 다시 맞추는 시간이 짧아졌다는 점이 중요합니다.

반도체 스타트업을 보는 기준도 높아집니다. 시뮬레이션의 TOPS가 아니라 실제 silicon에서 같은 품질의 모델을 돌린 결과, 새 모델을 올리는 기간, rack 전력, 장애 복구, 생산 수율과 고객 workload 접근권이 한 묶음으로 필요합니다. 모델랩과 깊은 공동설계 관계가 없는 칩 회사는 갈수록 불리해질 수 있습니다.

NVIDIA GPU는 HBM 포장재가 아닙니다

“GPU는 HBM을 감싸는 포장재가 된다”는 표현은 디코드의 병목을 직관적으로 보여줍니다. HBM4와 advanced packaging, interconnect, 전력과 냉각의 전략적 가치가 커지는 방향도 맞습니다.

하지만 GPU를 수동적인 포장재로 부르면 Rubin이 하는 일을 지우게 됩니다. Rubin은 HBM4 22TB/s, NVLink 6와 Tensor Memory Accelerator를 한 시스템으로 설계합니다. 저정밀 포맷과 inference software도 함께 최적화합니다. NVIDIA는 Rubin과 Groq 3 LPX를 NVLink Fusion으로 묶는 이종 플랫폼도 발표했습니다. 전용 추론 칩을 바깥 경쟁자로만 두지 않고 NVIDIA의 rack과 network 안으로 흡수하는 대응입니다.

더 정확한 문장은 이렇습니다. 추론 가속기의 평가 기준이 피크 FLOPS에서 HBM-to-token efficiency로 이동하고 있습니다. NVIDIA의 해자가 사라지는 것이 아니라 GPU 단품에서 rack, network, compiler, inference engine과 이종 시스템 운영으로 넓어지고 있습니다.

가치사슬은 HBM 한 곳으로만 이동하지 않습니다

Jalapeño와 Rubin 모두 HBM4를 사용합니다. 메모리 대역폭과 지역성이 토큰 원가를 좌우한다면 HBM과 advanced packaging의 중요도는 커집니다. 다만 Jalapeño의 HBM 공급자는 공식 확인되지 않았습니다. 특정 메모리 업체의 수혜로 바로 연결하면 공개 근거를 넘어섭니다.

Broadcom형 custom silicon 파트너, Celestica형 rack integrator, 파운드리와 packaging, optics, 전력·냉각도 함께 중요해집니다. 소프트웨어에서는 model-to-silicon loop를 줄이는 compiler, simulator, kernel generator와 serving eval이 새로운 축입니다. 내부 전용 도구가 여러 고객에게 팔 수 있는 독립 시장이 될지는 따로 검증해야 합니다.

OpenAI는 Jalapeño 이후에도 NVIDIA를 training과 inference에 계속 폭넓게 쓸 것이라고 밝혔습니다. 자체 ASIC이 반복적인 first-party inference의 GPU 점유율을 낮추더라도 총 AI compute 수요가 더 빨리 늘면 NVIDIA의 절대 사업은 성장할 수 있습니다. 훈련, 새 모델, fine-tuning과 예측하기 어려운 workload에서는 범용 GPU의 빠른 배치가 여전히 강합니다.

다음 결과가 나오기 전까지 승부는 열려 있습니다

Jalapeño A0는 전용 추론 ASIC이 최신 범용 GPU의 경계를 실제 silicon에서 넘을 수 있다는 강한 증거입니다. 이제 후속 실리콘과 더 어려운 workload가 이 증거의 범위를 결정합니다.

다음 다섯 가지를 보겠습니다. B0 실리콘의 실제 성능 대비 전력, 32K 이상 멀티턴과 AgentX, rack 전체 전력, 장시간 가동률과 생산 수율, 새 모델을 지원하는 데 걸리는 시간입니다. 이 결과가 따라오면 Jalapeño는 한 번의 뛰어난 benchmark가 아니라 GPU 중심 추론 경제성의 구조적 변화가 됩니다.

결국 승자는 HBM을 감싼 회사가 아닙니다. HBM에서 꺼낸 바이트를 가장 싸고 안정적으로 유용한 토큰으로 바꾸는 시스템을 가진 회사입니다.

---

출처: OpenAI Jalapeño 첫 성능 결과, OpenAI Jalapeño 공개 발표, SemiAnalysis Jalapeño와 Rubin 비교 분석, NVIDIA Vera Rubin NVL72 사양, CoreWeave Rubin 초기 실리콘 결과, NVIDIA AgentX 결과, NVIDIA Rubin과 Groq 3 LPX 플랫폼. 수치와 공개 상태는 2026년 8월 27일 기준입니다.