← Back to list2026-07-09

전력이냐 칩이냐: 미국과 중국의 AI 추론 스택이 갈라선 이유

반도체AI 인프라추론미국 중국산업 분석

미국과 중국의 AI 추론 인프라를 나란히 놓으면 이상한 그림이 나옵니다. 논리 아키텍처는 수렴했는데 물리 구현은 정반대로 갈라졌습니다. 양쪽 다 긴 입력을 처리하는 prefill과 토큰을 생성하는 decode를 분리하고, KV 캐시를 스케줄링의 중심에 놓는 방향으로 갔습니다. 그런데 그 아이디어를 실리콘으로 옮기는 방식이 완전히 다릅니다.

이유는 단순합니다. 두 나라가 서로 다른 자원 제약을 풀고 있기 때문입니다. 미국은 전력이 부족하고 최첨단 실리콘이 풍부하며, 중국은 첨단 로직과 HBM이 부족하고 전기와 부지, 광부품이 풍부합니다. 제약이 다르면 최적화 목표가 달라지고, 목표가 다르면 아키텍처가 달라집니다. 이 글은 그 분기를 따라갑니다. 인용한 2026년의 사건과 수치는 대부분 보도와 회사 발표 기준으로 독립 검증 전이며, 특정 종목의 투자 판단은 다루지 않습니다.

제약이 아키텍처를 결정한다

두 나라는 다른 문제를 풀고 있습니다.

구분	미국	중국
희소 자원	전력, 계통 접속	첨단 로직 + HBM
풍부한 자원	최첨단 실리콘	전기, 부지, 광부품
최적화 목표	토큰 / 메가와트	토큰 / 칩세대

숫자로 보면 이 비대칭이 또렷합니다. 이른바 '전자 격차(electron gap)'입니다. BloombergNEF 추정 기준으로 중국은 향후 5년간 미국의 6배 넘는 발전용량을 추가할 것으로 보이고, 중국 평균 전기료는 2022년 메가와트시당 약 90달러에서 2025년 일부 지역 56달러까지 내려갔습니다. 반대로 미국에서는 2024년 5월부터 2025년 6월 사이 최소 36개 데이터센터가 지역 반발과 계통 부담으로 좌초하거나 지연됐다는 집계가 있습니다.

전력이 공짜에 가까우면 전력당 성능을 포기하고 시스템당 성능을 삽니다. 이것이 중국 아키텍처의 전부입니다. 반대로 전력이 병목이면 같은 와트에서 토큰을 더 뽑는 쪽으로 실리콘을 바꿉니다. 이것이 미국 아키텍처의 전부입니다.

스케일업: 구리냐 광이냐

가속기를 묶는 스케일업 도메인에서 두 접근이 정면으로 갈립니다.

미국은 랙 하나에 72에서 144개 가속기를 구리로 촘촘히 묶어 전력당 성능을 지킵니다. 중국은 수백에서 수천 개 NPU를 전부 광으로 넓게 묶어 시스템당 성능을 삽니다. 같은 스케일업 목표, 정반대의 물리적 선택입니다.

미국은 NVLink 기반 랙 스케일업입니다. GB200 NVL72가 72개 GPU를 묶고, 차세대 Vera Rubin은 NVL144로 갑니다. 랙 내부는 구리, 랙 사이는 이더넷이나 인피니밴드입니다. 발표 기준으로 Rubin은 GPU당 3.6 TB/s, GPU당 소비전력은 1,800와트까지 올라갑니다.

중국의 CloudMatrix 384는 384개 Ascend 910C를 완전 광 메시로 묶은 16랙 구성이며 800G 광트랜시버를 약 6,912개 씁니다. 칩 하나로는 Ascend 910C가 엔비디아 GB200에 세 배 넘게 밀리지만, 다섯 배를 깔면 시스템 총량이 역전됩니다. SemiAnalysis의 요약이 정확합니다. 칩 마이크로아키텍처가 아니라 시스템이 승부처인 세상에서, 화웨이는 칩은 한 세대 뒤지고 스케일업 시스템 설계는 앞선다는 것입니다.

지표	GB200 NVL72	CloudMatrix 384
가속기 수	72	384 (5.3배)
BF16 연산	약 180 PFLOPS	약 300 PFLOPS (1.7배)
HBM 용량	13.8 TB	49.2 TB (3.6배)
시스템 전력	145 kW	약 559 kW (3.9배)
전력당 성능	기준	약 2.3배 열위

여기서 놓치면 안 되는 역사적 대조가 있습니다. 엔비디아는 2022년 광 트랜시버 의존 때문에 비싸고 전력 먹고 신뢰성이 떨어진다는 이유로 NVL256, 코드명 랜저(Ranger)를 양산하지 않았습니다. 화웨이는 엔비디아가 경제성 때문에 버린 길을 국가 보조로 걸어간 셈입니다. 화웨이 발표 기준으로 이 구성은 2026년 말 8,192개 규모로 확장됩니다. 다만 "차세대 대비 카드 수십 배, 인터커넥트 수십 배" 같은 수치는 화웨이 자체 발표치이며 독립 벤치마크는 아직 없습니다. 스펙시트 비교이지 실효 처리량 비교가 아니라는 점을 분명히 해 둡니다.

진짜 분기점: prefill과 decode를 무엇으로 쪼개나

에이전트 워크로드는 두 가지를 동시에 요구합니다. 긴 입력을 처리하는 prefill은 연산에 묶이고, 낮은 지연으로 토큰을 생성하는 decode는 메모리 대역폭에 묶입니다. 바클레이스 추정으로 에이전트 태스크는 단순 채팅 대비 쿼리당 최대 25배의 토큰을 만듭니다. 두 단계의 하드웨어 요구가 정반대라, 한 칩에 담으면 낭비가 납니다. 그래서 양국 모두 분리로 갔습니다. 그런데 쪼개는 축이 다릅니다.

양국 모두 prefill과 decode를 분리했지만, 미국은 칩의 종류(GPU와 SRAM LPU)로 쪼개고 중국은 같은 다이에 붙이는 메모리 등급(싼 HBM과 고성능 메모리)으로 쪼갭니다. 축이 다른 이유는 병목이 다르기 때문입니다. 구조와 수치는 발표 기준입니다.

미국은 실리콘 기판 축으로 분리했습니다. 원래 계획은 Rubin CPX라는 저가 메모리 칩으로 prefill을 싸게 처리하는 것이었는데, 엎었습니다. 보도 기준으로 엔비디아는 2025년 말 200억 달러 규모로 Groq의 LPU 라이선스와 인력을 확보하고, SRAM 기반의 decode 전용 코프로세서를 Vera Rubin 플랫폼에 붙이는 방향으로 갔습니다. 이 decode 칩은 삼성 4나노로 2026년 하반기 출하가 목표이며, 다이당 SRAM과 온칩 대역폭이 GPU의 HBM을 압도한다고 발표됐습니다.

왜 decode였을까요. 엔비디아 측 설명 기준으로, 사람이 루프에 없는 에이전트 대 에이전트 구간이 표적입니다. 수십만 토큰의 KV 입력을 물리고 초당 수백에서 수천 토큰을 뽑아야 하는 영역입니다. 사람에게 충분한 초당 100토큰은 에이전트에게는 빙하 속도라, 목표는 훨씬 높습니다. 엔비디아는 LPU 방식의 decode가 AI 클러스터 연산의 4분의 1을 담당해야 한다고 말했습니다. 전력이 병목이면 토큰당 가격이 아니라 토큰 속도가 가격이 되고, 같은 와트에서 decode 토큰을 더 뽑는 SRAM 기판을 사는 것이 합리적입니다.

중국은 메모리 계층 축으로 분리했습니다. 화웨이는 같은 다이를 쓰되 붙이는 메모리를 바꿔 두 칩을 만들었습니다. 발표 기준으로 Ascend 950PR은 prefill과 추천용인데, 이 구간은 메모리 대역폭 요구가 낮으므로 비싼 HBM 대신 자체 개발한 저가 HBM을 붙였습니다. 950DT는 decode와 학습용으로 고성능 자체 메모리를 씁니다.

여기서 이 글에서 가장 날카로운 관찰이 나옵니다. 엔비디아는 "싼 메모리로 prefill을 처리한다"는 CPX 아이디어를 폐기했고, 화웨이는 "싼 메모리로 prefill을 처리한다"는 950PR을 출하했습니다. 같은 아이디어, 정반대 결론입니다. 이유는 단순합니다. 엔비디아에게 prefill은 이미 충분히 싸고, 화웨이에게 HBM은 여전히 비쌉니다. 제약이 다르면 같은 아이디어가 정반대의 판단으로 갈립니다. 이 분리 자체의 논리는 본 블로그가 다룬 퀄컴 HBC와 세레브라스 비교의 근접연산 대 웨이퍼 스케일 논쟁, 그리고 Dylan Patel 인터뷰의 prefill과 decode 병목 구분과 정확히 이어집니다.

소프트웨어: 중국이 먼저 만들고 미국이 산업화했다

이 대목이 가장 오해가 많습니다. KV 캐시 중심의 분리 아키텍처를 산업 규모로 먼저 검증한 것은 중국의 소프트웨어였습니다.

Mooncake는 문샷 AI(Kimi)의 서빙 플랫폼으로, KV 캐시를 중심에 놓고 prefill과 decode 클러스터를 분리하며, 놀고 있는 CPU와 D램, SSD를 끌어모아 분산 KV 캐시를 만듭니다. 전역 스케줄러가 KV 캐시 분포에 따라 요청을 배정하고, 수천 노드에서 하루 1,000억 토큰 이상을 처리한다고 FAST 학회 논문으로 공개됐습니다. SGLang은 H100 96대에서 DeepSeek 모델을 prefill과 decode 분리에 대규모 전문가 병렬을 얹어 서빙해, 오픈소스로 공식 수치에 근접한 첫 사례를 만들었습니다. Mooncake는 이후 Ascend NPU 위의 서빙 스택에도 통합됐습니다.

미국 쪽 대응물이 엔비디아의 Dynamo입니다. 전역 레지스트리로 KV 캐시를 인지하는 라우팅을 합니다. 10분 전 분석한 문서에 후속 질문이 오면 그 KV 캐시를 아직 들고 있는 노드로 정확히 라우팅해 재-prefill을 통째로 없앱니다. 멀티턴 에이전트에서 이것이 곧 원가입니다. 정리하면, KV 캐시 중심 분리 아키텍처는 중국 랩과 오픈소스가 먼저 대규모로 증명했고, 엔비디아가 Dynamo로 흡수한 뒤 LPU라는 전용 실리콘까지 붙였습니다. "중국이 저렴한 하드웨어에 맞춰 모델을 최적화했다"는 일반론보다 훨씬 구체적인 이야기입니다.

두 스택은 이제 되돌릴 수 없다

여기가 이 분기의 성격을 규정하는 대목입니다. 분기가 유지되는 이유가 기술 제약에서 정책 의지로 넘어갔습니다.

보도 기준으로 2026년 1월, 미국 행정부가 엔비디아 H200의 중국 수출을 조건부로 승인했습니다. 제3자 검증, 대중국 물량 상한, 군사 목적 금지 같은 조건이 붙었습니다. 그런데 중국이 사지 않았습니다. 로이터 보도 기준으로 중국 당국은 이 GPU의 반입을 사실상 막고, 국내 기업에 꼭 필요한 경우가 아니면 사지 말라고 지시했습니다. 수출 통제가 풀렸는데도 거래가 정체된 것입니다.

엔비디아 자신의 표현이 가장 정확합니다. 회사의 연차보고서 기준으로, 현행 규정과 지정학 환경에서는 미국과 중국 양쪽의 승인을 동시에 받는 경쟁력 있는 중국 데이터센터용 제품을 만들 수 없고, 회사는 사실상 중국 데이터센터 연산 시장에서 배제됐으며, 이 배제가 오히려 경쟁사들이 전 세계에서 도전할 더 큰 생태계를 키우도록 도왔다고 적었습니다.

핵심은 이것입니다. 수출 통제가 풀렸는데도 아키텍처가 수렴하지 않습니다. 분기는 이제 기술적 제약이 아니라 양국의 정책 의지로 유지됩니다. 한 번 정책으로 고정된 스택은 되돌리기 어렵습니다.

한눈에: 요약 비교

축	미국	중국
지배 구조	단일 벤더 수직통합(엔비디아 + 흡수한 Groq)	국가 조정 + 화웨이 수직통합
스케일업 규모	72~144 가속기 (랙)	384에서 8,192 NPU (수백 랙)
스케일업 매체	구리 위주 + 광	100% 광
이종화 축	실리콘 기판 (GPU prefill + SRAM decode)	메모리 계층 (싼 HBM prefill + 고성능 decode)
오케스트레이션	Dynamo (CUDA 종속)	Mooncake · SGLang · vLLM (오픈소스)
병목	전력 · 계통 · 첨단 패키징	첨단 공정 · HBM
완화 경로	원전 계약 · 고전압 배전 · SRAM	자체 공정 · 자체 HBM · 국산 D램

공급망은 세 갈래로 갈린다

이 분기가 산업에 남기는 결과는 서로 다른 세 개의 공급망 축이 생긴다는 것입니다. 종목이 아니라 어디에 수요가 생기고 어디가 눌리는지에 대한 산업 구조 관찰입니다.

첫째, 광모듈입니다. 중국 경로는 대형 노드 한 대에 광트랜시버가 수천 개 들어갑니다. 반면 미국 경로는 랙 안에서 구리를 유지합니다. 즉 광모듈 물량은 미국이 아니라 중국과 그 우방 시장의 대형 노드 채택 속도에 달려 있는데, 그 시장은 정책으로 접근이 막혀 있습니다. 이 모순을 짚지 않은 광모듈 이야기는 걸러야 합니다.

둘째, SRAM 파운드리입니다. Groq의 decode 칩이 삼성 4나노로 양산된다는 발표는 흥미롭습니다. SRAM 중심 decode 실리콘이 표준 계층으로 자리잡으면, HBM과 첨단 패키징 밖에서 새로운 파운드리 수요가 생깁니다. 지금까지 AI 반도체 수요가 HBM과 CoWoS로만 쏠렸다면, decode 계층은 다른 문을 엽니다.

셋째, 메모리 내재화입니다. 화웨이가 페이즈별로 자체 메모리를 붙이기 시작했습니다. 중국이 prefill용 저가 메모리를 내재화하면, 한국 메모리 기업의 중국향 시장은 decode와 학습 구간으로 축소될 수 있습니다. 이는 예측이 아니라 지켜봐야 할 구조 변화입니다.

한국 NPU의 자리도 여기서 정해집니다. 리벨리온과 퓨리오사 같은 국산 추론 칩이 겨냥하는 곳은 GPU 자리가 아니라 decode 계층, 곧 LPU 옆자리입니다. 전용 추론 칩이 2030년까지 AI 가속기 매출의 상당 부분을 차지할 수 있다는 분석도 있습니다. 다만 진짜 문제는 실리콘이 아니라 스케일업 패브릭입니다. NVLink에 붙을 것인가(Groq이 그렇게 했습니다), 개방형 표준으로 갈 것인가, 자체 패브릭을 만들 것인가. 어느 패브릭에 붙느냐가 칩의 성능만큼 중요한 질문이 됐습니다.

불확실성 명시

이 글의 2026년 수치는 대부분 미검증입니다. 분명히 해 둡니다.

화웨이 스펙은 전부 벤더 발표치입니다. "차세대 대비 몇 배" 류의 수치는 독립 벤치마크로 검증된 바 없고, 실효 처리량과 통신 오버헤드, 장애율은 미공개입니다. 대형 노드의 양산 여부도 중국 파운드리 수율에 종속됩니다. Groq decode 칩의 실제 성능도 미검증이며, 2026년 하반기 출하 예정이고, 200억 달러 규모 계약의 구조를 두고 미국 상원에서 조사가 진행 중이라 구조 자체가 변할 여지가 있습니다. 발전용량 격차 수치는 방향성은 여러 자료와 일치하나 정확한 값은 교차검증이 필요한 단일 출처 추정입니다. 폐기된 prefill 칩이 다음 세대에서 부활할지는 현재로선 관측과 추정 수준입니다.

맺으며

정리하면 이렇습니다. 제약이 아키텍처를 결정합니다. 미국은 전력이 부족해 실리콘을 이종화했고, 중국은 칩이 부족해 광으로 물량을 밀었습니다. 논리는 수렴했지만 물리는 갈라졌고, 이제 그 분기는 정책으로 고정됐습니다. 그 결과 광모듈과 SRAM 파운드리, 메모리 내재화라는 세 개의 서로 다른 공급망 축이 생겼습니다.

이 이야기의 밑바닥에는 하나의 문장이 있습니다. 칩 하나의 스펙이 아니라 시스템 전체가 승부처인 세상에서는, 누가 더 좋은 칩을 만드느냐보다 어떤 제약 아래에서 어떤 시스템을 짜느냐가 결과를 가릅니다. 추론 실리콘이 어떻게 특화되는지는 본 블로그가 다룬 Etched와 추론 실리콘 이야기와도 이어집니다. 스펙시트가 아니라 제약과 시스템을 읽어야 하는 이유입니다.

출처: SemiAnalysis의 시스템 분석, 엔비디아와 화웨이의 공식 발표 및 GTC·Huawei Connect 자료, 로이터의 H200 수출 관련 보도, 엔비디아 연차보고서, BloombergNEF와 관련 기관의 발전용량 추정, Mooncake(FAST) 및 SGLang 공개 자료(2025~2026). 모든 2026년의 제품 수치와 성능 주장은 회사 발표치로 독립 검증 전이며, 특히 화웨이와 Groq의 스펙은 실효 처리량 기준이 아닌 스펙시트 기준입니다. 본 글은 정보 제공 목적의 기술·산업 분석이며 투자 자문이 아닙니다.