← Back to list2026-07-03

AI의 진짜 100배는 칩이 아니라 코디자인입니다: Dylan Patel 인터뷰

반도체AI 인프라코디자인GPU기술 분석

세미애널리시스(SemiAnalysis)를 만든 Dylan Patel이 세쿼이아와 나눈 긴 인터뷰를 봤습니다. 반도체 공급망을 밑바닥까지 파고드는 것으로 유명한 사람인데, 이번 대화의 핵심 메시지는 의외로 단순합니다. AI에서 진짜 100배의 도약은 더 빠른 칩 하나나 더 좋은 모델 하나에서 나오지 않는다는 것입니다. 하드웨어와 그 위의 시스템 소프트웨어, 그리고 모델을 함께 설계할 때, 즉 코디자인(co-design)할 때 나옵니다.

이 글은 그 인터뷰에서 durable하다고 판단한 관점을 추려 정리하고, 본 블로그가 앞서 다룬 주제들과 연결합니다. 인용한 수치는 대부분 그의 인터뷰 발언과 추정 기준이라는 점을 먼저 밝혀 둡니다. 특정 종목의 투자 판단은 다루지 않습니다.

왜 100배인가: 세 층을 함께 최적화한다

Patel은 성능 개선을 세 층으로 나눕니다. 가장 아래는 하드웨어, 가운데는 커널과 라이브러리 같은 시스템 소프트웨어, 가장 위는 모델과 알고리즘입니다. 각 층에서 따로 2배씩 개선하면 곱해서 8배입니다. 그런데 세 층을 가로질러 함께 설계하면, 같은 노력이 8배가 아니라 100배가 된다고 그는 말합니다.

Dylan Patel은 하드웨어와 시스템 소프트웨어, 모델을 각각 개선하면 2배씩 곱해 8배에 그치지만, 세 층을 가로질러 함께 설계하면 100배가 된다고 말합니다. 최고의 랩과 칩 회사가 실제로 하는 일이 이 코디자인이라는 것입니다. 배수는 그의 인터뷰 발언 기준입니다.

가장 좋은 랩들이 하는 일이 정확히 이것이라고 그는 설명합니다. 엔비디아는 실리콘부터 조금 위 모델 층까지, TSMC는 소재와 장비부터 고객 설계까지, 여러 층을 가로질러 함께 최적화합니다. 진짜 도약은 한 층 안이 아니라 층과 층 사이의 이음매에서 나온다는 이야기입니다.

모델은 칩에 맞춰 태어난다

코디자인이 추상적인 구호가 아니라는 증거로 그는 구체적 사례를 듭니다. 딥시크(DeepSeek)의 전문가 배치는 V3에서 호퍼(Hopper)에 맞춰 설계됐고, V4에서는 블랙웰(Blackwell)과 화웨이 칩에 맞춰 다시 설계됐습니다. 구글 제미나이도 세대마다 그 시점의 TPU에 맞춰 최적화됩니다. 그래서 어떤 모델을 옛 하드웨어로 옮겨 돌리면 성능이 확 떨어집니다. 모델이 칩에 맞춰 태어나기 때문입니다.

같은 이유로 TPU는 객관적으로 훌륭한 칩이지만 딥시크 계열은 잘 못 돌리고, 대신 엔비디아에서 잘 안 되는 다른 모델은 아주 잘 돌립니다. 우열의 문제가 아니라 궁합의 문제입니다. 이 궁합은 네트워크 구조에서도 갈립니다.

엔비디아는 스위치를 통해 GPU 72개를 묶고, 구글은 스위치 없이 옆 칩을 거쳐 최대 8,000칩까지 잇습니다. 두 구조는 각각 유리한 모델 구조가 다르고, 그래서 모델과 하드웨어가 서로를 향해 설계됩니다. 수치는 인터뷰 발언 기준입니다.

CUDA 해자는 사라진 게 아니라 옮겨갔다

오랫동안 엔비디아의 해자는 CUDA라고 여겨졌습니다. 그런데 Patel은 이 서사가 바뀌고 있다고 봅니다. 이유는 역설적입니다. 모델이 코드를 워낙 잘 짜기 때문입니다. 커스텀 커널을 짜는 일을 이제 모델이 상당 부분 대신하므로, 소프트웨어로서의 CUDA 해자는 적어도 부분적으로 풀렸습니다. 소프트웨어는 결국 상품화됩니다.

그렇다면 진짜 잠금은 어디로 갔을까요. 그는 이렇게 짚습니다. 사람들이 CUDA 해자라 부르는 것의 실체는 CUDA 자체가 아니라, 딥시크와 알리바바, 그리고 여러 중국 오픈모델이 GPU에 맞춰 설계됐다는 사실입니다. 그래서 이 모델들을 TPU로 옮기면 잘 안 돕니다. 다운스트림 생태계가 엔비디아에 맞춰져 있으니, 커널을 직접 짜지 않아도 결국 엔비디아를 쓰게 됩니다. 구글이 이 고리를 끊으려면 자체 오픈모델 생태계, 즉 젬마(Gemma) 같은 모델을 스스로 키워야 한다는 것입니다. 해자는 사라진 게 아니라 소프트웨어에서 모델 생태계로 옮겨갔습니다.

두 개의 물리적 벽: 메모리와 전력밀도

기술 층위에서 그가 가장 예리하게 짚는 병목은 두 가지입니다. 둘 다 공급망이 아니라 물리의 문제입니다.

메모리 셀은 수십 년째 근본 혁신이 없었고 HBM은 그저 더 쌓아 올린 것이라, 다음 도약은 칩 위에 메모리를 직접 적층하는 데서 나온다고 그는 봅니다. 전력밀도도 20년간 제곱밀리미터당 1와트에 갇혀 있었는데, 이제 그 이상을 주입해 실리콘을 줄이려 합니다. 수치는 인터뷰 발언 기준입니다.

첫째는 메모리입니다. 낸드 셀은 약 25년 전, D램 셀은 약 40년 전에 나온 뒤로 근본 혁신이 없었고, HBM도 결국 더 많이, 더 빠르게 쌓았을 뿐입니다. 그가 주목하는 다음 도약은 메모리를 칩과 따로 쌓는 대신 칩 위에 직접 적층해 대역폭을 폭발시키는 방향입니다. 이 대목은 본 블로그의 HBM·HBF·HBC 비교에서 다룬 근접연산 흐름과 정확히 같은 이야기입니다.

둘째는 전력밀도입니다. 지난 20년간 데이터센터 칩의 전력은 대체로 제곱밀리미터당 1와트 언저리였습니다. 그래서 칩이 1,400와트, 다음 세대는 2,000와트, 그다음은 약 4,000와트로 올라가는 것은 대부분 실리콘 면적을 늘린 결과였습니다. 지금 개발 중인 것은 제곱밀리미터당 1와트를 넘겨 전력을 주입하는 방식입니다. 성공하면 같은 성능에 실리콘이 덜 들지만, 발열과 전기적 간섭이라는 어려운 공학 문제가 함께 옵니다.

토큰이 석유보다 큰 시장, 그리고 컴퓨트 크런치

Patel은 토큰의 사용, 이른바 토큰 경제가 지구에서 가장 큰 시장이 될 것이라고 봅니다. 석유보다 크고, GDP의 여러 퍼센트에 이르는 규모입니다. 동시에 같은 품질을 내는 비용은 매년 60배씩 떨어지고, 전력당 지능도 매년 수십 배씩 좋아진다고 말합니다. 그래서 세미애널리시스는 인퍼런스X(InferenceX)라는 프로젝트로 처리량과 응답성, 비용, 전력을 매일 측정합니다. 그의 표현으로는 대부분의 인프라와 응용 층 결정이 이 처리량 대 응답성 곡선의 하류에 있습니다.

수요 쪽에서는 컴퓨트 크런치가 이어집니다. 올해 약 20기가와트, 내년에는 지연을 감안해도 30기가와트 넘게 데이터센터가 늘어납니다. 그런데도 모자랍니다. 모델이 할 수 있는 유용한 일의 크기가 컴퓨팅이 늘어나는 속도보다 빠르게 커지기 때문입니다. 그가 유사 재귀적 자기개선이라 부르는 고리, 즉 모델이 다음 모델을 더 빨리 만들어 내는 흐름이 이 속도를 떠받칩니다. 결국 이 흐름이 유지되는지는 하나의 변수에 달려 있습니다. 모델이 만들어 내는 일의 가치가 쏟아붓는 컴퓨팅보다 빠르게 커지는가입니다. 그 조수가 방향을 바꾸면, 고레버리지로 지어 올린 빌드아웃이 가장 먼저 흔들립니다.

끝판 구도: 모두의 ASIC, 그래도 남는 범용

그렇다면 하드웨어의 끝판은 어디일까요. 그는 모두가 자기 칩을 갖게 될 것이라고 봅니다. 구글만 해도 TPU를 서로 다른 세 갈래 아키텍처로 설계하고 있습니다. 하지만 동시에 범용 컴퓨트도 사라지지 않습니다. 랩들이 1년 뒤 자기 모델 구조가 어떻게 될지조차 모르기 때문입니다. 어텐션 방식 하나만 바뀌어도 최적의 하드웨어가 달라지므로, 5년짜리 전용 칩에 전부를 걸기 어렵습니다. 그래서 전용 칩과 범용 칩을 함께 들고 갑니다.

여기서 엔비디아의 전략이 보입니다. 그는 엔비디아가 신생 클라우드와 여러 랩에 자금과 물량을 뿌리는 이유를 다극 세계를 만들기 위해서라고 설명합니다. 하이퍼스케일러만 컴퓨팅을 소유하는 세계는 고객이 자체 칩으로 옮겨갈 힘을 갖는 세계이고, 그것은 엔비디아에게 위험하기 때문입니다. 이 관점은 본 블로그가 정리한 네오클라우드 분석, 그리고 최근의 엔비디아 수익 공유형 모델과 같은 그림의 다른 조각입니다. 시장이 커지면서 니치가 계속 갈라지고, 그 틈에서 여러 회사가 각자의 자리를 만든다는 것이 그가 보는 끝판입니다.

맺으며

이 인터뷰에서 가장 오래 남는 교훈은 하나입니다. 스펙시트가 아니라 이음매를 보라는 것입니다. 칩 하나의 최고 성능, 모델 하나의 벤치마크는 그 자체로는 절반의 이야기입니다. 진짜 도약은 하드웨어와 소프트웨어, 모델이 서로를 향해 설계되는 이음매에서 나오고, 그래서 하드웨어의 다양화는 되돌릴 수 없는 흐름이 됩니다.

그리고 이 모든 낙관은 결국 하나의 조수 위에 서 있습니다. 모델이 할 수 있는 일이 컴퓨팅보다 빠르게 커지는 한, 크런치도 빌드아웃도 정당화됩니다. 지금 지켜봐야 할 단 하나의 지표가 있다면 바로 그 조수의 방향입니다.

출처: Dylan Patel(SemiAnalysis)의 세쿼이아 인터뷰 영상. 60배, 100배, 20에서 30기가와트, 제곱밀리미터당 1와트, NVLink 72와 ICI 8,000 등 수치는 그의 인터뷰 발언과 추정 기준으로, 독립 검증 전입니다. 본 글은 정보 제공 목적의 기술·산업 분석이며 투자 자문이 아닙니다.