Etched가 보는 추론 시대의 AI 반도체

칩 하나가 아니라, 토큰을 얼마나 많이 생산할 수 있느냐의 문제

Invest Like the Best의 영상 The Two Harvard Dropouts Who raised $800M to take on NVIDIA는 Etched의 공동창업자 Gavin Uberti와 Robert Wachen이 왜 AI 추론(inference, 이미 학습된 모델이 실제 답변을 만들어내는 과정)을 가장 큰 시장으로 보는지, 또 왜 단일 칩이 아니라 랙(rack, 데이터센터 장비 묶음)과 인터커넥트(interconnect, 칩과 칩 사이를 잇는 통신 구조)까지 통합하려 하는지를 길게 다룹니다.

영상 제목과 설명만 보면 “NVIDIA에 도전하는 하버드 중퇴 창업자들”이라는 창업 서사로 보입니다. 실제로 설명에는 Etched가 8억 달러를 조달했고, 10억 달러 이상의 고객 계약을 맺었으며, 포스트 ChatGPT 시대를 겨냥한 작동 칩을 테이프아웃(tape-out, 칩 설계를 제조 단계로 넘기는 일)했다고 소개됩니다. 다만 제가 이 영상을 투자자 관점에서 흥미롭게 본 이유는 창업자의 나이나 대담한 조달 규모보다, 이들이 경쟁의 단위를 “더 빠른 칩”에서 “더 많은 토큰 생산능력”으로 바꾸어 설명하기 때문입니다.

트랜스크립트의 핵심 문장 중 하나는 “We know inference is going to be the biggest market in the world.”입니다. 공개된 자료 기준으로는, 이들은 학습(training, 모델을 만드는 과정)보다 추론이 앞으로 훨씬 더 큰 병목이자 시장이 될 가능성에 베팅하는 것 같습니다. 꽤 큰 관점 전환입니다. AI가 연구실과 데모를 넘어 실제 서비스로 들어가면, 문제는 “한 번 모델을 잘 학습했는가”에서 “수많은 사용자가 매일 요청하는 답변을 얼마나 싸고 빠르게 만들어내는가”로 이동합니다. 식당에 비유하면, 레시피를 개발하는 것도 중요하지만, 손님이 몰리는 시간에 같은 품질의 음식을 빠르게, 낮은 원가로, 안정적으로 내는 주방 운영이 더 큰 문제가 되는 셈입니다.

prefill과 decode를 나눠 보면 병목이 다르게 보입니다

영상에서 반복되는 기술적 출발점은 추론 작업을 prefill과 decode로 나누어 보는 것입니다. prefill은 사용자의 질문이나 문맥을 모델이 먼저 읽고 준비하는 단계에 가깝습니다. 이때 KV cache(KV 캐시, 모델이 이전 문맥을 다시 계산하지 않도록 저장해두는 중간 기억)가 만들어집니다. decode는 준비된 정보를 바탕으로 한 토큰씩 답변을 만들어내는 단계입니다.

초심자에게는 “질문을 읽는 시간”과 “답을 한 단어씩 말하는 시간”을 나누어 생각하면 쉽습니다. 사람이 긴 보고서를 읽고 답해야 할 때도 먼저 내용을 이해하는 시간이 있고, 그다음 실제 답변을 말하거나 쓰는 시간이 있습니다. AI 추론도 이 두 단계가 같은 종류의 계산처럼 보이지만, 필요한 메모리, 대역폭, 지연시간, 병렬화 방식은 달라질 수 있습니다.

Etched 팀의 주장은 이 구분을 전제로 클러스터 전체를 최적화해야 한다는 쪽에 가깝습니다. 여기서 클러스터(cluster, 여러 칩과 서버를 묶은 계산 단위)는 단순히 칩을 많이 꽂아놓은 덩어리가 아닙니다. prefill에서 만든 KV cache를 decode 쪽으로 넘기고, 여러 칩이 서로 데이터를 주고받으며, 사용자가 체감하는 지연시간을 낮추는 하나의 생산 시스템입니다.

“얼마나 많은 FLOPS인가”보다 “실제로 얼마나 쓰이는가”

AI 반도체 이야기는 흔히 FLOPS(초당 부동소수점 연산량, 계산기의 이론상 최대 속도)로 시작합니다. 숫자가 크면 더 강력해 보입니다. 하지만 영상의 논점은 조금 다릅니다. 단순히 연산량을 더 얹는 것만으로는 충분하지 않고, 실제 운영 환경에서는 열, 전력, 메모리 이동, 칩 간 통신이 병목이 된다는 주장입니다.

트랜스크립트 요약에는 MFU(Model FLOPs Utilization, 모델이 이론상 연산능력을 실제로 얼마나 활용하는지)가 작업 부하에 따라 20~50% 수준일 수 있다는 설명이 나옵니다. 이 숫자는 단일한 외부 검증 결과라기보다 영상에서 제시된 문제의식으로 읽는 것이 맞습니다. 핵심은 AI 칩의 경쟁력이 카탈로그상 성능만으로 결정되지 않는다는 점입니다. 자동차의 최고속도가 높아도 실제 도심 주행에서는 신호, 교통량, 연료 효율, 냉각 문제가 더 중요할 수 있습니다. AI 데이터센터도 비슷합니다. 칩의 최대 속도보다, 실제 서비스 트래픽에서 얼마나 오래, 안정적으로, 전력 예산 안에서 성능을 유지하는지가 더 중요해집니다.

영상에서는 thermal throttling(열 때문에 성능을 낮추는 현상)도 병목으로 언급됩니다. 칩은 너무 뜨거워지면 보호하려고 속도를 낮춥니다. 그러면 이론상 계산능력이 커도 실제 토큰 생산량은 기대만큼 나오지 않습니다. 여기서 Etched의 주장은 AI 반도체를 “칩 설계”로만 보지 말고 “데이터센터 안에서 돌아가는 생산설비”로 보자는 쪽으로 이어집니다.

저전압 추론이라는 위험하지만 큰 베팅

트랜스크립트에서 가장 선명한 기술 베팅 중 하나는 low voltage inference(저전압 추론)입니다. 영상 요약에는 전력은 전압의 제곱에 비례한다는 설명이 나옵니다. 즉 전압이 2배가 되면 전력은 4배가 되는 식입니다. 반대로 전압을 크게 낮출 수 있다면, 전력 효율에서 큰 여지가 생깁니다.

여기서 저는 “There is a lot of room at the bottom.”이라는 인용이 중요하다고 봅니다. 이 말은 단순히 더 작은 공정으로 가자는 뜻이라기보다, 기존 설계 관행 아래에 아직 파고들 공간이 많다는 태도로 읽힙니다. 영상 요약에 따르면 Etched는 기존 AI 칩이 데이터센터, 엣지(edge, 사용자 가까이에 있는 소형 장비), 일반 목적 워크로드까지 넓게 커버하려다 보니 특정 사용 사례에 맞춘 최적화 여지가 남는다고 봅니다.

특히 흥미로운 대목은 EDA(전자설계자동화, 칩 설계 소프트웨어)의 기본 가정과 실제 데이터센터 환경 사이의 간극입니다. 요약에는 예컨대 기본 0°C 가정 같은 설계 가정이 현실 데이터센터의 80°C 이상 환경과 맞지 않을 수 있고, 이를 다르게 잡으면 설계 여지가 생긴다는 설명이 나옵니다. 공개된 트랜스크립트 발췌만으로 이 부분의 기술적 타당성을 확정할 수는 없습니다. 다만 투자자 관점에서는 중요한 질문이 남습니다. “기존 강자들이 놓친 구조적 비효율이 정말 있는가, 아니면 범용성과 신뢰성을 위해 의도적으로 감수한 비용인가”입니다.

저전압 설계는 매력적인 만큼 위험합니다. 전압을 낮추면 전력 효율은 좋아질 수 있지만, 안정성, 수율, 온도 변화 대응, 장시간 운영 신뢰성 같은 문제가 따라올 가능성이 높습니다. 영상은 이 베팅을 매우 자신 있게 설명하지만, 투자 검토에서는 tokens/sec per watt(와트당 초당 토큰 수), 장시간 가동 안정성, 실제 고객 워크로드에서의 재현성을 함께 봐야 한다고 생각합니다.

칩 간 통신은 보이지 않는 고속도로입니다

영상에서 또 하나 눈에 띄는 지표는 chip-to-chip 통신 지연입니다. 요약에는 Blackwell 기준 4,000ns가 언급되고, Etched가 자체 인터커넥트로 5배 이상 개선을 주장한다는 내용이 나옵니다. 이 역시 공개된 자료 기준으로는 영상 내 주장으로 다루는 것이 맞고, 별도 검증 없이는 확정된 성능으로 쓰면 안 됩니다.

그래도 이 주장이 중요한 이유는 분명합니다. AI 추론이 대규모 클러스터에서 돌아갈 때, 칩들은 혼자 계산하지 않습니다. 서로 중간 결과를 주고받고, 메모리를 공유하듯 활용하며, 다음 토큰을 만들려고 데이터를 이동시킵니다. 이때 통신 지연이 크면, 계산기가 아무리 빨라도 서로 기다리는 시간이 늘어납니다. 여러 사람이 협업하는 사무실에서 각자 일은 빠른데 승인과 파일 전달이 느리면 전체 업무가 느려지는 것과 비슷합니다.

그래서 영상의 또 다른 핵심 문장, “The thing that matters is how much memory bandwidth is on your full scaleup cluster.”가 중요합니다. 여기서 memory bandwidth(메모리 대역폭)는 데이터를 얼마나 빠르게 읽고 쓸 수 있는지를 뜻합니다. full scaleup cluster는 단일 칩이 아니라 서로 촘촘히 연결된 전체 확장형 클러스터를 말합니다. Etched가 보는 경쟁의 단위는 칩 한 장의 메모리 사양이 아니라, 전체 랙과 클러스터가 하나의 시스템처럼 움직일 때의 대역폭과 지연시간입니다.

왜 칩 회사가 랙까지 만들려 하는가

영상 설명에는 “why Etched built an entire rack instead of just a chip”이라는 질문이 들어 있습니다. 이 질문이 사실상 영상 전체의 중심축입니다. 반도체 스타트업이 칩만 잘 만들면 되는 것 아닌가, 하는 직관과 달리 Etched는 랙, 냉각판, 소프트웨어 스택, FPGA 기반 사전 검증까지 동시에 밀어붙이는 접근을 설명합니다.

요약에 따르면 이들은 칩이 돌아오기 전부터 랙, 냉각판, 소프트웨어 스택을 선구축하고, 700개 FPGA(Field Programmable Gate Array, 제조 후에도 회로 구성을 바꿀 수 있는 반도체)를 활용해 전 스택 검증을 준비했으며, 칩 리턴 후 40일 내 추론 가동을 주장합니다. 이 대목은 “하드웨어 스타트업의 실행 속도”라는 관점에서 인상적입니다.

일반적으로 하드웨어는 소프트웨어보다 반복 주기가 깁니다. 칩을 설계하고 제조하고 다시 받아 테스트하는 데 긴 시간이 걸립니다. 그래서 칩이 나온 뒤에야 주변 시스템을 만들기 시작하면, 제품화까지 시간이 크게 늘어납니다. Etched의 접근은 기다리지 않고 병렬화하는 쪽입니다. 칩, 보드, 랙, 냉각, 컴파일러, 커널, 소프트웨어 스택을 동시에 준비해두고, 실제 칩이 돌아왔을 때 최대한 빨리 생산 가능한 시스템으로 끌어올리려는 것입니다.

투자자 관점에서는 이 방식이 장점과 리스크를 동시에 가집니다. 장점은 명확합니다. 성공하면 시장 진입 속도가 빨라지고, 고객이 실제로 쓸 수 있는 토큰 생산능력을 더 빨리 온라인화할 수 있습니다. 반대로 리스크도 큽니다. 칩 설계의 작은 변경이 랙 설계, 냉각, 소프트웨어, 공급망 전체에 영향을 줄 수 있습니다. 수직통합(vertical integration, 여러 단계의 가치사슬을 한 회사가 직접 묶는 방식)은 강력한 무기가 될 수 있지만, 동시에 실행 복잡도를 폭발적으로 키웁니다.

“가능하다고 가정하고 푼다”는 조직 문화

영상 요약에는 고난도 엔지니어링 사례로 50 picoseconds(피코초, 1조분의 1초 단위) 정렬 문제를 2주 내 해결했다는 이야기가 나옵니다. 이 숫자 자체도 흥미롭지만, 더 중요한 것은 문제를 대하는 태도입니다. 요약에는 “문제는 가능하다고 가정하고 풀어야 한다”는 식의 문제해결 태도가 반복된다고 되어 있습니다.

딥테크(deep tech, 깊은 과학기술 기반 사업) 투자에서 팀의 태도는 숫자만큼 중요할 때가 있습니다. 특히 반도체처럼 기술, 제조, 공급망, 고객 도입이 모두 어려운 영역에서는 “똑똑한 팀”만으로는 부족합니다. 불가능해 보이는 제약을 쪼개고, 외부 파트너와 빠르게 맞추고, 실패 가능성을 안고도 병렬 실행하는 운영 역량이 필요합니다.

다만 저는 이런 서사를 볼 때 항상 두 가지를 함께 봅니다. 하나는 정말로 조직이 난제를 푸는 속도와 밀도가 높은가입니다. 다른 하나는 그 방식이 지속 가능한가입니다. 영상 요약에는 24/7 작업, 선제적 병렬화, 고속 의사결정이 생존조건처럼 제시됩니다. 초기에는 이런 집약적 실행이 회사를 살릴 수 있습니다. 그러나 시간이 지나 고객 납품, 품질관리, 운영 안정성, 대규모 채용이 붙으면 같은 방식만으로는 한계가 올 수 있습니다. 그래서 저는 Etched 같은 회사를 볼 때 창업자 에너지뿐 아니라, 반복 가능한 엔지니어링 운영체계가 만들어지고 있는지를 함께 봐야 한다고 생각합니다.

NVIDIA와의 경쟁이라기보다, 추론 생산체계의 재정의

영상 제목에는 NVIDIA가 등장합니다. 당연히 투자자와 대중의 관심은 “NVIDIA를 이길 수 있는가”로 향하기 쉽습니다. 하지만 트랜스크립트의 핵심을 따라가면, 이 영상의 더 좋은 질문은 “NVIDIA와 같은 범용 AI 인프라 강자가 커버하는 영역 중, 특정 추론 워크로드에 특화된 새로운 시스템 설계가 의미 있는 틈을 만들 수 있는가”에 가깝습니다.

Etched의 주장은 기존 AI 칩들이 넓은 사용처를 전제로 설계되었고, 그 결과 특정 사용 사례에서는 남는 비효율이 있다는 것입니다. prefill과 decode 분리, 저전압 동작, 클러스터 스케일 메모리 대역폭, 칩 간 통신 지연, 랙 단위 통합은 모두 같은 방향을 가리킵니다. “범용 칩 성능”이 아니라 “특정 추론 생산라인의 처리량”을 최적화하겠다는 방향입니다.

이 관점은 AI 인프라 투자를 볼 때 중요한 프레임을 줍니다. 앞으로의 경쟁은 모델 회사, 클라우드 회사, 반도체 회사가 각자 따로 노는 방식이 아닐 가능성이 큽니다. 모델의 구조, 추론 패턴, 메모리 사용 방식, 데이터센터 전력, 랙 설계, 네트워크가 서로 맞물립니다. 결국 누가 더 많은 토큰을 더 낮은 비용과 지연시간으로 안정적으로 생산하느냐가 가치의 큰 부분을 결정할 수 있습니다.

투자자가 확인해야 할 것은 멋진 주장보다 운영 지표입니다

이 영상은 야심 찬 주장을 담고 있습니다. 그러나 투자자 입장에서 야심은 출발점이지 결론이 아닙니다. 저는 이 영상을 보며 몇 가지 확인 포인트를 남기게 됩니다.

성능 지표는 단일 칩 벤치마크보다 운영 지표로 봐야 합니다. tokens/sec per watt, 사용자 규모가 커졌을 때의 토큰당 비용, 클러스터 단위 지연시간, 장시간 가동 안정성이 더 중요합니다. 영상의 언어로 말하면, “얼마나 빠른 칩인가”보다 “얼마나 많은 토큰 용량을 실제로 온라인화할 수 있는가”입니다.

prefill과 decode 분리 전략이 실제 고객 워크로드에서 얼마나 유효한지도 봐야 합니다. 특정 모델과 특정 사용 패턴에서는 큰 효과가 있을 수 있지만, 모델 구조나 서비스 형태가 바뀌면 최적화의 강도가 달라질 수 있습니다. 공개된 자료 기준으로는 이 부분의 실증 범위가 충분히 드러나지는 않습니다.

저전압 추론은 전력 효율의 큰 카드일 수 있지만, 신뢰성 검증이 핵심입니다. 낮은 전압에서 안정적으로 돌아간다는 것은 단순 실험 성공과 상용 데이터센터 운영 사이에 큰 간극이 있습니다. 온도, 제조 편차, 장기 가동, 장애 복구, 고객별 워크로드 차이를 견뎌야 합니다.

수직통합의 경계도 중요합니다. 칩, 랙, 냉각, 인터커넥트, 소프트웨어까지 직접 묶는 방식은 차별화의 원천이 될 수 있습니다. 동시에 자본집약도와 실행 리스크를 키웁니다. 어느 영역은 반드시 직접 해야 하고, 어느 영역은 파트너와 나누어도 되는지 경계가 시간이 갈수록 더 중요해질 것입니다.

공급망 협업 능력은 기술만큼 중요합니다. 영상 요약에는 TSMC 등 공급망 협업, 고속 의사결정, 선제적 병렬화가 사업 실현의 생존조건으로 제시됩니다. AI 반도체 사업은 좋은 아이디어만으로 되지 않습니다. 제조 파트너, 메모리, 패키징, 전력 인프라, 고객 설치까지 이어지는 긴 사슬을 통과해야 합니다.

제가 이 영상을 눈여겨본 이유

제가 이 영상을 눈여겨본 이유는 Etched가 “AI 칩 스타트업”이라는 익숙한 범주를 조금 다르게 정의하기 때문입니다. 이들은 칩을 만들지만, 실제로는 추론 생산능력을 만드는 회사를 지향하는 것처럼 보입니다. 그리고 그 생산능력은 전압, 열, 메모리, 칩 간 통신, 랙 설계, 소프트웨어 준비, 공급망 실행이 모두 맞물릴 때 만들어집니다.

물론 공개된 영상과 트랜스크립트만으로 Etched의 기술적 우위나 상업적 성공을 단정할 수는 없습니다. 8억 달러 조달, 10억 달러 이상의 고객 계약, 작동 칩 테이프아웃이라는 설명은 인상적이지만, 투자 판단에는 실제 성능 로그, 고객 사용 조건, 납품 일정, 원가 구조, 장기 안정성 검증이 더 필요합니다.

그럼에도 이 영상이 남기는 질문은 분명합니다. 앞으로 AI 인프라에서 가장 중요한 회사는 단순히 가장 큰 모델을 학습시키는 회사가 아닐 수 있습니다. 가장 많은 토큰을, 가장 낮은 비용으로, 가장 안정적으로 생산하는 회사가 더 큰 가치를 만들 수 있습니다. Etched의 주장이 맞는지는 더 검증해야 하지만, AI 반도체와 데이터센터 투자를 볼 때 경쟁의 단위를 “칩”에서 “추론 생산 시스템”으로 넓혀야 한다는 점은 이 영상의 중요한 takeaway라고 봅니다.