웨이퍼 한 장을 통째로 칩으로 구운 이유: 에이전트 시대에는 속도가 값입니다

8월 13일, 오픈AI와 세레브라스가 GPT-5.6 Sol의 울트라패스트 모드를 공개했습니다. 발표 기준 수치가 인상적입니다. 출력 초당 750토큰, 표준 처리 대비 최대 14배. 표준 모드가 초당 53토큰 수준이니 자릿수가 바뀐 셈입니다. 인류 최후의 시험(HLE) 벤치마크를 도는 데 78시간 27분이 걸리던 작업이 11시간 11분으로 줄었고, 경제적으로 가치 있는 지식노동 과제를 재는 GDP-Val에서는 품질 저하 없이 5.6배 빨라졌다고 보고했습니다.

이 속도가 어디서 나오는지가 이 글의 주제입니다. 답은 소프트웨어 최적화가 아니라 칩을 만드는 방식 자체에 있습니다.

왜 웨이퍼 한 장을 통째로 굽는가

반도체는 보통 커다란 원판(웨이퍼)에 칩 수백 개를 찍고 잘라서 씁니다. 세레브라스는 자르지 않습니다. 웨이퍼 한 장을 통째로 칩 하나로 만듭니다. WSE-3 기준으로 면적 46,225제곱밀리미터, 트랜지스터 4조 개, 코어 90만 개짜리 단일 칩이고, 그 위에 SRAM 44GB가 올라갑니다.

이 44GB가 핵심입니다. SRAM은 칩 안에 있는 가장 빠른 메모리인데, 보통 칩 하나에 수십 메가바이트 수준입니다. 44기가바이트는 자릿수가 셋 다릅니다. 그리고 그 크기가 되면 모델 가중치를 통째로 칩 안에 올려놓을 수 있습니다.

이 구조가 왜 GPU로 흉내 내기 어려운지도 같은 그림에서 나옵니다. GPU도 배치를 키우면 처리량은 올릴 수 있습니다. 여러 요청을 한 번에 묶어 가중치를 한 번 실어 와 여러 명에게 나눠 쓰는 방식입니다. 그런데 그것은 전체 처리량을 올리는 것이지 한 줄기의 생성 속도를 올리는 것이 아닙니다. 사용자 한 명이 체감하는 속도, 에이전트 하나가 한 턴을 도는 속도는 여전히 가중치를 실어 오는 시간에 묶입니다. 메모리가 AI의 병목이 됐다는 이야기에서 다룬 그 벽입니다.

에이전트 시대에 속도가 값이 되는 이유

속도가 좋다는 것은 늘 참이었습니다. 달라진 것은 속도가 얼마나 값나가는가입니다. 이유는 에이전트의 작동 방식에 있습니다.

사람이 챗봇에 질문하면 한 번 답이 나오고 끝납니다. 사람이 읽는 속도가 초당 몇 십 토큰이니, 그보다 빠른 생성은 체감 이득이 크지 않습니다. 에이전트는 다릅니다. 목표 하나를 받아 수백 턴을 스스로 돕니다. 집계 기준으로 코딩 에이전트 한 세션이 200턴까지 가고 누적 맥락이 10만 토큰을 넘어가며, 오픈AI가 공개한 사례에서는 장시간 코덱스 에이전트가 25시간을 돌며 약 1,300만 토큰을 썼습니다.

턴이 곱해지면 지연도 곱해집니다. 한 턴에 30초 걸리는 에이전트가 200턴을 돌면 100분이고, 그 사이 사람은 손을 놓고 있거나 다른 일을 하다 돌아와야 합니다. 14배가 빨라지면 그 100분이 7분이 됩니다. 이것은 편의의 개선이 아니라 작업 방식이 바뀌는 차이입니다. 오픈AI, 앤트로픽, 파이어웍스가 모두 빠른 티어를 웃돈을 받고 파는 것이 시장이 이미 이 값을 인정했다는 증거입니다.

모델이 클 필요가 없다는 다른 쪽 사실

여기에 겹쳐야 그림이 완성되는 사실이 하나 더 있습니다. 에이전트 모델은 그렇게 클 필요가 없습니다.

같은 주에 나온 Qwen3.8-27B가 그 사례입니다. 27B 모델인데 발표 기준으로 터미널 벤치 2.1에서 73.0(이전 세대 63.4), SWE-bench Pro에서 61.7(이전 53.5)을 기록했고, OSWorld는 63.9에서 84.3으로 올랐습니다. 잘 갖춘 기계 한 대에서 양자화 빌드가 돌아가는 크기이면서 실제 에이전트 작업이 됩니다.

왜 작아도 되는가. 에이전트가 하는 일의 성격 때문입니다. 백과사전적 내부 지식을 꺼내는 것이 주 업무가 아니라, 주어진 상황을 읽고 어떤 도구를 어떤 인자로 부를지 정하고, 결과를 보고 다음 수를 정하는 일입니다. 지식은 도구가 가져오고, 맥락은 컨텍스트로 들어옵니다. 그러니 파라미터에 세상을 다 넣어 둘 이유가 줄어듭니다. 이것은 딥시크 V4-Flash가 구조를 그대로 두고 후반학습만 다시 해서 도약한 사례나 정선한 시연 78개로 에이전트 능력을 끌어올린 연구와 같은 방향의 이야기입니다. 크기보다 기계적인 작업에 맞춘 훈련이 중요해집니다.

두 사실을 겹치면 결론이 나옵니다. 에이전트 모델이 27B급으로 충분하고, 44GB SRAM에 통째로 올라가는 크기라면, 칩 위에 전부 올려 초고속으로 돌리는 구성이 주력이 될 수 있습니다. 큰 모델을 여러 칩에 쪼개 얹고 짐을 나르는 방식이 아니라, 작은 모델을 한 장에 얹고 짐을 아예 나르지 않는 방식입니다.

검증된 것과 아직 아닌 것

다만 정확히 갈라 둘 대목이 있습니다.

토큰당 가격이 GPU보다 싸다는 주장은 매력적이지만 아직 확정된 사실이 아닙니다. 세레브라스의 이번 발표문에는 토큰당 원가 비교가 없고, 사업 가치를 속도로 설명합니다(장애 대응 시간, 보안 대응 속도). 제3자 집계에서는 가격 대비 속도 비율이 앞선다는 수치가 나오지만, 배치 크기와 가동률과 워크로드 성격에 따라 계산이 뒤집힙니다. 회사 스스로도 속도 개선 폭이 워크로드와 설정과 시점에 따라 달라진다고 단서를 달았습니다. 울트라패스트 자체도 소수 고객 대상 프리뷰이고 요금은 공개되지 않았습니다.

그래서 정확한 표현은 이렇습니다. 속도 우위는 구조에서 나오므로 견고하고, 가격 우위는 조건부입니다. 그리고 이 두 문장이 함께 성립하는 구간이 얼마나 넓은지가 이 기술의 시장 크기를 정합니다.

판단: 자리를 나눠 갖는 쪽입니다

이 흐름을 어떻게 볼 것인가. 세 가지로 정리됩니다.

속도는 이제 별도로 값을 매기는 상품입니다. 프런티어 랩들이 빠른 티어를 웃돈 받고 판다는 사실 자체가 시장의 판정입니다. 그리고 금융 에이전트처럼 사람이 기다리는 업무나, 코딩 에이전트처럼 턴이 많은 업무에서 그 값은 계속 오를 것입니다.

GPU를 대체하는 그림은 아닙니다. 학습은 여전히 GPU의 영토이고, 대규모 동시 처리량이 중요한 워크로드도 그렇습니다. 웨이퍼 스케일이 가져가는 것은 한 줄기의 속도가 결과를 바꾸는 자리입니다. 엔비디아가 그록을 인수해 SRAM 기반 랙을 자기 로드맵에 넣은 것도 같은 판단으로 읽힙니다. 대체가 아니라 분화입니다.

모델 크기의 방향이 이 하드웨어를 돕습니다. 에이전트가 주력 워크로드가 되고 그 모델이 27B급으로 수렴한다면, 온칩에 통째로 올리는 설계의 적용 범위가 넓어집니다. 반대로 에이전트도 결국 큰 모델이 필요하다고 밝혀지면 이 이점은 좁아집니다. 이것이 이 논지에서 가장 중요한 갈림길이고, 지켜볼 지표이기도 합니다.

정리하면, 웨이퍼 한 장을 통째로 굽는다는 극단적인 선택은 에이전트가 주력이 되는 시장에서 특정한 자리를 겨냥한 베팅입니다. 그 베팅이 맞는지는 두 가지가 결정합니다. 에이전트 모델이 계속 작아지는가, 그리고 속도에 대한 웃돈이 하드웨어의 원가 프리미엄을 넘어서는가. 앞의 것은 지금 그쪽으로 가고 있고, 뒤의 것은 아직 공개된 숫자가 부족합니다.