에이전트는 더 싸진다. 인프라 수요는 다른 문제다
AI 에이전트의 확산을 바라보는 상반된 시각이 있습니다. 하나는 사람이 직접 질문하는 시대를 넘어 기계가 기계를 호출하면서 연산 수요가 크게 늘어난다는 전망입니다. 다른 하나는 에이전트의 동작 대부분이 읽기와 선택이므로, 비싼 언어모델을 훨씬 저렴한 판단 모델로 바꿀 수 있다는 전망입니다.
두 전망은 동시에 맞을 수 있습니다. 에이전트가 처리하는 업무는 늘고, 그 업무 하나를 처리하는 데 드는 자원은 줄어들 수 있기 때문입니다. 어느 쪽이 더 빨리 변하느냐에 따라 인프라 수요의 방향은 달라집니다.
저는 에이전트의 확산 가능성을 높게 봅니다. 다만 현재의 비효율적인 실행 방식을 그대로 연장해 미래의 연산 수요를 계산하는 데에는 동의하지 않습니다. 반대로 클릭을 고르는 모델이 싸졌다는 이유만으로 거대 언어모델과 데이터센터의 역할이 줄어든다고 단정하는 것도 성급합니다.
에이전트의 성장, 작업당 효율 개선, 공급자의 수익성은 서로 다른 질문입니다. 이 질문들을 한꺼번에 답하려 할 때 낙관론과 비관론이 모두 과장됩니다.
토큰이 늘었다고 연산도 같은 비율로 늘지는 않습니다
에이전트가 일반 채팅보다 많은 토큰을 사용하는 것은 실제 사례로 확인됩니다. Anthropic은 2025년 6월 자사 경험을 바탕으로, 일반 에이전트는 채팅의 약 4배, 여러 에이전트가 협업하는 시스템은 약 15배의 토큰을 사용한다고 공개했습니다. 회사가 관찰한 작업들의 수치이며, 전체 산업이나 모든 제품에 적용되는 배수는 아닙니다. 자료 1
사용자의 요청은 짧아도 내부 작업은 길 수 있습니다. 자료를 찾고, 읽고, 다른 자료와 비교하고, 도구를 실행한 결과를 다시 확인하기 때문입니다. 사용자가 직접 입력한 글자 수만으로 에이전트의 자원 소비를 판단하기는 어렵습니다.
그러나 토큰 수를 곧바로 물리적인 연산량으로 읽어서도 안 됩니다. 같은 지시와 이전 대화, 도구 설명이 반복해서 입력되는 경우에는 이미 처리한 문맥을 재사용하는 캐시가 작동할 수 있습니다.
Anthropic이 공개한 2026년 8월 23일까지 14일간의 직접 API 사용 표본에서는, 일정 조건을 충족하는 에이전트 조직·일 단위 입력의 캐시 읽기 비중 중앙값이 84.2%였습니다. 캐시를 사용한 조직들의 표본이며 산업 전체 통계는 아니지만, 방대한 입력 토큰이 모두 처음부터 새로 계산되는 것은 아니라는 점을 보여줍니다. 자료 2
투자자가 구분해야 할 것은 토큰 수, 실제 연산량, 메모리의 용량과 대역폭, 그리고 서비스 이용자가 내는 요금입니다. 토큰은 처리한 정보의 단위이고, API 가격은 사업자가 정한 판매가격입니다. 둘 다 하드웨어 원가를 그대로 보여주는 지표는 아닙니다.
캐시 역시 비용을 없애는 마법은 아닙니다. 재계산을 줄이는 대신 정보를 저장하고 읽을 자원이 필요합니다. 따라서 토큰 증가율만으로 GPU나 메모리 수요를 추정하면, 효율 개선과 자원 간 대체를 놓칠 수 있습니다. 자료 3
클릭은 짧지만, 그 클릭의 판단은 어려울 수 있습니다
에이전트 효율화 논리에서 가장 주의해야 할 문장은 “실제 행동은 클릭 몇 번이므로 복잡한 지능이 필요하지 않다”는 주장입니다.
출력의 길이와 판단의 난도는 다릅니다. “이 문서는 영수증인가?”와 “이 기업을 이 조건에 인수해도 되는가?”는 모두 예·아니오로 답할 수 있습니다. 그러나 후자는 사업과 재무, 계약과 대안을 검토해야 할 수 있습니다. 객관식이라는 이유로 쉬운 문제가 되지는 않습니다.
온라인 구매를 예로 들어도 마찬가지입니다. 결제 버튼이 어디 있는지 찾는 것과, 지금 이 상품을 이 조건으로 사도 되는지 판단하는 것은 다른 작업입니다. 후자는 사용자의 예산, 배송 기한, 반품 조건, 기존 요청과 변경된 상황을 함께 고려해야 할 수 있습니다.
이 구분은 저렴한 판단 모델의 가치를 부정하지 않습니다. 오히려 어디에 써야 하는지를 분명하게 해줍니다. 목표와 후보가 정리된 뒤 적절한 버튼을 고르는 작업에는 긴 문장 생성이 불필요할 수 있습니다. 그러나 목표를 해석하고 후보를 만들며 예외를 해결하는 과정까지 같은 비용으로 처리된다는 보장은 없습니다.
잘 정의된 선택을 싸게 만드는 것과, 복잡한 업무 전체를 싸게 완수하는 것은 별개의 성과입니다.
Jev가 보여준 것은 대체보다 분업입니다
TypeSafe의 Jev는 이 변화의 흥미로운 사례입니다. 자유로운 문장을 길게 생성하기보다, 주어진 상태에 대해 선택·점수·확률처럼 소프트웨어가 직접 사용할 수 있는 결과를 반환하는 접근입니다. 개발사는 이를 빠르고 저렴한 판단을 위한 모델로 제시합니다. 자료 4
여기서 더 유용한 근거는 실제 서비스에 통합한 결과입니다. Browserbase는 2026년 9월 21일, 브라우저 자동화 도구 Stagehand에 Jev를 적용한 초기 시험을 공개했습니다. 지시를 클릭·입력·스크롤 등의 행동으로 분류하고 후보를 만든 뒤 Jev가 대상을 고릅니다. 기준을 충족하지 못하면 기존 언어모델로 돌아갑니다.
이 시험에서 개별 행동인 act()의 지연시간 중앙값은 1.97초에서 0.46초로 줄었습니다. 약 4.3배 빨라진 것입니다. 의미 있는 개선이지만, 개별 행동의 초기 시험 결과입니다. 모든 업무를 같은 성공률로 처리하면서 전체 비용까지 수백 배 줄였다는 결과는 아닙니다. Browserbase 역시 Jev를 독립적인 범용 에이전트보다 다른 구성요소와 함께 쓰는 도구로 설명합니다. 자료 5
이를 확장해보면 제가 예상하는 실행 구조는 다음과 같습니다. 모든 요청을 반드시 같은 순서로 통과시키는 구조가 아니라, 작업의 성격과 위험에 따라 적합한 수단을 배정하는 구조입니다.
NVIDIA 연구진도 2025년 논문에서 반복적이고 좁은 업무에는 작은 언어모델을, 일반적인 능력이 필요한 업무에는 여러 모델을 섞는 구조를 제안했습니다. 산업 전체가 이미 이 구조로 전환됐다는 실증은 아니며, 연구진이 제시한 방향입니다. 자료 6
작은 언어모델도 언어모델입니다. 모델을 경량화하는 것, 문장 생성 대신 정해진 선택을 반환하는 것, 언어모델 자체가 필요 없어지는 것은 서로 다른 주장입니다.
일부 단계의 200배 개선은 전체의 200배 개선이 아닙니다
일반적인 Transformer 언어모델은 입력을 처리하는 단계와 출력을 생성하는 단계의 특성이 다릅니다. 입력 처리인 프리필은 많은 연산을 병렬로 수행할 수 있습니다. 출력 생성인 디코드는 토큰을 순차적으로 만들어내며, 실행 조건에 따라 메모리 대역폭이 주요 제약이 됩니다. 긴 출력을 줄이면 지연시간과 비용을 크게 낮출 수 있지만, 입력을 이해하는 연산까지 사라지지는 않습니다. 자료 3
전체 작업 비용을 100으로 놓고, 입력 처리와 기타 비용이 30, 출력 생성 비용이 70이라고 가정하겠습니다. 다른 조건을 그대로 둔 채 출력 생성만 200배 저렴해지면 계산은 이렇습니다.
개선 후 전체 비용 = 30 + 70 ÷ 200 = 30.35
전체 비용 개선 배수 = 100 ÷ 30.35 ≈ 3.29배
전체 비용은 약 69.7% 줄지만, 200배가 아니라 약 3.3배 개선됩니다. 이는 특정 모델의 측정값이 아닌 설명용 가정입니다. 새로운 모델이 입력 처리까지 개선하면 전체 절감 폭은 더 커질 수 있습니다.
메모리 수요도 출력 길이만으로 결정되지 않습니다. 모델 가중치와 입력 문맥을 위한 저장 공간이 필요하며, 동시에 처리하는 요청 수에 따라서도 필요한 용량이 달라집니다. 따라서 API 가격 하락률을 GPU나 메모리 사용량의 감소율로 그대로 옮길 수는 없습니다. 자료 3
여러 모델을 섞는 방식도 공짜는 아닙니다. 어떤 모델을 쓸지 고르는 비용, 앞선 문맥을 넘기는 비용, 틀린 결과를 검증하고 다시 실행하는 비용이 생길 수 있습니다. 작은 모델이 개별 호출에서는 싸더라도, 전체 업무에서는 더 비쌀 가능성을 열어둬야 합니다.
수요 증가와 효율 개선의 속도를 함께 봐야 합니다
에이전트 추론의 총연산을 판단할 때 저는 다음 관계를 출발점으로 삼습니다.
총연산 수요 = 성공적으로 완료한 업무 수 × 성공한 업무 하나당 소비한 연산량
여기서 업무당 연산량에는 실패한 시도와 재시도에 쓴 연산도 나누어 포함합니다. 비교할 때에는 업무 난도와 성공 기준을 고정해야 합니다. 간단한 분류와 복잡한 연구를 같은 업무 한 건으로 세면 해석이 달라집니다.
| 설명용 가정 | 완료 업무 수 | 업무당 연산량 | 총연산 수요 |
|---|---|---|---|
| 기준 | 1배 | 1배 | 1배 |
| 수요 증가가 효율 개선을 앞설 때 | 30배 | 10분의 1 | 3배 |
| 효율 개선이 수요 증가를 앞설 때 | 5배 | 20분의 1 | 0.25배 |
이 표는 전망치가 아닙니다. 같은 에이전트 확산 논리 아래에서도 총연산이 늘거나 줄 수 있음을 보여주는 산식입니다.
싸지면 더 많이 쓰게 될 수 있습니다. 그러나 사용량이 늘어나는 것과 효율 개선을 상쇄할 만큼 늘어나는 것은 다릅니다. 흔히 말하는 제번스의 역설은 여기서 검증할 가설이지, 인프라 수요 증가를 자동으로 보장하는 결론이 아닙니다.
또한 추론 연산의 합계와 설비 용량은 다릅니다. 같은 연산량도 특정 시간에 몰리면 더 많은 설비가 필요할 수 있고, 한가한 시간을 활용하면 기존 설비로 소화할 수 있습니다. 학습용 연산과 다른 서비스의 수요도 별도로 봐야 합니다. IEA 역시 AI 채택과 효율 개선에 대한 가정을 달리해 데이터센터 전력 수요를 시나리오로 분석합니다. 자료 7
따라서 “에이전트가 늘어난다”는 사실만으로 설비투자의 적정 규모나 공급자의 수익성까지 결정할 수는 없습니다. 작업 수요와 효율을 추정한 다음, 가동률과 공급 증가, 가격과 자본비용을 다시 검토해야 합니다.
무료와 완전 위임은 개인 에이전트의 필수조건이 아닙니다
개인 에이전트의 사업성을 “비서를 고용할 만큼 바쁜 사람이 얼마나 되는가”로만 평가하면 가능한 쓰임을 너무 좁게 잡습니다. 반대로 많은 사람이 가입했다는 사실만으로 지불 의사가 확인됐다고 보아도 안 됩니다.
제가 보고 싶은 것은 사용자가 실제로 되찾은 시간입니다.
순절약 시간 = 직접 처리했을 시간 − 설정·감독·검토·수정에 쓴 시간
에이전트가 오래 일했어도 사용자가 그 결과를 확인하고 고치는 데 더 오래 걸렸다면 효용은 낮습니다. 반대로 최종 구매는 사람이 승인하더라도, 비교와 준비를 맡겨 반복적으로 시간을 절약한다면 가치가 생길 수 있습니다.
위임 역시 전부 맡기거나 전혀 맡기지 않는 선택일 필요는 없습니다. 읽기만 허용할지, 초안을 만들게 할지, 정해진 한도에서 실행하게 할지 구분할 수 있습니다. 중요한 것은 자율성의 최대치보다 업무에 맞는 권한과 확인 비용입니다.
Meta의 Muse 공식 발표도 이런 제한적 위임을 전제로 합니다. 회사 설명상 사용자가 접근 권한을 정하고 이메일 발송이나 구매 같은 민감한 행동 전에 확인을 받습니다. 대부분의 용도에는 무료이지만 더 많은 사용을 위한 구독 요금제도 제시했습니다. 따라서 개인 에이전트의 수익모델이 반드시 광고나 거래 수수료여야 하는 것은 아닙니다. 물론 제품 설계와 요금제 발표만으로 안전성이나 수익성이 검증되는 것은 아닙니다. 자료 8
무료 서비스도 실행 원가를 부담합니다. 누가 비용을 지불하고, 그 대가로 무엇을 얻는지 확인해야 합니다. 광고나 수수료를 택한다면 추천이 사용자에게 가장 유리한 선택인지, 보상이 높은 선택인지 구분할 장치도 필요하다고 봅니다.
VC가 봐야 할 것은 성공한 업무 하나의 경제성입니다
에이전트 기업을 볼 때 토큰을 얼마나 소비하는지는 활동량의 단서가 될 수 있습니다. 그러나 그것만으로 고객 가치나 사업의 질을 판단하기는 어렵습니다. 불필요한 반복 호출도 토큰을 늘리기 때문입니다.
제가 제안하는 기준은 같은 품질의 결과를 얻는 데 드는 총비용입니다. 추론 요금뿐 아니라 외부 도구와 실행 환경, 검증과 재시도, 고객 지원까지 포함해야 합니다. 사람의 개입 시간도 사용자 가치와 운영비용 양쪽에서 살펴볼 필요가 있습니다.
| 기업이 보여주는 지표 | 함께 확인할 질문 |
|---|---|
| 모델 호출당 가격이 낮아졌습니다 | 같은 성공률을 유지한 채 전체 업무 비용도 낮아졌습니까? |
| 에이전트 사용량이 늘었습니다 | 반복 사용과 완료 업무가 늘었습니까, 재시도가 늘었습니까? |
| 자동 처리율이 높습니다 | 사람이 확인하고 수정하는 시간이 실제로 줄었습니까? |
| 추론 원가가 내려갔습니다 | 절감분이 고객 가격 인하로 이전된 뒤에도 이익이 남습니까? |
| 고객의 업무에 깊게 연결됐습니다 | 권한·기록·평가 데이터가 품질을 높이고 재사용을 만듭니까? |
값싼 지능은 제품을 만들 수 있는 범위를 넓힐 수 있습니다. 동시에 경쟁자의 진입비용도 낮출 수 있습니다. 따라서 특정 모델을 연결했다는 사실만으로 지속적인 경쟁우위를 기대하기는 어렵습니다.
저는 업무의 성공과 실패를 판별하는 평가 체계, 안전하게 실행하는 권한 관리, 누적된 맥락을 정확히 사용하는 능력, 기존 업무 흐름과의 연결에서 차별화 가능성을 찾습니다. 다만 이런 요소를 갖췄다는 설명만으로 충분하지 않습니다. 고객의 완료율과 유지율, 검토 시간과 실제 이익으로 연결돼야 합니다.
인프라 기업에는 반대 방향의 검증도 필요합니다. 고객의 효율화가 사용량 증가로 돌아오는지, 아니면 기존 비용을 줄이는 데 그치는지 확인해야 합니다. 수요 증가가 설비 확장보다 느리거나 판매가격이 더 빠르게 내려간다면, AI 사용은 늘면서 공급자의 수익성은 나빠질 수도 있습니다. 이는 가능한 사업 시나리오이지 현재 시장 전체에 대한 판정은 아닙니다.
LLM의 쇠퇴보다 비싼 지능의 배치가 바뀝니다
제 예상은 모든 동작마다 가장 비싼 모델을 호출하는 방식이 줄어드는 쪽입니다. 익숙하고 범위가 좁은 판단은 싸게 처리하고, 새로운 상황에서 계획을 바꾸거나 상충하는 근거를 해석하는 일에는 강한 모델을 쓰는 방향입니다.
이 예상이 틀릴 조건도 있습니다. 고성능 범용 모델이 가격과 속도를 충분히 개선하면서, 여러 모델을 나누어 쓰는 것보다 낮은 총비용과 높은 성공률을 동시에 낼 수 있습니다. 반대로 저비용 판단 모델이 장기 업무와 예외 처리까지 안정적으로 수행한다면, 거대 모델에 남는 역할은 제가 예상하는 것보다 더 작아질 수 있습니다.
어느 경우든 비교 기준은 같습니다. 같은 난도의 일을 같은 수준의 신뢰도로 끝내는 데 얼마나 많은 자원과 사람의 시간이 필요한가입니다.
에이전트가 더 많은 일을 하게 된다는 전망에는, 지금과 같은 방식으로 연산할 것이라는 가정이 포함돼 있지 않습니다. 성장하는 업무량과 줄어드는 작업당 자원, 그리고 그 사이에서 기업이 실제로 남기는 이익을 따로 확인해야 합니다.
다음 에이전트 데모에서 보고 싶은 것은 생성한 문장의 길이나 클릭 속도만이 아닙니다. 같은 일을 맡겼을 때 얼마나 자주 제대로 끝내고, 사람이 얼마나 덜 개입하며, 그 결과 하나를 얼마에 제공할 수 있는지입니다.
출처와 수치의 범위
공개자료 확인 기준은 2026년 9월 26일입니다. 회사가 발표한 관찰값과 초기 시험 결과는 산업 전체의 통계나 독립 검증 결과로 취급하지 않았습니다. 비용 지수와 수요 시나리오는 필자의 설명용 가정이며 전망치가 아닙니다.
- Anthropic, How we built our multi-agent research system, 2025년 6월 13일. 채팅 대비 토큰 소비 배수는 회사의 자체 관찰입니다.
- Anthropic, Optimizing for cost and intelligence, 수시 갱신 문서. 캐시 통계의 관찰 기간은 2026년 8월 23일까지 14일이며, 직접 API의 일정 조건을 충족하는 에이전트 조직·일 표본입니다.
- NVIDIA, Mastering LLM Techniques: Inference Optimization. 일반적인 Transformer 추론의 입력 처리, 출력 생성, 메모리와 캐시 구조를 설명합니다.
- TypeSafe 공식 제품 설명. Jev의 구조화된 판단 결과와 확률 반환이라는 제품 접근을 참조했습니다.
- Browserbase, What is Jev?, 2026년 9월 21일. 1.97초와 0.46초는 Stagehand 개별 행동의 초기 시험 결과이며 전체 업무 비용 비교가 아닙니다.
- NVIDIA Research, Small Language Models are the Future of Agentic AI, 2025년 연구. 여러 모델의 분업을 지지하는 연구진의 입장이며 업계 전환의 실증 통계가 아닙니다.
- IEA, Energy and AI: Energy demand from AI, 2025년 보고서. 채택 확대와 효율 개선에 따른 시나리오 접근을 참조했으며, 수요 전망 수치를 본문의 가상 계산에 사용하지 않았습니다.
- Meta, Introducing Muse, 2026년 9월 8일. 권한·승인 및 무료·구독 구조는 회사 발표 기준입니다.