AI가 싸질수록, 더 많은 일이 계산된다

AI가 같은 일을 더 적은 비용으로 처리하게 되면 데이터센터 수요도 줄어들까요. 지금 하는 일의 양이 고정돼 있다면 그럴 수 있습니다. 그러나 비용이 낮아져 지금까지 하지 않던 일을 새로 맡긴다면 결과는 달라집니다.

저는 지속형 에이전트의 의미가 여기에 있다고 봅니다. 사람이 질문할 때만 응답하던 AI가, 위임한 목표와 진행 상황을 기억하고 필요한 일을 이어가는 시스템으로 바뀌는 것입니다. 잠재 수요의 범위가 사람이 입력하는 질문에서, 수행할 가치가 있지만 아직 수행하지 못한 업무로 넓어질 수 있습니다.

이 변화는 기존 컴퓨팅과 AI의 경계를 다시 그립니다. 모델은 문맥을 해석하고, 일반 코드는 정해진 절차를 실행하며, 데이터베이스와 저장장치는 목표와 결과를 보존합니다. 사용자에게는 이들이 하나의 지속적인 업무 수행 체계로 보입니다. AI가 모든 계산을 대신하기보다, 서로 다른 계산을 목적에 맞게 연결하는 방향입니다.

인프라에서는 상태를 보존하고 재사용하는 능력이 중요해집니다. 경제적으로는 그렇게 낮아진 단위 비용이 새로운 수요를 열 수 있습니다. 저는 상시 에이전트, 메모리 중심 인프라, 제본스의 역설을 이 연결로 이해합니다. 다만 연산 수요의 확대와 특정 공급사의 이익 증가는 끝까지 구분해야 합니다.

컴퓨팅의 수요 단위가 질문에서 위임한 업무로 바뀝니다

기업 분석을 예로 들어보겠습니다. “이 회사를 분석해 달라”는 요청은 보고서 한 건으로 끝날 수 있습니다. “이 회사에 대한 가정이 바뀌면 판단할 수 있게 준비해 달라”는 위임은 다른 형태의 업무입니다.

새 자료가 나오면 기존 숫자와 대조하고, 중요한 변화가 있으면 가정을 갱신하며, 설명이 맞지 않으면 반대 근거를 찾아야 합니다. 판단할 만한 변화가 없으면 기록만 남기고 기다릴 수도 있습니다. 사람이 매번 검색과 계산을 지시하지 않아도 같은 목표 아래에서 일이 이어지는 구조입니다. 이는 가능한 업무 설계의 예시이며, 현재 모든 에이전트가 이를 수익성 있게 수행한다는 주장은 아닙니다.

여기서 상시성은 모든 GPU를 하루 종일 가동한다는 뜻이 아닙니다. 항상 관리해야 하는 것은 목표와 상태이고, 실제 계산은 사건·기한·가치에 따라 실행합니다. 다음에 필요한 일을 고르는 능동성 역시, 사용자가 위임한 범위와 예산 안에서 작동해야 합니다.

Anthropic은 2026년 4월 8일 공개한 Managed Agents 설계에서 세션 기록, 모델 호출을 조율하는 실행 루프, 코드를 실행하는 샌드박스를 분리했습니다. 실행환경이 교체돼도 세션 기록을 읽고 작업을 재개하며, 샌드박스가 필요한 경우에만 생성하는 방식입니다. 하나의 제품 설계이지만, 지속적인 업무와 지속적인 자원 점유를 분리할 수 있다는 구체적인 근거입니다. 자료 1

이 구조에서는 에이전트 수, VM 수, 동시에 실행되는 모델 수가 같을 이유가 없습니다. 이용자 한 명이 여러 목표를 맡길 수도 있고, 하나의 목표가 여러 실행환경을 사용할 수도 있습니다. 따라서 가입자 수에 고정된 GPU 대수를 곱하는 방식으로 인프라 수요를 계산하기 어렵습니다.

이 글에서 사용하는 상시 컴퓨팅과 능동형 컴퓨팅은 이런 발전 방향을 설명하는 관점입니다. 하나의 확립된 제품 규격이나, 모든 소프트웨어가 이미 전환을 마쳤다는 뜻은 아닙니다.

잘하는 에이전트일수록 매번 처음부터 생각하지 않습니다

업무가 지속되면 반복도 늘어납니다. 정해진 검사 실행, 동일 자료 확인, 익숙한 계산을 매번 고성능 모델에게 새로 판단하게 하면 비용과 오류 기회가 함께 누적됩니다.

Stripe의 Minions는 이 문제를 다르게 처리합니다. 회사가 2026년 2월 19일 공개한 설명에 따르면, 기능 구현이나 오류 수정은 에이전트가 맡지만 정해진 정적 검사와 변경 전송은 일반 코드로 실행합니다. 코드로 정의한 흐름 안에 모델의 판단을 필요한 곳에만 배치한 것입니다. 회사는 당시 에이전트가 작성하고 사람이 검토한 코드 변경 요청이 매주 1,300건 이상 병합된다고 밝혔습니다. 운영 규모에 대한 회사 자체 보고이며, 그 수치가 곧 생산성 개선률이나 전체 비용 절감률은 아닙니다. 자료 2

더 나아가 AI가 찾은 해법 자체가 재사용 가능한 코드로 남을 수 있습니다. Google DeepMind의 AlphaEvolve는 모델이 알고리즘 후보를 제안하면 자동 평가기가 실행하고 검증하는 구조입니다. Google은 2025년 5월 발표에서 이 시스템이 발견한 데이터센터 배치 알고리즘을 실제 운영에 적용했다고 설명했습니다. 매번 LLM이 자원 배치를 결정하는 대신, 탐색으로 얻은 알고리즘을 반복 실행하는 것입니다. 자료 3

제가 보는 장기적인 실행 방식은 이렇습니다. 낯선 문제는 추론으로 해결하고, 결과를 검증한 뒤 재사용 가능한 절차로 남깁니다. 익숙한 부분은 그 절차로 실행하고, 상황이 달라지거나 예외가 생기면 다시 추론합니다.

시스템의 수행 능력이 좋아지는 것과 업무 한 건당 LLM 호출이 늘어나는 것은 같은 일이 아닙니다. 반복이 충분한 업무에서는 수행 능력이 개선되면서 모델 호출은 줄어들 수 있습니다. 물론 절차를 만드는 비용과 검증·유지보수 비용을 회수할 만큼 재사용되어야 합니다.

메모리는 이미 지불한 계산비를 다시 쓰게 합니다

이 흐름을 인프라로 옮기면, 메모리와 저장장치는 단순히 원자료를 보관하는 부품 이상의 의미를 갖습니다. 이미 만든 계산 결과를 다시 활용해 재계산을 피하는 수단이 됩니다.

다만 서로 다른 기억을 섞으면 안 됩니다. 목표·권한·작업 이력·문서 같은 업무 기억과, 모델 추론 중 만들어지는 KV 캐시는 다릅니다. KV 캐시는 이전 토큰을 처리하며 생성한 일부 중간값을 보존하는 장치입니다. 모델이 다음 토큰을 만들 때 앞선 문맥의 계산 일부를 반복하지 않게 합니다. 모델의 가중치가 사용자별로 계속 학습되는 것과도 다른 구조입니다. 자료 4

지금 계산에 필요한 상태와 한참 뒤 다시 쓸 자료를 모두 가장 빠른 메모리에 둘 수는 없습니다. 활성 추론에 필요한 내용은 GPU의 HBM에, 그 밖의 상태는 서버 DRAM이나 SSD, 장기 저장소에 배치하는 선택이 생깁니다. 아래 그림은 대표적인 역할을 구분한 개념도이며, 모든 서비스가 정확히 같은 계층을 사용하는 것은 아닙니다.

NVIDIA Dynamo의 조회일 기준 개발 문서(베타)는 GPU 메모리, 서버 메모리, SSD와 원격 저장소에 걸친 KV 캐시 관리를 설명합니다. 사용하지 않는 문맥을 GPU 밖으로 옮겨 활성 요청을 처리할 공간을 확보하고, 필요한 때 다시 가져오는 방식입니다. 중요한 조건도 명시합니다. 캐시 재사용의 이익이 데이터를 옮기는 부담보다 커야 합니다. 자료 5

따라서 메모리 중심 컴퓨팅을 HBM 수요 하나로 해석해서는 안 됩니다. 같은 업무량에서 SSD를 더 사용해 필요한 GPU 메모리를 줄이는 설계도 가능합니다. 보존 용량뿐 아니라 대역폭, 이동 지연, 재사용률이 함께 중요합니다. 업무 기억을 저장한 데이터베이스가 곧바로 모든 모델에서 재사용 가능한 KV 캐시가 되는 것도 아닙니다.

또한 모든 AI 계산이 메모리 병목인 것은 아닙니다. 입력 문맥을 한꺼번에 처리하는 단계와 응답 토큰을 순차 생성하는 단계는 성격이 다릅니다. 특히 작은 배치의 토큰 생성은 메모리 대역폭의 영향을 크게 받지만, 모델과 배치 크기, 처리 단계에 따라 연산 성능이 더 중요할 수 있습니다. 자료 4

여기서 말하는 메모리 중심성은 저장과 연산을 연결하는 설계의 중요성입니다. 메모리 내부에서 직접 연산하는 특정 기술이 반드시 승리한다는 전망은 아닙니다.

먼저 계산해 둔 것이 모두 절감은 아닙니다

기억을 활용하는 또 다른 방법은 질문이 오기 전에 필요한 이해를 만들어 두는 것입니다. 반복해서 검토하는 회사나 코드라면 자료를 미리 읽고 중간 결과를 정리해, 다음 질문에서 재사용할 수 있습니다.

2025년 4월의 Sleep-time Compute 연구는 이를 실험했습니다. 저자들은 변형한 수학 벤치마크에서 같은 정확도에 도달하는 데 필요한 질문 이후 계산량을 약 5분의 1로 줄였다고 보고했습니다. 하지만 사전 계산 비용은 별도로 존재합니다. 질문 이후의 지연이나 계산량이 줄었다는 결과를 전체 원가 80% 절감으로 읽어서는 안 됩니다. 연구는 같은 문맥에 대한 질문을 얼마나 예측하고 재사용할 수 있는지가 중요함을 보여 줍니다. 자료 6

사용자가 접속하지 않는 시간과 서버가 비어 있는 시간도 다릅니다. 밤에 미리 조사했다고 계산이 공짜가 되지 않습니다. 다른 고객의 작업에 쓸 수 있었던 자원이라면 기회비용이 있고, 끝내 사용되지 않은 준비에도 원가는 남습니다.

작업 배치 역시 개별 응답을 넘어 업무 전체를 기준으로 바뀔 수 있습니다. Autellix 연구는 에이전트 프로그램의 진행 상황과 호출 의존성을 활용해 스케줄링하는 접근을 제시합니다. 논문에서 보고한 성능 개선은 평가한 모델·작업·비교 시스템에 한정됩니다. 제가 주목하는 것은 특정 배수보다 최적화의 단위가 개별 토큰에서 업무 전체의 완료로 넓어진다는 점입니다. 자료 7

메모리, 캐시, 사전 계산, 검증된 코드는 각각 다른 방식으로 원가를 바꿉니다. 이를 전부 묶어 “AI가 더 효율적이 됐다”고만 표현하면 어느 비용이 줄었고, 어느 비용으로 옮겨갔는지 놓치게 됩니다.

절감된 계산이 새로운 업무를 열 때 제본스 효과가 작동합니다

업무 하나의 비용이 낮아지는 것과 산업 전체의 자원 사용이 줄어드는 것은 별개입니다. 효율 개선으로 이용이 늘어 절약분을 일부 상쇄하는 현상이 반동효과이고, 그 증가가 절약분을 넘어 전체 자원 소비까지 늘리는 경우를 제본스의 역설로 설명합니다. 모든 효율 개선에서 반드시 발생하는 법칙은 아닙니다. 자료 8

에이전트에서는 수요가 범위·빈도·깊이의 방향으로 커질 수 있습니다. 더 많은 기업과 고객을 대상으로 일하고, 한 달에 한 번 하던 확인을 변화가 생길 때마다 수행하며, 하나의 결과를 내기 전에 여러 대안과 반론을 검증하는 식입니다. 여기에 사람이 매 단계 직접 지시해야 한다는 제약도 낮아집니다.

이것이 제가 지속형 에이전트에서 수요 확대 가능성을 높게 보는 이유입니다. 기존 질문을 싸게 처리하는 데서 멈추지 않고, 이전에는 비용과 시간이 아까워 하지 않던 업무가 새로 경제성을 얻을 수 있습니다.

같은 업무 안에서는 기억과 재사용이 계산을 줄입니다. 업무의 범위가 넓어지면 그 절감이 새로운 계산 수요를 만들 수 있습니다.

아래는 시장 전망이 아닌 설명용 가정입니다. 동일한 품질과 범위의 업무를 기준으로, 업무당 필요한 평균 연산량이 기존의 10분의 1로 줄었다고 가정했습니다. 평균에는 관련 실패·재시도·검증·사전 계산도 포함합니다.

유효 업무 수의 변화	업무당 연산량	총연산량의 변화
기존의 5배	기존의 0.1배	5 × 0.1 = 0.5배
기존의 20배	기존의 0.1배	20 × 0.1 = 2배
기존의 100배	기존의 0.1배	100 × 0.1 = 10배

일이 5배 늘어도 총연산량은 절반으로 줄어듭니다. 일이 100배 늘면 총연산량은 10배가 됩니다. 판단할 것은 효율화의 유무가 아니라 새로운 유효 수요가 단위 자원 절감 속도를 얼마나 초과하는가입니다. 실제로 서로 다른 업무와 자원을 비교하려면 먼저 같은 기준으로 측정해야 합니다.

판매가격과 물리적 효율도 구분해야 합니다. API 가격이 내려간 이유가 연산 효율 개선일 수도 있지만, 가격 경쟁이나 보조금일 수도 있습니다. 저렴해진 요금만으로 칩·메모리·전력 소비가 얼마나 줄었는지는 알 수 없습니다.

사용량 급증은 관측됐지만, 효율화만의 효과는 아닙니다

Stanford AI Index 2025는 GPT-3.5 수준 성능의 추론 비용이 2022년 11월부터 2024년 10월 사이 280분의 1 이하로 내려갔다고 보고했습니다. 특정 성능 수준의 과거 비교이며, 모든 최신 AI 업무에 같은 감소율을 적용할 수는 없습니다. 자료 9

Google은 2026년 5월 19일 발표에서 자사 서비스 전반의 월간 토큰 처리량이 2024년 5월 9.7조 개, 2025년 5월 약 480조 개, 2026년 5월 3,200조 개 이상으로 늘었다고 밝혔습니다. 회사 자체 집계이며, 토큰이 모두 고객이 직접 비용을 지불한 요청이라는 뜻도 아닙니다. 자료 10

비용 하락과 사용량 확대가 동시에 나타났다는 관찰은 가능합니다. 그러나 이 두 자료를 연결해 수요의 가격탄력성을 계산할 수는 없습니다. 대상과 기간이 다르고, 사용량에는 모델 성능 향상, 서비스 배포 확대, 이용자 증가 등이 섞여 있습니다.

따라서 현재 근거가 지지하는 것은 사용 범위가 빠르게 확대되고 있다는 사실입니다. 증가분 중 얼마가 가격 하락에서 왔는지, 장기적으로 효율 개선을 얼마나 초과할지는 추가 확인이 필요합니다. 제본스의 역설은 수요를 조사하는 가설이지, 수요 조사를 생략할 근거가 아닙니다.

아무 일이나 계속하면 연산량보다 낭비가 먼저 늘어납니다

상시 에이전트에 대한 가장 강한 반론은 유용한 다음 업무를 잘 고르지 못할 수 있다는 것입니다. 이미 끝난 일을 다시 조사하고, 중요하지 않은 변화에 반응하며, 사람이 읽지 않을 보고서를 계속 만들면 자원 사용량만 늘어납니다.

2026년 5월 공개된 ProAct 연구는 이 위험을 구체적으로 보여 줍니다. 합성 환경의 200개 상황·40개 영역을 대상으로 한 실험에서, 방향 없는 사전 조사는 상황당 평균 약 69,800개의 추가 토큰을 사용했지만 필수 내용을 충족하는 데 필요한 대화 턴을 0.9%만 줄였습니다. 필요를 예측한 사전 조사는 14.8% 줄였으나, 추가 토큰은 약 111,800개였습니다. 이 토큰 수는 일반 응답 등의 비용을 제외한 능동 연산의 추가분입니다. 자료 11

예측 방향이 중요하다는 근거지만 실제 고객의 시간 절감이나 총원가 개선을 입증한 실험은 아닙니다. 평가는 합성 상황과 모델 심사를 사용했고, 사용자의 노력도 실제 소요시간이 아닌 질문 턴 수로 측정했습니다.

상시 연산의 경제적 한계는 “더 계산할 수 있는가”보다 “추가 계산으로 얻을 기대효용이 전체 비용보다 큰가”에서 결정됩니다. 그 비용에는 추론·실행·저장비뿐 아니라 결과 검토, 오류 복구, 잘못된 실행의 위험도 들어갑니다.

따라서 좋은 시스템은 다음 일을 만드는 능력과 함께 일을 취소하고, 중복을 제거하고, 알리지 않아도 되는 결과를 보관하는 능력을 갖춰야 합니다. 에이전트가 처리량을 늘릴수록 사람의 검토가 병목이 될 수 있으므로, 검토시간이 실제로 줄었는지도 확인해야 합니다.

전력·설비·데이터 접근·권한도 제약입니다. 잠재 수요가 크더라도 자원을 공급하거나 안전하게 실행할 수 없으면 실현된 사용량으로 이어지지 않습니다. 제본스 효과가 존재하더라도 자원과 시간대별 크기가 다를 수 있습니다.

연산이 늘어나는 곳과 이익이 쌓이는 곳은 다를 수 있습니다

이 논지를 “모든 AI 인프라가 수혜를 본다”로 끝내면 투자에 필요한 구분이 사라집니다.

토큰량, 실제 연산량, 장비 구매액, 공급사 이익은 서로 다른 지표입니다. 같은 토큰 수라도 모델 구조, 입력과 출력의 비중, 문맥 길이, 배치, 캐시 재사용에 따라 필요한 자원이 달라집니다. 자료 4

메모리에서는 누적 사용량과 순간 점유량도 구별해야 합니다. 같은 모델 구조와 캐시 정밀도를 가정하고 공유·중복 제거를 제외하면, KV 캐시 용량은 대략 동시 문맥 수, 문맥당 토큰 수, 토큰당 KV 바이트의 곱으로 생각할 수 있습니다. 그중 얼마를 HBM에 둘지는 별도의 배치 문제입니다. 오래된 로그가 계속 쌓인다고 HBM 점유량까지 같은 비율로 증가하지는 않습니다.

장비 수요 역시 기존 설비의 여유와 가동률, 새 장비의 성능에 영향을 받습니다. 같은 연산량을 더 적은 장비로 처리할 수 있고, 한 자원의 부담을 다른 자원으로 옮길 수도 있습니다. 연산량이 늘었다고 전력 사용과 설비투자가 같은 비율로 늘어나는 것도 아닙니다.

공급사가 가격을 올릴 수 있는지는 한 번 더 따져야 합니다. 실제 고객 수요가 증가하고, 대체하기 어렵고, 증설이 늦어야 공급 제약이 이익으로 이어질 가능성이 높아집니다. 공급 확대가 더 빠르거나 고객이 다른 구조로 옮겨갈 수 있다면, 사용량 성장에도 가격과 이익률은 하락할 수 있습니다.

VC 관점에서는 모델을 더 싸게 호출하는 기술 외에도 기회가 생깁니다. 업무의 다음 단계를 선택하는 운영 소프트웨어, 유효한 상태를 정확히 재사용하는 문맥 관리, 여러 종류의 연산을 묶어 배치하는 실행 인프라, 결과를 검증하는 업무 특화 시스템입니다. 이는 확인된 기업별 경쟁우위가 아니라, 앞선 구조에서 도출한 탐색 가설입니다.

그 기회가 독립적인 사업으로 남을지는 또 다른 문제입니다. 모델 제공자나 클라우드가 같은 기능을 기본 제공할 수 있기 때문입니다. 특정 기능의 성능보다 고객 업무에 축적된 검증 기준, 권한·데이터 연결, 반복 사용과 실제 비용 절감이 방어력으로 남는지 확인해야 합니다.

VC가 확인할 것은 늘어난 토큰의 사용처입니다

저라면 고객 수와 토큰 처리량 옆에 다음 지표를 요구하겠습니다. 서비스가 내세우는 데모와 고객이 반복해서 비용을 지불하는 이유를 연결하기 위한 기준입니다.

확인할 질문	필요한 관측값
이전에는 하지 않던 유용한 일이 생겼는가	신규 업무와 기존 업무 대체의 비중, 반복 사용, 실제 지불액
같은 품질의 업무를 더 싸게 끝내는가	수락된 업무당 총원가, 재작업률, 사람 검토시간
미리 준비한 결과가 실제로 쓰이는가	준비 결과의 사용률, 사용되기까지의 시간, 최신성 유지비
비용 절감이 다른 자원으로 이전된 것은 아닌가	추론·CPU·메모리·저장·네트워크·검증비의 구성
사용량 성장의 이익을 누가 가져가는가	가격 변화, 원가 변화, 고객 유지, 공급 확대와 대체 가능성

검증된 업무당 총원가는 추론비, 실행환경비, 저장·도구비, 실패·복구비, 사람 검토비를 합산한 뒤 수락된 업무 수로 나누는 방식이 출발점이 될 수 있습니다. 실패·복구비를 다른 항목과 중복 합산하지 않고, 사람 검토시간은 같은 금액 기준으로 환산해야 합니다. 업무 품질과 범위가 다르면 같은 분모로 비교하지 않아야 합니다.

동일 고객군에서 가격이나 원가가 낮아진 뒤 업무량이 얼마나 늘었는지를 추적하면 제본스 가설을 더 직접적으로 검증할 수 있습니다. 고객 수 증가, 모델 성능 향상, 기존 업무의 이전을 구분해야 합니다. 고객이 절감액을 추가 업무에 쓰지 않고 지출 감소로 가져가는지도 중요한 결과입니다.

저는 AI의 효율화가 컴퓨팅 수요의 종착점보다 새로운 수요의 출발점이 될 가능성을 높게 봅니다. 그 이유는 모델이 더 오래 말하기 때문이 아닙니다. 목표와 상태를 보존하고, 익숙한 일을 코드와 기억으로 처리하며, 그 결과 더 많은 일을 위임할 수 있기 때문입니다.

다음 투자 검토에서 물을 질문은 “토큰이 얼마나 늘었습니까”보다 “원가가 낮아진 뒤 고객이 새로 맡긴 일은 무엇이며, 그 일을 검증해서 끝내는 데 어느 자원이 먼저 부족해집니까”에 가깝습니다.

---

자료 기준과 해석 범위

기준일은 2026년 10월 3일입니다. 제품 설계와 운영 수치는 각 회사의 공개 설명이며, 논문 수치는 해당 평가 환경의 결과입니다. 기술 자료에서 도출한 수요 확대·경쟁우위·수익 배분의 전망은 필자의 가설입니다. 공개 자료만 사용했으며 개별 종목의 투자판단은 다루지 않습니다.

자료 1은 Anthropic의 2026년 4월 8일 설계 공개, 자료 2는 Stripe의 2026년 2월 19일 운영 설명입니다. 자료 3은 Google DeepMind의 2025년 5월 14일 발표이고, 자료 4는 2025년 2월 4일 공개된 추론 기술 설명입니다. 자료 5는 조회일의 NVIDIA Dynamo 개발 문서로, 안정 버전의 보편적 도입률을 뜻하지 않습니다.

자료 6과 7은 각각 2025년 4월 17일, 2월 19일 제출된 연구입니다. 자료 8은 2019년 반동효과 연구 해설입니다. 자료 9는 2025년 보고서가 집계한 2022~2024년 비용 비교, 자료 10은 Google의 2026년 5월 19일 자체 집계, 자료 11은 2026년 5월 25일 공개된 ProAct 초기 연구입니다. 모두 2026년 10월 3일 공개 원문을 확인했습니다.

관련 글: VM 에이전트의 경제학: 더 많은 일을, 더 적은 낭비로 · 에이전트는 더 싸진다. 인프라 수요는 다른 문제다