더 적게 계산하는 AI, 더 많이 계산하는 세상

AI가 같은 일을 10분의 1 연산량으로 처리하게 되면, 세상에 필요한 총연산량도 10분의 1로 줄어들까요.

업무량과 품질이 그대로라면 그렇습니다. 그러나 효율화로 낮아진 비용 덕분에 지금까지 하지 못했던 일을 시작한다면 답이 달라집니다. 특히 에이전트가 사람이 질문하지 않는 시간에도 위임받은 목표를 관리한다면, 수요의 상한을 사람의 접속시간만으로 설명하기 어려워집니다.

저는 AI 인프라의 다음 변화를 목표의 지속, 계산 결과의 재사용, 경제성 있는 업무의 확대가 연결되는 과정으로 봅니다. AI가 기존 프로그램을 모두 대체하는 그림과는 다릅니다. 일반 코드·모델·데이터베이스가 하나의 업무를 나눠 수행하고, 필요한 상태를 남기면서 다음 작업으로 이어지는 구조입니다.

앞선 글에서 다룬 VM 에이전트의 경제학이 실행 비용을 줄이는 방법에 관한 이야기였다면, 여기서 더 중요한 질문은 절약한 계산으로 무엇을 새로 하게 되느냐입니다.

계속되는 것은 계산이 아니라 목표입니다

“이 회사를 분석해 주세요”와 “이 회사의 투자 가정이 바뀌면 판단할 수 있도록 준비해 주세요”는 다른 요청입니다.

첫 번째 요청은 보고서 하나로 끝날 수 있습니다. 두 번째 요청은 목표가 취소되거나 완료될 때까지 새 자료를 관찰하고, 기존 근거와 대조하고, 의미 있는 변화가 있을 때 판단을 준비해야 합니다. 이 예시에서 사람은 매번 다음 명령을 입력하지 않지만, 컴퓨터가 매 순간 추론해야 하는 것은 아닙니다.

새 공시가 올라왔는지 확인하고 숫자의 차이를 계산하는 단계는 코드로 처리할 수 있습니다. 사업 설명의 의미가 바뀌었는지 해석하는 부분에는 모델을 쓰고, 재무 계산은 검증된 프로그램에 맡길 수 있습니다. 중요한 변화가 없으면 기록만 남기고 실행 자원을 돌려주면 됩니다.

사용자에게는 하나의 지속적인 서비스로 보이지만, 내부에서는 추론과 일반 코드의 역할을 더 정확하게 나눠야 합니다.

Anthropic은 2026년 4월 8일 공개한 Managed Agents 설계에서 세션 기록, 모델과 도구를 조율하는 실행 루프, 코드를 실행하는 샌드박스를 분리했습니다. 실행 루프가 실패해도 외부에 보존한 기록을 읽어 재개하고, 샌드박스는 필요한 경우에 생성합니다. 장기 업무의 연속성을 특정 컨테이너의 생존과 분리한 실제 제품 설계입니다. Anthropic 공식 설명

이 글에서 말하는 상시 컴퓨팅은 이 구조를 해석하는 표현이지, 확립된 기술 표준의 명칭이 아닙니다. 목표와 상태는 유지하되 실행은 사건·일정·필요에 맞춰 일어납니다. ‘항상 이용 가능한 에이전트’와 ‘항상 GPU를 점유하는 에이전트’를 같은 것으로 세면 원가와 수요를 모두 잘못 추정하게 됩니다.

추론은 반복될수록 절차로 남을 수 있습니다

Stripe의 Minions는 기능 구현과 실패 원인 수정에는 에이전트를 사용하지만, 정해진 코드 검사와 변경 전송은 일반 코드로 실행합니다. Stripe가 2026년 2월 19일 설명한 blueprint는 이런 단계를 연결하는 작업 흐름입니다. 회사는 예측 가능한 작은 결정을 코드로 처리하면 토큰과 검사 비용을 줄이고 신뢰성을 높일 수 있다고 설명합니다. 자체 운영 설명이며, 사람의 검토까지 포함한 독립적인 총원가 비교는 아닙니다. Stripe 공식 설명

여기서 한 걸음 더 나아가면 AI는 이번 일을 처리하는 데 그치지 않고, 다음에 같은 일을 더 싸게 처리할 방법을 만들 수 있습니다.

Google DeepMind가 2025년 5월 공개한 AlphaEvolve는 모델이 제안한 프로그램을 자동 평가하고, 좋은 알고리즘을 다시 탐색에 활용합니다. 회사는 발견한 데이터센터 배치 알고리즘을 운영에 적용해 Google 전체 연산 자원의 평균 0.7%를 회수한다고 보고했습니다. 매번 LLM이 자원 배치를 판단하는 방식이 아니라, 발견한 알고리즘을 코드로 반복 실행하는 사례입니다. 연구·검증·배포 비용을 차감한 순수익률로 해석해서는 안 됩니다. Google DeepMind 공식 설명

제가 주목하는 순환은 새 문제를 추론으로 해결하고, 검증한 방법을 절차로 남기고, 다음에는 그 절차를 실행하는 것입니다. 익숙한 업무에서 모델 호출이 줄어드는 것은 지능의 후퇴가 아니라 시스템이 앞선 계산을 활용한 결과일 수 있습니다.

물론 한 번 성공한 절차가 언제나 맞는 것은 아닙니다. 입력과 환경이 바뀌면 다시 검증해야 합니다. 코드화의 이익은 작성·검증·갱신 비용을 회수할 만큼 반복해서 사용될 때 생깁니다.

업무의 기억과 모델의 기억은 다릅니다

이 구조에서는 특정 VM보다 보존된 상태가 업무의 연속성을 담당합니다. 인프라를 메모리 중심으로 볼 이유가 생깁니다. 다만 모든 기억을 HBM 수요로 치환해서는 안 됩니다.

업무 기억은 목표·권한·진행 상황·원문·검증 결과입니다. 파일이나 데이터베이스 등에 보관하고 필요한 부분을 읽습니다. 추론 캐시는 모델이 입력을 처리하면서 만든 중간 계산값입니다. 대표적인 KV 캐시는 이전 토큰에 대한 계산 결과 일부를 보관해, 다음 토큰을 생성할 때 이를 재사용합니다. 사람이 읽는 프로젝트 기록과 모델의 KV 캐시는 다른 데이터이며, 장기 업무 기억을 전부 KV로 유지할 필요도 없습니다. Anthropic · Transformer 추론 기술 해설

지금 토큰을 생성하는 데 필요한 상태, 잠시 뒤 다시 사용할 문맥, 몇 달 뒤 감사나 재검토에 쓸 원문은 요구하는 속도가 다릅니다. 따라서 다음처럼 역할을 나눠 보는 편이 타당합니다.

NVIDIA의 Dynamo KVBM은 GPU 메모리·서버 메모리·SSD·원격 저장소에 걸쳐 KV 캐시를 관리합니다. 사용하지 않는 대화의 캐시를 GPU 밖으로 옮겨 활성 요청이 쓸 공간을 확보하는 방식도 포함합니다. 공식 문서가 제시하는 조건은 명확합니다. 캐시를 다시 쓰는 이익이 데이터를 옮기는 부담보다 커야 합니다. NVIDIA 공식 문서

이로부터 도출되는 설계 과제는 메모리를 무조건 많이 설치하는 것이 아닙니다. 자주 쓰는 상태는 가까이 두고, 덜 쓰는 상태는 저렴한 계층으로 내리고, 보관할 가치가 낮은 상태는 버려야 합니다. 개인정보와 접근권한이 다른 고객의 상태를 무분별하게 공유하는 것은 재사용의 범위에 포함되지 않습니다.

메모리의 용량, 데이터를 읽는 대역폭, 다른 장치에서 가져오는 전송 지연도 별개입니다. 입력 문맥을 처리하는 단계와 작은 배치에서 응답 토큰을 순차 생성하는 단계는 병목이 다릅니다. 후자는 메모리 대역폭에 제약받기 쉽지만, 모든 AI 계산이 메모리 병목이라는 뜻은 아닙니다. Transformer 추론 기술 해설

여기서 메모리 중심 컴퓨팅은 상태의 보존·배치·재사용을 중심으로 인프라를 조직한다는 의미입니다. 메모리 내부에서 연산하는 PIM을 전제로 하지 않습니다. GPU를 없애는 구조도 아닙니다. GPU가 필요한 데이터를 기다리거나 같은 문맥을 다시 처리하는 비용을 줄이려는 구조에 가깝습니다.

메모리는 한 업무의 연산을 줄이고, 새 업무의 문턱을 낮춥니다

개별 업무와 서비스 전체를 나눠 보면 효율화와 수요 확대는 모순되지 않습니다.

같은 업무에서는 이전 계산 결과를 불러오는 것이 재계산을 대체합니다. 반면 서비스 전체에서는 낮아진 비용으로 더 많은 업무를 맡길 여지가 생깁니다. 한 기업을 분기마다 분석하던 고객이 더 많은 기업의 중요한 변화를 관찰하거나, 코드 변경 일부에만 수행하던 검사를 더 넓은 범위에 적용하는 식입니다. 이는 가능한 사용 시나리오이지, 현재 고객 전체에서 관측된 전환율은 아닙니다.

에이전트의 잠재력은 비용만 낮추는 데 있지 않습니다. 사람이 매번 질문하고 결과를 옮기는 수고도 줄일 수 있습니다. 그 결과 관찰할 대상의 범위, 갱신 빈도, 검증의 깊이가 함께 늘어날 수 있다는 것이 제 수요 가설입니다.

업무당 비용이 내려가고 사람의 개입 부담도 줄면, 지금까지 하지 못했던 일 중 일부가 지불할 가치가 있는 업무로 바뀝니다.

다만 저장한 상태가 낡거나 다시 쓰이지 않으면 저장비와 관리비만 남습니다. 미리 조사한 결과도 실제로 소비되지 않으면 비용입니다. 사용자가 접속하지 않는 시간이 호스팅 사업자의 서버가 공짜로 제공되는 시간은 아닙니다.

2025년 4월의 Sleep-time Compute 연구는 질문 전에 문맥을 처리해 두면, 변형한 수학 과제에서 같은 정확도에 필요한 질문 이후 계산량을 약 5분의 1로 줄일 수 있다고 보고했습니다. 사전 계산까지 합친 총연산량이 80% 줄었다는 결과는 아닙니다. 같은 준비 결과를 얼마나 재사용하고, 사용자의 다음 질문을 얼마나 잘 예상하는지가 경제성을 좌우합니다. 논문 원문

제본스 효과는 업무 증가가 효율 개선을 넘어설 때 생깁니다

제본스의 역설은 효율이 높아져 자원 사용 비용이 내려간 뒤, 새로 늘어난 사용량이 절약분을 넘어서 전체 자원 소비가 오히려 증가하는 상황입니다. 효율이 좋아질 때마다 반드시 성립하는 법칙은 아닙니다. 에너지 분야에서도 반등 효과의 크기는 연구와 논쟁의 대상입니다. 이 개념을 AI에 적용하는 것은 경제적 해석이며, AI 전체에 대한 실증 결과와 구분해야 합니다. CREDS 연구 소개

동일한 품질과 범위의 업무를 기준으로 하면 관계는 간단합니다.

총연산량 = 처리 업무 수 × 업무당 평균 연산량

평균 연산량에는 실패·재시도·검증·사전 계산도 포함합니다. 업무의 품질이나 범위가 바뀌면 단순한 건수 비교만으로 효율을 평가할 수 없습니다.

아래는 업무당 연산량이 기존의 10분의 1로 감소했다는 가정입니다. 시장 전망이나 실측값이 아닙니다.

처리 업무 수	업무당 연산량	총연산량	기존 대비
5배	0.1배	5 × 0.1 = 0.5배	50% 감소
20배	0.1배	20 × 0.1 = 2배	100% 증가
100배	0.1배	100 × 0.1 = 10배	900% 증가

업무가 10배를 초과해 늘어야 총연산량도 증가합니다. 절약액을 고객이 그대로 가져가거나, 이미 충분히 많은 검토를 수행하고 있다면 총사용량은 줄 수 있습니다.

또한 실제 고객이 느끼는 가격은 물리적 연산 효율과 같지 않습니다. 모델 가격 경쟁, 보조금, 인건비 절감, 서비스 마진도 영향을 줍니다. 토큰 요금이 10분의 1이 됐다는 사실만으로 위 표의 업무당 연산량이 10분의 1이 됐다고 놓을 수는 없습니다.

비용 하락과 사용량 급증은 관측되지만, 인과관계는 별도입니다

Stanford AI Index 2025는 GPT-3.5 수준의 성능을 내는 시스템의 추론 비용이 2022년 11월부터 2024년 10월 사이 280분의 1 미만으로 내려갔다고 보고했습니다. 특정 성능 수준에 대한 과거 비용 비교입니다. 모든 AI 업무의 물리적 연산 효율이 같은 배율로 개선됐다는 뜻은 아닙니다. Stanford HAI

Google은 2026년 5월 19일 자사 서비스 전반의 월간 토큰 처리량을 다음과 같이 발표했습니다.

기준 시점	Google 발표 월간 토큰 처리량
2024년 5월	9.7조 개
2025년 5월	약 480조 개
2026년 5월	3,200조 개 초과

발표된 하한으로 계산하면 3,200 ÷ 9.7 ≈ 330배입니다. Google의 자체 집계이며, 전 세계 AI 시장 전체나 유료 고객의 업무 건수를 뜻하지 않습니다. Google I/O 2026 공식 발표

두 자료는 가격 하락과 사용 확대가 공존할 수 있음을 보여 줍니다. 그러나 대상과 기간이 다르므로 이 숫자를 나눠 수요의 가격탄력성을 계산할 수 없습니다. 사용량 증가에는 제품 배포 확대, 사용자 증가, 기능과 모델의 변화도 섞여 있습니다. 증가분 전부를 효율화가 만든 수요라고 단정하면 논거가 약해집니다.

더구나 토큰 하나에 필요한 연산량은 모델 구조, 입력과 출력, 문맥 길이, 배치와 캐시 재사용에 따라 달라집니다. 토큰 330배가 연산량·전력·GPU 구매액 330배를 뜻하지는 않습니다. Transformer 추론 기술 해설

수요가 늘어도 모든 인프라 기업이 같은 이익을 얻지는 않습니다

인프라 기업을 볼 때는 다음 단계를 분리해야 합니다.

유료 업무 증가 → 실제 자원 사용 증가 → 추가 설비 필요 → 공급사의 매출과 이익 증가

각 화살표에는 조건이 있습니다. 업무당 자원을 덜 쓰면 사용량 증가를 일부 상쇄합니다. 기존 설비의 가동률을 높일 수 있으면 추가 구매가 늦어집니다. 공급이 더 빨리 늘거나 경쟁으로 가격이 내려가면 매출과 이익은 사용량만큼 증가하지 않습니다.

메모리 계층화는 한 부품의 수요를 다른 부품으로 옮기기도 합니다. KV 캐시를 SSD로 내려 저장하는 구조는 같은 업무량에 필요한 GPU 메모리를 줄이면서 SSD와 데이터 전송의 역할을 키울 수 있습니다. 반대로 캐시를 압축하면 같은 문맥을 담는 데 필요한 공간이 줄어듭니다. Google Research가 2026년 3월 24일 공개한 TurboQuant도 KV 캐시 압축을 다루는 연구입니다. 특정 실험 성과가 모든 운영 환경에 그대로 적용된다는 뜻은 아닙니다. NVIDIA 문서 · Google Research

따라서 제가 보는 사업 기회는 ‘메모리가 중요해진다’보다 구체적입니다.

사업 영역	해결할 고객 문제	확인할 경제성
실행환경·업무 조율	기다리는 자원을 회수하고 실패한 작업을 이어갑니다.	고객이 수락한 업무당 총원가, 복구시간, 불필요한 실행 감소
메모리·저장·연결	다시 쓸 상태를 적절한 위치에 두고 제때 공급합니다.	재개 지연, 캐시 재사용률, 전송비를 차감한 비용 절감
검증·전문업무 소프트웨어	계산 결과를 실제 업무에 사용할 수 있게 만듭니다.	검증된 완료율, 사람 검토시간, 유료 업무 확대와 고객 유지

이 표는 산업 분석을 바탕으로 한 평가 틀이지, 개별 기업의 성과를 확인한 목록은 아닙니다. 공급사에는 효율 개선보다 빠른 유효 수요 증가뿐 아니라 공급의 희소성, 고객 전환 비용, 협상력이 필요합니다.

특히 스타트업이 더 많은 계산을 쓰게 만드는 것과 고객 가치를 만드는 것은 다릅니다. 더 적은 계산으로 고객의 일을 끝내고, 그 결과 고객이 새로운 일을 추가로 맡긴다면 사업적으로 더 강한 신호입니다. 절감액이 고객에게만 돌아가는지, 제품 가격과 재계약으로 회사에도 남는지는 따로 확인해야 합니다.

다음 병목은 검증할 수 있는 유용한 일입니다

이 논리에 대한 가장 강한 반론은 분명합니다. 계산이 싸져도 고객에게 더 맡길 일이 없거나, 결과를 검토하는 비용이 너무 높으면 수요는 기대만큼 늘지 않습니다.

컴파일과 테스트처럼 결과를 자동 확인하기 쉬운 업무와, 성과가 늦게 드러나는 투자 판단·협상·관계 조언은 다릅니다. AlphaEvolve도 객관적인 평가 지표로 프로그램을 검증할 수 있는 문제에서 강점을 보입니다. 이를 모든 사무 업무에 동일한 경제성이 있다는 근거로 확대할 수는 없습니다. Google DeepMind

능동형 에이전트가 오래된 목표를 계속 수행하거나, 여러 에이전트가 같은 일을 중복하거나, 사람이 읽지 않을 보고서만 늘리면 인프라 사용량은 늘어도 사업 가치는 악화될 수 있습니다. 이런 계산은 수요의 질을 설명하는 지표에서 걸러야 합니다.

제가 실제 서비스 비교에 쓰고 싶은 분모는 생성한 토큰이나 에이전트 수가 아니라 고객이 검증하고 수락한 업무 수입니다.

검증된 업무당 총원가 = (추론비 + 실행환경비 + 저장·도구비 + 실패·복구비 + 사람 검토비) ÷ 수락된 업무 수

사람 검토비는 동일한 기준으로 시간과 금액을 환산해야 합니다. 미리 수행하는 업무에는 준비 결과의 실제 사용률, 갱신되지 않아 폐기한 비율도 붙여야 합니다. 지불 의사와 품질을 유지한 상태에서 이 원가가 내려가고 유료 업무량이 더 빠르게 늘 때, 제본스 효과는 설득력 있는 사업 가설이 됩니다.

AI가 모든 계산을 대신하는 것보다 중요한 변화는, 여러 계산을 하나의 목표 아래 연결하고 앞선 결과를 다음 실행에 사용하는 것입니다. 기억과 절차가 재계산을 줄이고, 낮아진 비용이 새로운 일을 열어 줍니다. 그 일이 충분히 늘 때 더 효율적인 AI가 더 큰 인프라를 요구하게 됩니다.

다음 인프라 수요를 찾으려면 더 큰 모델만 볼 것이 아니라, 비용이 내려가면서 고객이 처음으로 맡기기 시작한 일을 찾아야 합니다. 그 업무가 지속적으로 돈을 벌어 주고, 효율 개선 후에도 남는 자원 수요가 어디에서 막히는지가 사업의 크기와 이익의 귀속을 결정합니다.

---

자료 확인 기준일은 2026년 10월 3일입니다. 기업의 제품·운영 설명, 연구 결과, 필자의 해석을 구분했습니다. Google의 토큰 처리량과 AlphaEvolve의 자원 회수 수치는 회사 발표이며, Stanford 비용 비교와 동일한 모집단이 아닙니다. 수요 배율 표는 설명을 위한 가정입니다. 개별 종목의 거래 판단은 다루지 않습니다.