엔터프라이즈 AI의 해자는 모델보다 메모리에서 시작됩니다

기업용 AI는 왜 소비자 AI처럼 빨리 움직이지 못할까요

20VC의 영상 Nikesh Arora on The Future of Token Costs | Memory Becoming the Moat & Why Enterprise AI Isn't Ready는 Palo Alto Networks의 CEO Nikesh Arora가 토큰 비용, 메모리, 기업용 AI, 사이버보안의 변화를 어떻게 보는지 다룬 인터뷰입니다. 자료상 이 영상은 2026년 6월 22일 20VC 채널에 올라온 1시간 16분 길이의 인터뷰입니다.

제가 이 영상을 투자자 관점에서 흥미롭게 본 이유는, AI를 단순히 "더 똑똑한 모델"의 문제로 보지 않기 때문입니다. Nikesh의 핵심 주장은 더 조심스럽고 운영에 가깝습니다. 소비자 AI에서는 폭넓은 커버와 빠른 사용성이 중요하지만, 기업용 AI에서는 오탑(false positive, 실제 문제가 아닌데 문제라고 판단하는 것)을 줄이고, 회사 안의 맥락을 이해하며, 마지막 판단을 운영 프로세스 안에서 처리하는 역량이 중요하다는 얘기입니다.

이 인터뷰의 초점은 "누가 가장 큰 모델을 만들었는가"가 아닙니다. 질문은 오히려 이쪽에 가깝습니다. 기업은 AI를 어디까지 믿을 수 있는가. AI가 틀렸을 때 누가 책임지는가. 회사 고유의 기억과 업무 맥락을 어떻게 모델에 연결할 것인가. 그리고 그 비용은 감당 가능한가.

브랜드보다 제품, 하지만 상품화 구간에서는 브랜드가 다시 중요해집니다

영상 설명은 Nikesh Arora를 Palo Alto Networks의 Chairman and CEO로 소개합니다. 또 2018년 취임 이후 회사를 시가총액 180억 달러 규모에서 2,250억 달러 이상으로 키웠고, 전 세계 21,000명 이상의 직원을 둔 회사로 만들었다고 설명합니다. 이 수치들은 영상 설명에 적힌 소개 기준입니다.

초반 논점 중 하나는 브랜드와 제품의 관계입니다. Nikesh는 차별화된 제품이 있으면 브랜드는 뒤따라온다는 쪽에 가깝게 말합니다. 반대로 제품이 상품화되는 구간에서는 브랜드가 우위로 작동할 수 있다고 봅니다.

AI 시장에도 같은 틀을 적용해볼 수 있습니다. 지금은 많은 회사가 "AI"라는 이름을 붙입니다. 하지만 사용자가 실제로 느끼는 차이가 크지 않은 구간에서는 브랜드, 유통, 신뢰가 중요해집니다. 반대로 특정 업무에서 압도적으로 더 정확하거나 더 깊은 맥락을 이해하는 제품은 브랜드보다 먼저 제품 경험으로 기억될 수 있습니다.

투자자 입장에서는 이 구분이 꽤 중요합니다. 어떤 AI 회사가 "좋은 브랜드"를 만들고 있는지와 "대체하기 어려운 제품 차이"를 만들고 있는지는 다른 질문입니다. 자료 속 Nikesh의 관점으로 보면, 장기적으로 더 중요한 것은 후자입니다. 특히 기업용 AI에서는 예쁜 데모보다 실제 업무에서 반복적으로 틀리지 않는 제품이 더 중요해질 가능성이 높습니다.

소비자 AI와 기업용 AI는 허용하는 실수의 종류가 다릅니다

Nikesh가 반복해서 가르는 축은 소비자 AI와 기업용 AI입니다. 소비자 공간에서는 사용자가 답을 보고 스스로 어느 정도 걸러낼 수 있습니다. 예를 들어 여행 일정을 추천받거나 글 초안을 받는 상황에서는 사용자가 "이건 좀 아닌데"라고 판단하고 수정할 수 있습니다.

기업에서는 다릅니다. 특히 사이버보안, 컴플라이언스(규제 준수), 인프라 운영처럼 잘못된 판단의 비용이 큰 영역에서는 오탑이 많아도 문제이고, 놓치는 것도 문제입니다. 경보가 너무 많이 울리면 사람은 지칩니다. 반대로 실제 공격을 놓치면 피해가 커집니다.

이 점에서 Nikesh의 관점은 꽤 현실적입니다. 그는 AI가 많은 일을 빠르게 만들 수 있다고 보지만, 기업용 AI가 아직 쉽게 완결되지 않는 이유도 같이 봅니다. 기업은 단순히 "AI가 답을 냈다"고 해서 움직일 수 없습니다. 왜 그런 답을 냈는지, 어떤 데이터에 근거했는지, 어떤 환경에서 검증했는지, 사람이 어디서 개입해야 하는지를 봐야 합니다.

토큰 가격은 너무 비싸고, 장기적으로는 내려갈 가능성이 높다고 봅니다

이 인터뷰에서 가장 직접적인 문장 중 하나는 토큰 가격에 관한 발언입니다. Nikesh는 "I think the long-term token pricing should be 1/10 of what it is today."라고 말합니다. 장기적인 토큰 가격은 지금의 10분의 1 수준이어야 한다고 본다는 뜻입니다.

여기서 토큰은 AI 모델이 글을 읽고 쓰는 기본 단위입니다. 쉽게 말하면 AI에게 일을 시킬 때 쓰는 연료에 가깝습니다. 많은 기업이 AI를 업무 전반에 붙이려 할수록 이 연료비가 커집니다.

자료에 따르면 Nikesh는 compute(연산 자원) 비용이 과거 대비 2~4배까지 상승했고, 소비자 AI 영역이 상당한 연산 자원을 소모하면서 기업용 코딩과 업무 영역의 토큰 가격에도 상승 압력이 생긴다고 설명합니다. 이 관점은 단순히 "AI 가격은 내려갈 것"이라는 낙관론과는 조금 다릅니다. 지금은 수요가 너무 빠르게 늘고 있고, 특히 소비자 attention(사용자 관심)을 잡으려는 모델 경쟁이 compute를 많이 태우고 있다는 구조적 설명입니다.

투자자 입장에서는 이 지점이 중요합니다. 어떤 AI 제품이 지금 높은 매출 성장을 보이더라도, 그 매출을 만드는 데 토큰 비용을 얼마나 쓰는지 봐야 합니다. 매출총이익률이 장기적으로 좋아질 수 있는 구조인지, 아니면 사용량이 늘수록 비용도 같이 커지는 구조인지가 갈립니다.

Nikesh의 10분의 1 발언을 그대로 받아들이면, 장기적인 토큰 가격 하락은 응용 서비스에 큰 기회가 될 수 있습니다. 다만 그 과정이 곧장 오지는 않을 수 있습니다. 가격이 내려가기 전까지는 비용 효율적인 추론(모델이 답을 내는 과정), 캐싱(자주 쓰는 결과를 저장해 재사용), 메모리 설계, 수직 특화 모델이 경쟁력의 중요한 일부가 될 가능성이 높다고 봅니다.

메모리가 해자가 된다는 말은, 회사의 기억을 제품 안에 넣는다는 뜻입니다

영상 제목에도 들어간 "Memory Becoming the Moat"는 이 인터뷰의 핵심 문장입니다. 메모리(memory, 기억)가 해자(moat, 경쟁사가 쉽게 넘기 어려운 방어력)가 된다는 말은, 단순히 대화 내용을 저장한다는 뜻만은 아닙니다.

기업에는 각자의 축적된 맥락이 있습니다. 고객별 히스토리, 보안 이벤트 대응 기록, 내부 정책, 제품 구조, 예외 처리 방식, 과거 의사결정의 이유, 팀별 업무 습관 같은 것들입니다. 사람으로 치면 오래 일한 실무자가 "이 회사에서는 이 경우 이렇게 처리한다"고 아는 지식입니다.

범용 모델은 넓게 압니다. 하지만 특정 회사의 실제 업무 맥락은 모릅니다. 그래서 기업용 AI가 제대로 작동하려면 모델 위에 회사의 기억을 얹어야 합니다. 이 기억이 깊고 정확하며 업데이트될수록 AI는 단순한 챗봇에서 업무 파트너에 가까워질 수 있습니다.

Nikesh가 말하는 엔터프라이즈 AI의 수익 기회도 여기서 나옵니다. Frontier 모델(최전선 대형 모델) 자체는 소비자 attention 전쟁이 강하지만, 기업에서 돈이 되는 것은 깊은 맥락과 사내 고유 데이터 기반 응용이라는 관점입니다.

제가 이 대목을 중요하게 보는 이유는, AI 스타트업을 볼 때 질문이 바뀌기 때문입니다. "어떤 모델을 쓰나요"보다 "고객사의 기억을 어떻게 쌓고 있나요"가 더 중요해집니다. 또 "한 번 붙이면 갈아타기 어려운 이유가 무엇인가요"라는 질문도 모델 성능이 아니라 데이터, 워크플로우, 권한, 감사 로그, 사람의 검토 지점에서 나올 수 있습니다.

Waymo 사례가 말하는 깊이의 문제

자료에는 Waymo 사례도 나옵니다. Nikesh는 Waymo가 수십억 달러 규모의 에지케이스(edge case, 드물지만 중요한 예외 상황) 학습이 필요했고, 단순히 모델을 바꾼다고 같은 성능을 내기 어렵다는 점을 depth(깊이)의 필요성으로 설명합니다.

이 비유는 기업용 AI에도 잘 맞습니다. 겉으로 보기에는 같은 업무 자동화처럼 보여도, 실제 현장에는 예외가 많습니다. 보안 경보 하나를 처리할 때도 이 경보가 어떤 시스템에서 왔는지, 과거에도 비슷한 패턴이 있었는지, 지금 패치하면 서비스 중단 위험은 없는지, 어떤 고객에게 영향을 주는지 봐야 합니다.

초심자에게 비유하면, 운전면허 필기시험을 잘 보는 것과 실제 도심에서 수년간 무사고로 운전하는 것은 다릅니다. AI 모델이 일반적인 답을 잘하는 것과, 특정 회사의 복잡한 예외 상황을 안전하게 처리하는 것도 다릅니다. Waymo 사례는 바로 이 차이를 설명하기 위한 예로 보입니다.

투자 관점에서는 이 깊이가 곧 진입장벽이 될 수 있습니다. 단순한 데모는 빠르게 복제될 수 있지만, 특정 산업의 예외 상황과 운영 데이터를 오랫동안 축적한 제품은 쉽게 복제되지 않을 가능성이 있습니다.

기업은 AI를 기존 워크플로우에 살짝 붙이는 방식으로는 부족합니다

Nikesh는 엔터프라이즈 AI 도입을 기존 업무 흐름의 작은 효율 개선으로만 보지 않습니다. 핵심은 워크플로우(업무 흐름)의 근본 재설계라고 봅니다.

이 말은 중요합니다. 많은 기업은 처음에 AI를 이메일 초안, 회의록 요약, 코드 보조처럼 현재 업무 위에 덧붙입니다. 물론 이것도 가치가 있습니다. 하지만 영상의 논지에 따르면, 큰 변화는 "사람이 하던 일을 AI가 조금 빠르게 도와준다"에서 끝나지 않습니다. 업무 순서, 책임 구조, 승인 흐름, 검증 방식 자체를 다시 설계해야 합니다.

예를 들어 보안 운영에서 AI가 취약점을 더 빨리 찾는다고 해도, 그 다음에는 패치 여부를 판단해야 합니다. 패치를 바로 적용하면 장애가 날 수 있고, 늦추면 공격 위험이 커질 수 있습니다. 그래서 샌드박싱(sandboxing, 격리된 환경에서 먼저 시험하는 것), 운영 검증, 사람의 최종 판단이 필요합니다.

Nikesh의 관점은 "AI가 모든 것을 대신한다"가 아니라, AI가 빠르게 찾고 정리하고 제안하되 기업은 그 결과를 운영 가능한 절차 안에 넣어야 한다는 쪽에 가깝습니다. 저는 이 대목이 기업용 AI 투자의 가장 현실적인 기준 중 하나라고 봅니다. 좋은 제품은 단지 답을 내는 것이 아니라, 그 답이 조직 안에서 안전하게 실행되도록 만들어야 합니다.

모든 직원을 교육하는 것보다, 먼저 적응하는 사람을 확보하는 문제가 큽니다

자료에 따르면 Nikesh는 조직 내 AI 전환에서 "모든 사람을 교육"하는 접근만으로는 부족하다고 봅니다. 그는 90%가 AI-savvy(AI를 능숙하게 이해하고 활용하는 상태)가 아니라고 평가합니다. 그래서 적응성이 높은 인력, 연구형과 실험형 인재, 기술 인력 확대가 필요하다는 메시지를 냅니다.

이 발언은 다소 불편하게 들릴 수 있지만, 기업의 실제 전환을 생각하면 현실적인 문제 제기입니다. AI 도구는 누구나 열 수 있지만, 잘 쓰는 사람과 그렇지 않은 사람의 생산성 차이는 커질 수 있습니다. 특히 좋은 질문을 만들고, 결과를 검증하고, 자동화 가능한 흐름을 찾아내는 사람은 조직 안에서 레버리지가 커집니다.

토큰 운영에 관한 발언도 이와 연결됩니다. 자료에 따르면 Nikesh는 AI 사용을 무조건 제한하기보다, 성과 기반으로 완화하는 모델을 제시합니다. 잘 쓰는 사람은 더 풀어주고, 과도하게 쓰는 사람은 제어하는 방식입니다. 가장 뛰어난 AI 사용자에게 지나친 제약을 걸면 오히려 생산성 손실이 날 수 있다는 관점입니다.

투자자 입장에서는 이 점도 체크포인트입니다. AI 회사뿐 아니라 AI를 도입하는 일반 기업을 볼 때도, 단순히 "전 직원에게 AI 계정을 줬다"는 말은 충분하지 않습니다. 누가 가장 잘 쓰는지 측정하는가. 좋은 사용법을 조직 전체로 확산하는가. 비용 통제와 생산성 극대화를 함께 설계했는가. 이런 질문이 더 중요합니다.

보안에서 AI는 가속기지만, 마지막 판단은 운영 맥락 안에 남습니다

영상의 후반부에서 보안은 중요한 축으로 다뤄집니다. 자료의 인용 중 하나는 "The real challenge is not on the offensive agent; it's in how quickly you can find what happened and get rid of it."입니다. 진짜 과제는 공격 에이전트 자체가 아니라, 무슨 일이 일어났는지 얼마나 빨리 찾아내고 제거하느냐에 있다는 뜻입니다.

이 관점은 사이버보안을 잘 모르는 사람에게도 직관적입니다. 집에 누가 침입할 수 있느냐도 중요하지만, 실제로 더 중요한 것은 침입을 얼마나 빨리 알아차리고, 어디로 들어왔고, 무엇을 건드렸고, 어떻게 다시 막을지 파악하는 일입니다.

자료에는 Claude Mythos가 "6년 걸릴 일을 6주 만에 찾는" 식의 변화로 언급됩니다. 다만 동시에 Nikesh는 Mythos를 완결된 대체재라기보다 가속기로 보는 것 같습니다. 취약점 탐지는 빨라질 수 있지만, 패치, 평가, 샌드박싱, 운영 검증이 필요하기 때문입니다.

이 대목에서 "AI applications will have opinions."라는 인용도 중요합니다. AI 애플리케이션은 의견을 갖게 된다는 말입니다. 기업용 AI가 단순히 정보를 보여주는 도구에서 벗어나 "이렇게 해야 한다"고 제안하는 방향으로 간다면, 그 의견의 근거와 책임 구조가 중요해집니다. 특히 보안에서는 잘못된 의견이 서비스 중단이나 보안 사고로 이어질 수 있습니다.

그래서 보안 AI의 경쟁력은 단순히 더 많은 취약점을 찾는 데만 있지 않을 수 있습니다. 오탑을 줄이고, 사람의 개입 지점을 잘 설계하고, 감사 가능한 로그를 남기고, 게이트웨이(gateway, 통제 관문)로 에이전트 트래픽을 관리하는 역량이 중요해질 가능성이 높습니다.

정부 개입과 중국 오픈소스 모델 논점도, 핵심은 통제와 검증입니다

영상 설명의 타임스탬프에는 "Should Governments Intervene on AI? A Discovery Process"와 "Are Chinese Open Source Models a Real Security Threat?"도 포함되어 있습니다. 제공된 자료 안에서는 이 부분의 상세 발언이 충분히 길게 제시되지는 않았기 때문에, 구체적 결론을 단정하기는 어렵습니다.

다만 전체 흐름을 보면 Nikesh의 관점은 일관됩니다. AI는 강력한 도구가 되지만, 기업과 사회가 그대로 믿고 맡기기는 어렵습니다. 통제, 검증, 책임, 운영 맥락이 필요합니다. 정부 개입이나 오픈소스 모델의 보안 문제도 결국 같은 질문으로 이어질 가능성이 높습니다. 무엇을 허용할 것인가. 어떤 환경에서 검증할 것인가. 어떤 데이터와 시스템에 접근하게 할 것인가.

이 부분은 투자자에게도 중요한 리스크입니다. AI 인프라와 보안 제품은 기술 성능만으로 선택되지 않습니다. 고객은 규제, 데이터 위치, 모델 출처, 접근 통제, 감사 가능성을 함께 봅니다. 특히 엔터프라이즈 시장에서는 이런 요소가 영업 사이클과 도입 속도에 직접 영향을 줄 수 있습니다.

SaaS 매도와 AI 전환을 볼 때, 기존 소프트웨어의 방어력도 다시 봐야 합니다

영상 설명에는 "Is the SaaS Sell-Off Justified?"라는 구간도 있습니다. 자료의 상세 트랜스크립트가 이 부분을 충분히 제공하지는 않기 때문에 구체적인 시장 판단을 확정적으로 쓰기는 어렵습니다.

다만 Nikesh의 전체 논지를 바탕으로 보면, AI 시대의 SaaS(서비스형 소프트웨어) 회사를 볼 때 질문은 단순히 "AI 때문에 대체될까"가 아닙니다. 더 중요한 질문은 이 회사가 고객의 업무 맥락과 데이터를 얼마나 깊이 잡고 있는가입니다.

업무의 표면만 자동화하는 소프트웨어는 AI 기능이 들어오면서 가격 압박을 받을 수 있습니다. 반대로 고객의 핵심 워크플로우, 승인 구조, 데이터 기록, 보안 통제, 감사 로그를 깊게 붙잡고 있는 소프트웨어는 AI를 흡수해 더 강해질 수 있습니다.

그래서 저는 AI 시대의 SaaS를 볼 때 두 가지를 나눠 보려고 합니다. 하나는 기능 단위로 쉽게 대체될 수 있는 제품입니다. 다른 하나는 고객의 운영 기억을 쌓아가며, AI가 들어올수록 더 많은 맥락을 갖게 되는 제품입니다. 자료 속 "메모리가 해자"라는 표현은 후자를 설명하는 좋은 렌즈입니다.

투자자 관점의 체크리스트: 모델보다 맥락, 데모보다 운영

이 영상을 보고 제가 정리한 투자 관점의 질문은 다음과 같습니다.

첫째, 이 회사는 모델 성능만 팔고 있는가, 아니면 고객의 고유한 맥락을 축적하고 있는가. 범용 모델 호출만으로 되는 제품은 장기 차별화가 약할 수 있습니다. 반대로 고객사의 데이터, 예외 처리, 정책, 검증 흐름이 쌓이는 제품은 시간이 갈수록 강해질 수 있습니다.

둘째, 오탑과 책임 구조를 어떻게 다루는가. 특히 보안, 금융, 의료, 법무, 인프라 영역에서는 "대충 맞는 답"이 충분하지 않습니다. 제품이 틀렸을 때 사람이 어디서 개입하는지, 로그가 남는지, 재현 가능한지 봐야 합니다.

셋째, 토큰 비용 구조가 지속 가능한가. Nikesh는 장기 토큰 가격이 현재의 10분의 1 수준이어야 한다고 보지만, 그 전까지는 비용 압박이 남을 수 있습니다. 사용량이 늘수록 손실도 늘어나는 제품인지, 아니면 메모리와 캐시와 워크플로우 설계로 비용 효율을 높일 수 있는지 봐야 합니다.

넷째, AI 도입이 기존 업무에 기능을 덧붙이는 수준인지, 워크플로우를 다시 설계하는 수준인지 봐야 합니다. 진짜 생산성 변화는 후자에서 나올 가능성이 높습니다.

다섯째, 조직 안의 AI 고숙련 사용자를 어떻게 활용하는지 봐야 합니다. 모든 사람에게 동일한 사용 한도를 주는 방식보다, 잘 쓰는 사람에게 더 큰 권한을 주고 비용과 성과를 함께 관리하는 방식이 더 현실적일 수 있습니다.

기업용 AI의 승부처는 "얼마나 많이 아는가"보다 "어디까지 믿고 맡길 수 있는가"입니다

이 인터뷰의 메시지를 한 문장으로 줄이면, 기업용 AI의 핵심은 모델 자체보다 메모리, 맥락, 비용, 통제, 사람의 판단을 함께 설계하는 데 있습니다.

소비자 AI에서는 빠르고 넓은 답이 큰 가치를 만들 수 있습니다. 하지만 기업에서는 답을 내는 것만으로 부족합니다. 그 답이 회사의 맥락에 맞는지, 틀렸을 때 비용이 얼마인지, 누가 검증하는지, 실제 운영에 어떻게 연결되는지가 중요합니다.

그래서 저는 이 영상을 AI 투자에서 균형감 있는 참고 자료로 봅니다. 한쪽에는 토큰 가격 하락과 모델 발전이 여는 큰 기회가 있습니다. 다른 한쪽에는 오탑, 비용, 보안, 조직 전환이라는 무거운 현실이 있습니다.

공개된 자료 기준으로는, Nikesh Arora의 관점은 AI 비관론이 아니라 운영 중심의 현실주의에 가깝습니다. AI는 분명히 강력한 가속기입니다. 다만 기업에서 오래 남는 가치는 그 가속기를 회사의 기억과 판단 체계 안에 얼마나 안전하게 넣느냐에서 갈릴 가능성이 높다고 봅니다.