봇이 사람을 앞지른 웹, 다음은 '에이전트용 검색'입니다: 기술 요소와 스타트업 지도

먼저 한 가지를 정확히 짚고 시작하겠습니다. "AI 에이전트 트래픽이 사람을 추월했다"는 말은 조금 과장입니다. 정확히 말하면, 봇(자동화) 트래픽 전체가 사람 트래픽을 넘어섰고, 그 흐름을 빠르게 밀어 올리는 엔진이 AI 에이전트입니다. 오늘은 이 변화가 왜 '에이전트가 쓰는 검색'이라는 새 수요를 만드는지, 그리고 그 수요에 대응하는 기술 요소와 스타트업이 어디에 있는지를 리서치를 바탕으로 정리해 보려 합니다. 처음 보시는 분도 따라오실 수 있게 풀겠습니다.

먼저, 무슨 일이 일어났나

보안 기업 임퍼바(Imperva)의 연례 보고서에 따르면, 2024년 데이터 기준으로 자동화된 봇 트래픽이 전체 웹 트래픽의 약 51%를 차지해, 10여 년 만에 처음으로 사람 트래픽(49%)을 넘어섰습니다(Imperva 2025 Bad Bot Report). 여기서 봇은 검색엔진 크롤러 같은 좋은 봇과 스크래퍼 같은 나쁜 봇을 모두 포함합니다.

더 최근 수치도 있습니다. 클라우드플레어(Cloudflare) CEO는 2026년 6월, 자사가 보는 HTML 웹 요청의 57.5%가 봇이고 사람은 42.5%라고 밝혔습니다. 다만 여기에는 단서가 붙습니다. 이건 HTML 요청만 센 것이고, 영상 스트리밍이나 앱, 소셜까지 포함한 전체 인터넷으로 보면 사람이 여전히 다수입니다. 그는 이 역전이 원래 예상보다 18개월 앞당겨졌고, 그 원인으로 에이전트형 AI를 지목했습니다.

에이전트의 몫만 떼어 보면 증가 속도가 더 극적입니다. 한 보안 기업(휴먼 시큐리티)의 집계로는, AI 에이전트와 에이전트형 브라우저의 트래픽이 1년 새 약 78배(7,851%) 늘었습니다. 클라우드플레어 기준으로 OpenAI의 크롤러(GPTBot)는 1년에 약 305% 증가했습니다. 요컨대 "봇이 사람을 넘어선" 사건의 배경에는, 빠르게 불어나는 AI 에이전트가 있습니다.

그런데 이 트래픽에는 한 가지 불균형이 있습니다. 받아 가기만 하고 돌려주는 게 거의 없다는 점입니다. 클라우드플레어 분석에서 앤스로픽의 크롤러는 한때 페이지를 50만 번 긁어 갈 때 사람 방문을 단 1번 돌려보내는 수준(약 50만 대 1)이었습니다. 그래서 클라우드플레어는 2025년 7월부터 신규 도메인에 대해 AI 크롤러를 기본 차단하고, 크롤 한 건당 값을 매기는 방식을 도입했습니다. 다섯 달 만에 차단한 AI 봇 요청이 4,160억 건에 이릅니다(Cloudflare).

에이전트는 사람과 다르게 웹을 쓴다

이 변화가 왜 새로운 수요를 만드는지는, 에이전트가 웹을 쓰는 방식을 보면 분명해집니다. 클라우드플레어 CEO의 비유가 직관적입니다. 사람이 디지털 카메라를 한 대 사려고 웹을 쓰면 대여섯 개 사이트를 둘러봅니다. 그런데 에이전트는 같은 일을 하면서 수천 개 페이지를 훑습니다. 사람보다 수백, 수천 배 많이 웹을 읽는 셈입니다.

더 중요한 건 '어떻게' 읽느냐입니다. 사람은 브라우저로 페이지를 열어 광고와 메뉴 사이에서 필요한 부분을 눈으로 골라냅니다. 에이전트에게 그런 화면은 오히려 방해입니다. 에이전트가 원하는 건 광고와 메뉴를 걷어낸 깨끗한 텍스트, 출처가 분명한 인용, 그리고 그 결과를 곧바로 모델에 넣을 수 있는 정돈된 형태입니다. 사람을 위해 만들어진 검색엔진과 웹 페이지는 이 일에 잘 맞지 않습니다.

여기에 현실적인 사건이 하나 더 겹쳤습니다. 오랫동안 개발자들이 기대 온 마이크로소프트의 빙(Bing) 검색 API가 2025년 8월에 종료됐습니다. 에이전트에 웹을 물려주려던 개발자들이 한꺼번에 대안을 찾아 나섰고, 이게 '에이전트용 검색'이라는 시장에 불을 댕겼습니다.

그래서 무엇이 필요한가: 에이전트용 검색의 기술 요소

에이전트에 맞는 검색은 사람용 검색과 요구 조건이 다릅니다. 리서치를 종합하면 대략 이런 요소들이 핵심입니다.

첫째, 정돈된 형태의 결과입니다. 링크 목록이 아니라, 광고와 군더더기를 걷어낸 깨끗한 텍스트(흔히 마크다운 형식)로 돌려주는 것입니다. 둘째, 신선함입니다. 에이전트의 환각(없는 사실을 지어내는 것)은 오래된 정보에서 자주 나오므로, 실시간에 가까운 색인이 중요합니다. 셋째, 인용입니다. 답에 출처를 함께 달아 주면, 모델이 주장을 검증된 자료에 붙들어 매 환각을 줄일 수 있습니다. 넷째, 대량·저비용·낮은 지연입니다. 에이전트는 분당 수백, 수천 번씩 검색을 던지므로 값과 속도가 곧 제품 경쟁력입니다. 다섯째, 여러 단계를 잇는 깊은 검색입니다. 복잡한 질문은 한 번의 검색으로 끝나지 않고, 질문을 쪼개고 다시 찾고 빈틈을 메우는 과정을 반복해야 합니다.

마지막으로 구조적으로 가장 큰 갈림길은 자체 색인 보유 여부입니다. 구글이나 빙의 결과를 빌려다 쓰는 것이 아니라, 직접 웹을 긁어 자기만의 색인을 만든 회사는 남에게 휘둘리지 않고 품질과 비용을 스스로 통제할 수 있습니다. 이게 뒤에서 볼 스타트업들의 등급을 가르는 핵심 기준입니다.

누가 만들고 있나: 스타트업 지도

가장 앞선 자리에는 자체 색인을 가진 에이전트 전용 검색 회사들이 있습니다. 대표가 Exa(엑사, 옛 이름 Metaphor)입니다. 키워드가 아니라 의미로 웹을 검색하는 API를 만들고, 직접 웹을 긁어 자기 색인을 둡니다. 보도에 따르면 2026년 5월 안드리센 호로위츠(a16z)가 이끈 라운드에서 약 22억 달러 가치를 인정받았습니다(Bloomberg). 또 한 곳은 Parallel(패럴렐)입니다. 트위터 CEO를 지낸 파라그 아그라왈이 창업했고, 에이전트를 위한 웹 인프라를 표방합니다. 2026년 4월 세쿼이아가 이끈 라운드에서 약 20억 달러 가치를 인정받았다고 보도됐습니다(TechCrunch). 검색과 모델을 함께 묶은 퍼플렉시티(Perplexity)의 Sonar API도 한 축입니다. 한 번의 호출로 검색, 정리, 인용까지 끝내 줍니다.

그다음 층에는 에이전트용 검색 API에 집중한 회사들이 있습니다. RAG(검색해서 찾은 자료를 답에 붙여 주는 방식)와 에이전트에 특화한 Tavily(타빌리)는 2025년 8월 250억 원 안팎의 투자를 받았고, 인기 개발 도구의 기본 검색으로 들어가 있습니다. 프리미엄 자료까지 함께 검색해 주는 파리의 Linkup(링크업), 소비자 검색에서 기업용 인프라로 방향을 튼 You.com 등이 같은 자리를 두고 경쟁합니다. 구글·빙 색인에 기대지 않는 독립 색인을 가진 Brave(브레이브) 검색 API도 여기에 더할 수 있습니다.

한국에도 이 흐름에 정면으로 올라탄 회사가 있습니다. 라이너(Liner)입니다. 원래 웹 형광펜 도구로 시작했다가 AI 답변·검색 엔진으로 방향을 튼 회사인데, 지금은 개발자와 에이전트가 쓸 수 있는 검색 API를 공개해 두고 있습니다. 공개된 개발자 문서를 보면 빠른 답변(Quick Answer), 검색에 정리를 더한 답변(Search Agent), 여러 단계를 잇는 깊은 리서치(Deep Research Agent)처럼 쓰임에 따라 나뉜 API들을 제공합니다.

라이너가 앞세우는 건 가격과 정확도입니다. 라이너가 자사 개발자 문서에 직접 올린 비교표 기준으로, 웹 검색은 1,000건당 1달러(같은 표의 퍼플렉시티 비교치는 5달러), 딥리서치는 1,000건당 200달러(비교치 1,320달러) 수준으로 가격을 공격적으로 가져갑니다. 정확도에 대해서도 라이너는 자체 테스트를 근거로, 사실 질의 평가(SimpleQA)에서 가장 정확하다고 주장합니다. 다만 이 수치는 라이너가 내부적으로 측정한 값이고 독립적인 제3자 검증은 아직 공개되지 않았다는 점은 함께 봐야 합니다. 공개된 지표로는 220여 개국에서 누적 사용자 1,300만 명을 넘겼고, 2026년 패스트컴퍼니가 꼽은 혁신 기업 교육 부문 2위에 이름을 올렸습니다.

라이너가 공식 페이지에 올린 가격 비교표는 이렇습니다.

투명하게 밝히면, 라이너는 제가 속한 인터베스트가 투자한 포트폴리오 회사입니다. 공개 보도 기준으로 2024년 10월 시리즈 B 라운드를 인터베스트 등이 함께 이끌었습니다. 그래서 이 글에는 회사가 공개한 자료와 공개 보도에 근거한 내용만 담았고, 비공개 자료의 수치는 쓰지 않았습니다.

세 번째 층은 웹 페이지를 에이전트가 먹기 좋은 형태로 바꿔 주는 수집·변환 쪽입니다. 아무 웹 페이지나 깨끗한 마크다운으로 바꿔 주는 Firecrawl(파이어크롤)이 대표인데, 오픈소스로 공개돼 개발자 수십만 명이 씁니다. URL 앞에 주소를 덧붙이면 페이지를 텍스트로 바꿔 주는 Jina(지나)는 2025년 10월 검색 기업 일래스틱(Elastic)에 인수됐습니다. 대규모 수집의 바탕이 되는 프록시 인프라 기업 Bright Data(브라이트 데이터)도 에이전트용 도구로 영역을 넓히고 있습니다. 한편 구글 검색 결과를 그대로 받아 오는 Serper, SerpAPI 같은 프록시도 있지만, 이는 검색사의 약관과 부딪힐 소지가 있어 한계가 분명합니다.

큰 플랫폼들의 움직임도 빼놓을 수 없습니다. OpenAI는 자사 API에 웹 검색 도구를 넣었고, 앞서 이 블로그에서 다룬 것처럼 평가·보안 도구 promptfoo를 품었습니다. 앤스로픽은 웹 검색 도구와 함께, 에이전트가 외부 도구에 붙는 표준인 MCP를 통해 Brave나 Tavily 같은 외부 검색을 갈아 끼울 수 있게 했습니다. 구글은 제미나이(Gemini) API에서만 자사 검색에 붙을 수 있게 열어 두었는데, 이는 거꾸로 다른 진영이 독립 색인 쪽으로 빠져나가게 만드는 빌미가 되기도 합니다. 마이크로소프트는 빙 API를 닫는 대신, 웹사이트가 에이전트에 말을 거는 표준(NLWeb)을 내놓았습니다.

지난 2년 사이 Exa와 Parallel이 사실상 무에서 20억 달러대 가치까지 올라온 속도는, 이 시장에 자본이 얼마나 빠르게 몰리는지 보여 줍니다.

검색 위아래로 깔리는 두 층: 표준과 경제

검색·수집 API만으로는 그림이 완성되지 않습니다. 그 위와 아래로 두 개의 층이 함께 깔리고 있습니다.

위쪽은 표준과 연결입니다. 핵심은 앤스로픽이 2024년 11월 공개한 MCP(Model Context Protocol)입니다. 에이전트가 검색·도구·데이터에 일관된 방식으로 붙도록 해 주는 규약인데, 1년여 만에 공개 서버가 1만 개를 넘고 주요 회사들이 모두 지지하는 사실상의 표준이 됐습니다. 2025년 말에는 중립적인 리눅스 재단으로 운영이 넘어갔습니다. 그 밖에 사이트가 "내 핵심 콘텐츠는 이것"이라고 LLM에 알려 주는 llms.txt 같은 제안도 있지만, 이건 아직 커뮤니티 관행에 가깝고 구글은 지원하지 않겠다고 밝힌 상태라 자리 잡기까지는 지켜봐야 합니다. 마이크로소프트의 NLWeb은 웹사이트 자체를 에이전트가 대화로 질문할 수 있는 창구로 바꾸려는 초기 시도입니다.

아래쪽은 접근과 정산, 곧 돈 문제입니다. 에이전트가 콘텐츠를 대량으로 긁어 가는데 퍼블리셔는 광고도 못 붙이고 보상도 못 받는다면, 결국 문을 닫아걸게 됩니다. 그래서 새로운 정산 층이 생기고 있습니다. 클라우드플레어는 크롤 한 건당 값을 매기는 장치와, 봇이 자신이 누구인지 암호로 증명하는 인증(Web Bot Auth) 방식을 밀고 있습니다. 콘텐츠에 기계가 읽을 수 있는 사용 조건을 붙이는 RSL이라는 표준도 2025년 9월 나왔습니다. AI가 콘텐츠를 쓴 만큼 퍼블리셔에 나눠 주는 TollBit, ProRata 같은 스타트업도 등장했습니다. ProRata는 500곳이 넘는 퍼블리셔와 손잡고 시리즈 B까지 마쳤습니다. OpenAI가 여러 언론사와 직접 콘텐츠 이용 계약을 맺어 온 것도 같은 맥락입니다.

정리하면, '에이전트용 검색'은 단순한 검색 API 하나가 아니라, 위로는 연결 표준, 아래로는 접근·정산이 함께 깔리는 한 묶음의 층입니다.

투자자·창업자라면 어디를 보나

저는 이 지형을 세 군데로 나눠 봅니다.

첫째는 자체 색인을 가진 인프라입니다. 직접 웹을 긁어 자기 색인을 만드는 일은 돈과 시간이 많이 들지만, 한번 만들어 두면 쉽게 따라잡히지 않습니다. Exa와 Parallel에 큰 자본이 몰리는 건 이 해자 때문이라고 봅니다. 반대로 남의 검색 결과를 빌려다 파는 곳은 빠르게 시작할 수 있지만, 원천이 값을 올리거나 문을 닫으면 흔들립니다.

둘째는 연결과 접근의 표준 층입니다. MCP처럼 모두가 따르는 규약, 그리고 봇 인증·크롤 정산 같은 장치는, 한번 표준이 되면 그 위에서 오래 돈이 흐릅니다. 검색 회사 한 곳을 고르는 것보다, 이 층이 어떻게 굳어지는지를 보는 게 더 큰 그림일 수 있습니다.

셋째는 콘텐츠 정산이라는 새 시장입니다. 에이전트는 콘텐츠가 필요하고, 퍼블리셔는 보상이 필요합니다. 이 둘을 잇는 통행료 장치는 이제 막 생기는 시장입니다. 아직 초기지만, 웹의 돈 흐름을 다시 짜는 일이라 눈여겨볼 가치가 있다고 생각합니다.

창업자에게도 메시지는 분명합니다. 에이전트 제품을 만든다면, 어떤 검색에 기댈지를 모델 고르듯 신중히 정해야 합니다. 자체 색인을 가진 곳인지, 결과가 정돈돼 있고 출처가 붙는지, 대량으로 써도 값과 속도가 버틸 만한지를 따져야 합니다. 그리고 이 선택은 앞서 다룬 평가·검증과도 이어집니다. 좋은 검색은 환각을 줄이고, 그 줄어든 환각은 평가에서 숫자로 드러납니다.

한 줄 요약

봇이 사람을 앞지른 웹의 진짜 동력은 AI 에이전트이고, 에이전트는 사람과 다른 방식으로 웹을 읽습니다. 그래서 정돈된 결과, 신선함, 인용, 대량 처리를 갖춘 '에이전트용 검색'의 수요가 빠르게 커지고, 자체 색인을 가진 Exa·Parallel 같은 회사에 큰 자본이 몰립니다. 그 위아래로는 연결 표준(MCP 등)과 접근·정산(크롤 과금·라이선싱) 층이 함께 깔리고 있습니다. 제가 가져가는 한 가지는 이렇습니다. 웹은 지금 사람을 위한 곳에서 에이전트도 함께 쓰는 곳으로 다시 지어지고 있고, 그 새 배관을 깐 회사들이 다음 한 자리를 차지할 가능성이 높습니다.

(이 글은 특정 종목이나 투자에 대한 권유가 아니라, 제 관점을 담은 정보 공유 차원의 글입니다. 인용한 수치와 투자 정보는 공개 보도를 바탕으로 했으며, 일부는 회사·기관의 자체 발표일 수 있습니다.)