한국형 에이전트의 다음 병목은 앱이 아니라 '훈련장'입니다: RL 환경·평가 인프라를 투자자의 눈으로

요즘 한국에서 AI 에이전트 이야기는 대체로 "업무 자동화 앱"에 머물러 있습니다. 그런데 해외에서 돈이 움직이는 곳을 보면 한 층 위로 올라가 있습니다. 에이전트가 잘 도는 앱이 아니라, 에이전트가 반복해서 실패하고 교정되는 훈련장, 그 성공과 실패를 판정하는 채점기, 그리고 그 과정에서 쌓이는 행동 기록(trace) 쪽입니다. 오늘은 이 변화를 정리하고, 한국형 기회가 어디에 있는지를 한 편의 한국어 벤치마크 논문과 함께 투자자의 눈으로 적어 보려 합니다.

먼저 두 가지를 분명히 해 두겠습니다. 본문에 나오는 일부 큰 숫자는 공식 확정값이 아니라 보도 기준입니다. 특히 앤스로픽이 훈련 환경에 연 10억 달러 이상을 논의했다는 이야기는, 한 매체 보도를 다른 매체들이 재인용한 것으로 실제 집행이 확인된 값이 아닙니다. 그래서 단정하지 않고 "논의 보도" 수준으로만 다루겠습니다.

병목이 '앱'에서 '훈련장'으로

지난 몇 년간 AI 평가의 무게중심은 세 단계로 옮겨 왔습니다.

1단계는 정적 시험이었습니다. 모델이 답을 아는지 보는 평가(예: 수학·상식 문제)가 중심이었습니다. 2단계는 도구 사용 시험입니다. 모델이 웹, 운영체제, 기업 소프트웨어를 실제로 조작할 수 있는지 보는 것입니다. 여기서 격차가 드러났습니다. 실제 웹 환경을 본뜬 한 벤치마크에서 당시 최고 에이전트도 끝까지 성공한 비율이 14%대였고 사람은 78%대였습니다. 컴퓨터 작업을 다룬 다른 벤치마크에서도 최고 모델 12%대, 사람 72%대로 큰 차이가 났습니다.

지금이 3단계, 곧 RL 환경입니다. 여기서 벤치마크는 단순한 평가표가 아니라 훈련 데이터를 만들어 내는 장치가 됩니다. 강화학습(RL, 시도와 보상으로 모델을 개선하는 학습)에서는 모델이 과제와 행동 공간을 받고, 채점기(grader)가 점수를 매기며, 그 점수가 모델을 업데이트하는 데 쓰입니다. 실패한 시도 경로가 다음 학습 데이터로 바뀌는 것입니다. Epoch AI의 정리에 따르면, 이 흐름의 주요 성장 영역은 코딩이 아니라 기업 업무(보고서 작성, 스프레드시트 조작, 사내 소프트웨어 탐색 같은 것)이고, 핵심 난제는 보상 해킹(모델이 채점기를 속이는 것) 방지와 과제 품질을 키우는 일입니다.

여기서 중요한 통찰이 있습니다. 가치의 중심이 "정답 텍스트"에서 상호작용 기록으로 옮겨 간다는 점입니다. 어떤 화면에서 어떤 행동을 했고, 왜 실패했으며, 무엇이 성공 조건인지가 핵심 자산이 됩니다. 그래서 이건 "데이터 라벨링 2.0"이라기보다 새로운 인프라 층에 가깝습니다.

실리콘밸리는 이미 베팅하고 있다

이 방향으로 돈이 움직이는 신호는 또렷합니다. TechCrunch 보도에 따르면 대형 AI 연구소들이 RL 환경 수요를 키우고 있고, 여러 스타트업이 이 방향으로 움직입니다.

확인되는 자금 흐름을 정리하면 이렇습니다. 환경 인프라를 만드는 HUD는 RL 훈련 데이터·평가 인프라로 1,500만 달러를 조달했습니다(YC W25). 오픈 RL 인프라를 표방하는 Prime Intellect는 파운더스 펀드가 이끈 1,500만 달러를 포함해 누적 2,000만 달러 이상을 모았습니다. 전문가가 업무를 평가로 바꾸도록 연결하는 Mercor는 3.5억 달러 시리즈 C로 기업가치 100억 달러를 인정받았습니다. 고품질 데이터 쪽인 Surge는 보도 기준 연매출 10억 달러를 넘겼다고 전해집니다(다만 감사 재무제표가 아니라 보도 수치입니다). 앞서 말한 앤스로픽 10억 달러 논의도 이 흐름의 한 신호이되, 실제 집행은 확인되지 않았습니다.

층위로 보면 시장은 이렇게 나뉩니다. 연구소 내부의 비공개 환경, 그 위에서 SDK와 샌드박스·채점기·보상해킹 검수를 파는 환경 인프라 플랫폼(HUD가 대표적입니다), 전문가가 업무 판단을 제공하는 평가 마켓플레이스(Mercor), 고품질 인간 데이터 벤더(Surge), 그리고 오픈 RL 인프라와 컴퓨트(Prime Intellect)입니다. 공통점은 단순 라벨링이 아니라 "환경에서 에이전트가 실제로 행동하고 채점되는" 상호작용 데이터를 자산으로 쌓는다는 것입니다.

한국의 병목: K-BrowseComp가 보여준 것

그럼 한국은 어떨까요. 2026년 6월 공개된 프리프린트 K-BrowseComp가 좋은 단서를 줍니다. 중앙대, KAIST, 서울대, OnelineAI, NAVER Cloud AI, 카네기멜런대 연구진이 한국 맥락의 웹 브라우징 에이전트 벤치마크를 제안한 것으로, 400문항 중 300문항은 한국어 원어민이 직접 검증한 문제입니다.

검증 300문항 결과가 인상적입니다. 프런티어 모델조차 절반을 넘기지 못했고, 한국 공개 모델은 한 자릿수에 머물렀습니다.

다만 단서를 분명히 답니다. 이 논문은 동료평가 전 프리프린트이고, 모든 모델을 동일한 외부 검색 파이프라인에서 한 번씩만(pass@1) 평가했으며, 총 API 비용이 약 320달러로 아직 초기 실험 규모입니다. 그래서 절대 수치 자체보다 격차의 방향과 실패 양상을 읽는 게 맞습니다.

핵심은 "한국 모델이 약하다"가 아닙니다. 더 정확히는, 한국 웹에서 업무를 끝까지 수행하는 데 필요한 행동 능력이 아직 제품화·훈련화되지 않았다는 뜻입니다. 논문이 꼽은 실패 양상은 검색 방향 실패, 어려운 페이지 구조 접근 실패, 여러 출처를 오가며 단서를 잇는 데 실패, 표·공시·랭킹·기관 페이지 파싱 실패, 희소한 고유명사 정규화 실패, 조건 추적 실패 등입니다. 원인을 "한국어 부족" 하나로 단정하면 과합니다. 여러 병목이 겹친 결과입니다.

실패 모드가 곧 제품 명세다

투자 관점에서 이 실패 양상들은 그대로 제품 명세가 됩니다.

실패 양상	한국형 RL 환경 기회
검색·접근 구조 실패	정부24·홈택스·대법원·심평원·DART 등 기관 사이트 탐색 환경
반정형 파싱 실패	표·공시·입찰·가격표·병원 수가·정책자료 파싱 채점기
고유명사 정규화 실패	한국식 법인명·상호·줄임말·동명이인·행정구역 별칭 해소기
조건 추적 실패	"조건 다섯 개를 모두 만족하는 후보"를 찾는 다단계 업무
출처 넘나들기 실패	네이버·카카오·공공DB·기관 PDF·쇼핑몰 상세 사이 근거 사슬 유지

한국의 공공·금융·병원·부동산·세무·법률 업무는 로그인, 본인인증, 팝업, 한글 표, HWP·PDF, 행정용어, 비표준 UI, 네이버 중심 검색, 기관별 데이터 구조가 뒤섞여 있습니다. 글로벌 벤치마크와 구조가 다르고, 그래서 글로벌 모델이 그대로 잘하기 어렵습니다. 한국형 기회가 "한국어 LLM"이 아니라 한국 업무 행동 데이터(trajectory)라고 보는 이유입니다.

투자 가능한 형태

제가 보기에 매력적인 형태는 네 가지입니다.

첫째, 공개 벤치마크·환경 회사입니다. 한국 웹 탐색과 기관 사이트, 기관 PDF, 네이버 검색 구조를 대상으로 K-BrowseComp 같은 공개 과제부터 시작합니다. 개인정보 위험이 낮고 공개 순위표를 빠르게 만들 수 있다는 장점이 있지만, 직접 매출화는 느릴 수 있습니다.

둘째, 가상 기업 환경 회사입니다. 실제 기업 데이터를 쓰지 않고 합성된 CRM·ERP·회계·HR·CS·전자결재 환경을 만들어 에이전트가 반복 훈련하게 합니다. 보안 위험을 낮추면서 기업 에이전트 벤더와 대기업 AI 전환 조직을 고객으로 삼을 수 있습니다.

셋째, 버티컬 RL 환경 회사입니다. 세무·법무·병원·쇼핑몰·부동산·B2B 영업 중 하나를 깊게 팝니다. 성공 조건이 비교적 명확하고 전문가 기준의 가치가 높으며 실수 비용이 커서 평가 수요가 강한 세무·법무·병원이 특히 유력합니다.

넷째, 전문가 채점 마켓플레이스입니다. 변호사·세무사·의사·회계사·심사역 같은 전문가가 과제와 기준(rubric)을 만들고, 모델 회사와 기업이 이를 사는 구조입니다. 단순 인력 중개가 아니라 "업무를 평가로 코드화하는" 시장이어야 합니다. 한국형 Mercor라 부를 만합니다.

경제성도 참고가 됩니다. Epoch AI 인터뷰 기준으로 환경 구축 비용은 충실도에 따라 크게 달라, 웹사이트 복제는 약 2만 달러, 복잡한 제품 복제는 30만 달러 수준까지 언급됩니다. 과제 단가는 대략 200~2,000달러이고, 독점 거래는 비독점 대비 4~5배 비싸다는 이야기도 있습니다. 한국 시장에 숫자를 그대로 대입할 수는 없지만, 방향은 분명합니다. 단순 라벨링보다 채점기와 전문가 검수가 붙은 과제가 훨씬 비싸게 팔립니다.

무엇을 보고 투자할까: DD 체크리스트

이 분야는 매출보다 자산의 질을 먼저 봐야 합니다.

항목	좋은 신호	나쁜 신호
과제 품질	과제마다 성공 조건·정답 상태·예외·근거 경로가 명확	"대충 LLM이 채점"
재현 가능한 환경	실행 후 동일 초기 상태로 복원 가능	실제 사이트 스크래핑에만 의존
채점기 견고성	오탐·미탐 감사 체계 존재	정답 문자열 매칭만
보상 해킹 방지	모델이 채점기를 속인 사례를 수집·차단	성공률만 높게 제시
모델 개선 증거	특정 모델의 학습 전후 성능 향상 제시	벤치마크 점수만 제시
데이터 권리	약관·개인정보·저작권 처리 명확	고객 데이터 무단 재사용 소지
판매처	연구소·벤더·기업 중 명확한 구매자	"모든 산업에 필요"식 주장
전문가 루프	전문가가 과제·기준을 지속 개선	개발자만 만든 합성 과제

핵심 질문은 "앱이 있느냐"가 아니라 모델이 여기서 수천에서 수백만 번 실패하고 개선될 수 있느냐입니다.

가장 좋은 초기 wedge와 결론

제 판단으로 1순위 출발점은 한국 공공·세무·법무 웹 업무 환경입니다. 한국적 복잡성이 강해 글로벌 모델이 그대로 잘하기 어렵고, 서류 제출·금액 계산·요건 충족·판례 검색처럼 성공 판정이 비교적 명확하며, 세무법인·로펌·병원·대기업처럼 오류 비용이 큰 구매자가 있고, 정부·공공 사이트 중심 과제는 공개 데이터로 시작해 개인정보 위험을 낮출 수 있기 때문입니다.

다만 홈택스·정부24·심평원 같은 실제 사이트를 그대로 자동 조작하는 것은 약관·보안·개인정보 문제를 부릅니다. 그래서 초기 제품은 실제 사이트 복제가 아니라 합성 미러 환경과 공개 근거 과제, 그리고 전문가 채점기의 조합으로 가는 편이 안전합니다.

앞선 글들에서 저는 에이전트가 쓰는 검색 인프라, 그리고 평가(eval)가 신뢰의 문턱이 되는 흐름을 다뤘습니다. 오늘 이야기는 그 연장선에 있습니다. 좋은 검색과 좋은 평가가 중요해질수록, 그 평가와 훈련이 이뤄지는 환경 자체가 희소한 자산이 됩니다.

정리하면 이렇습니다. 한국에서 버티컬 에이전트 앱은 많이 나올 것입니다. 하지만 대부분은 모델 성능이 좋아질수록 흔해질 가능성이 큽니다. 반대로 한국 업무를 모델이 반복해서 실패하고 교정할 수 있게 만드는 환경·채점기·실패 데이터 회사는 더 희소합니다. 그래서 제 결론은 분명합니다. 한국형 에이전트 인프라의 다음 기회는 앱이 아니라, 한국 업무용 RL 환경·평가·trace 데이터입니다. 다음 행동은 세무·법무·병원·정부 사이트·쇼핑몰·B2B 영업 중 한 곳을 잡아, 과제 300개와 채점기, 그리고 실패 trace를 만드는 팀을 찾는 것입니다.

(이 글은 공개 보도와 한 편의 프리프린트를 바탕으로 제 관점을 더해 정리한 것으로, 특정 종목이나 투자 권유가 아닌 정보 공유 차원의 글입니다. 인용한 수치 중 앤스로픽 10억 달러와 Surge 매출은 공식 확정값이 아니라 보도 기준이며, K-BrowseComp 수치는 동료평가 전 프리프린트의 초기 실험값입니다.)