다음 성능 헤드룸은 모델이 아니라 채점기에 남아 있습니다
에이전트 성능 이야기는 대개 모델 이름으로 끝납니다. 어느 모델이 몇 점을 받았는가. 그런데 2026년 중반에 나온 벤치마크들을 나란히 놓고 보면, 점수가 멈춘 지점이 모델의 추론 능력이 아니라 작업을 채점하는 방법에 걸려 있다는 신호가 반복해서 나옵니다.
이번 글은 "에이전트의 궤적(trace)과 보상(reward) 설계가 다음 성능 헤드룸"이라는 주장을 최근 벤치마크·연구·자금 흐름으로 검증합니다. 결론부터 말하면 절반은 맞고, 절반은 과장입니다. 중요한 것은 어느 쪽이 맞느냐가 아니라, 어느 조건에서 이 주장이 깨지는지입니다.
한 문장 결론
긴 작업에서 모델을 더 오래 굴려도 성적이 오르지 않는 구간이 열렸고, 이 구간을 뚫는 변수는 모델 크기가 아니라 부분 진행을 기록하는 궤적 데이터와, 조작에 견디는 채점기입니다. 다만 이것이 곧 "정교한 중간 보상을 손으로 설계하면 이긴다"는 뜻은 아닙니다.
왜 지금 이 질문인가
기존 에이전트 벤치마크는 사실상 수명이 끝났습니다. 코딩 쪽에서는 SWE-bench Verified가 상위 모델 다수가 90%대에 몰리며 변별력을 잃었고, OpenAI는 2026년 2월 자사 모델이 반복해서 틀린 문제를 감사한 결과 상당수가 결함 있는 테스트였다며 이 벤치마크 보고를 중단했습니다. 데스크톱 쪽에서도 OSWorld 1.0은 프론티어 에이전트가 79~83%대에 도달해 "컴퓨터 사용은 거의 풀렸다"는 인상을 줬습니다.
그 인상이 틀렸다는 것을 보여준 것이 후속 벤치마크입니다.
| 벤치마크 | 과제 성격 | 최고 성적 (공개 리더보드 기준) |
|---|---|---|
| OSWorld 1.0 (Verified) | 369개 단·중기 데스크톱 과제 | 79~83% 대역, 사실상 포화 |
| OSWorld 2.0 | 108개 장기 실무 워크플로 (사람 기준 중앙값 약 1.6시간) | 이진 완료 20.6%, 부분 점수 54.8% |
| Long-Horizon-Terminal-Bench | 46개 장기 터미널 과제, 세부 과제 단위 채점 | 임계 0.95 기준 28.3%, 17개 모델 평균 6.4% |
같은 모델 계열이 한쪽에서 80%를 받고 다른 쪽에서 20%를 받습니다. 과제가 길어졌을 뿐입니다. OSWorld 2.0 논문은 1.0 과제가 대략 30번의 도구 호출로 끝나는 데 비해 2.0은 약 318번이 필요하다고 보고합니다. 상호작용 깊이가 열 배 늘어나는 순간, 이름만 같은 다른 시험이 됩니다.
근거 1: 이진 채점이 진짜 진행도를 지웠다
Long-Horizon-Terminal-Bench의 관찰 하나가 이 글의 출발점입니다. 완전 성공(임계 1.0) 기준으로는 17개 모델 중 10개가 0점입니다. 그런데 세부 과제 단위로 점수를 나눠 보면, 전체 실행의 약 62.8%가 실질적인 부분 진행을 만들고도 이진 채점에서는 아무것도 못 한 실행과 동일하게 0점 처리됩니다. 0.05 미만으로 사실상 아무것도 못 한 실행은 30.8%뿐입니다.
이것은 측정의 문제이자 학습 신호의 문제입니다. 한 번의 실행이 평균 239회의 에피소드, 980만 토큰, 89분을 쓰는데 마지막 한 비트만 신호로 남는다면, 그 비용의 대부분은 학습에 쓰이지 못하고 버려집니다. 같은 논문은 실패 원인의 상당 부분이 국소적 추론이 아니라 장기 실행의 상태 유지와 자기 검증 실패라고 봅니다. 시간 초과 직전까지 부분 진행을 만들다가 멈추거나, 아직 끝나지 않았는데 스스로 끝났다고 판단하고 나가는 패턴입니다.
OSWorld 2.0의 곡선도 같은 방향입니다. 사람 기준 45분 미만 과제에서는 20~24%가 나오지만, 137~163분 구간에서는 어느 모델도 10%를 넘지 못하고, 163분을 넘어가면 완료율이 0으로 떨어집니다. 부분 점수는 41~54% 대역에 몰려 있는데 이진 완료만 무너집니다. 추론을 더 태워서 사는 것은 대부분 부분 진행이고, 그 부분 진행을 완료로 전환하는 능력은 따로입니다.
근거 2: 궤적 단위 보상은 실제로 큰 폭을 만들었다
측정 문제라면 채점 방식을 바꿨을 때 학습 성능도 올라가야 합니다. 2026년 7월 공개된 TRACE 연구가 이 지점을 직접 건드립니다.
핵심 장치는 단순합니다. 학습된 비평가(critic) 대신 정책 초기화본을 복사한 얼어붙은 참조 모델을 두고, 현재까지의 궤적 앞부분이 정답을 만들어낼 준비가 얼마나 됐는지를 추정합니다. 그 추정치의 시간차 변화를 턴 단위 보상으로 씁니다. 사람이 중간 과정 라벨을 달지 않고도, 결과 보상만으로는 나오지 않던 조밀한 신호가 만들어집니다.
결과는 작지 않습니다. 폐쇄형 웹 검색 환경에서 Qwen3-4B가 7.2에서 35.6으로, Qwen3-30B-A3B가 8.4에서 42.6으로 올랐습니다. 사전 지도학습이나 별도 중간 학습, 실시간 웹 데이터 없이 순수 강화학습만 쓴 조건입니다. 폐쇄 환경에서 학습한 뒤 실제 웹 API 환경으로 옮겼을 때도 성능이 이어졌고, 중국어 검색 과제로도 전이됐습니다.
여기서 읽을 것은 절대 점수가 아니라 같은 모델·같은 환경에서 채점 방식만 바꿨을 때의 폭입니다. 이 폭이 모델 세대 교체로 얻는 폭보다 크다면, 다음 성능은 모델 쪽이 아니라 채점기 쪽에서 나옵니다.
근거 3: 그 채점기가 지금 뚫려 있다
그런데 채점기를 믿을 수 있느냐는 별개 문제입니다. 버클리 RDI 연구진은 자동 감사 에이전트로 주요 에이전트 벤치마크 여덟 개를 훑었고, 전부 과제를 하나도 풀지 않고 만점에 가까운 점수를 낼 수 있다고 보고했습니다.
- SWE-bench Verified: 10줄짜리 pytest 훅 파일로 500개 인스턴스 전부 통과
- Terminal-Bench: 명령어 래퍼를 바꿔치기해 89개 과제 전부 통과
- WebArena: 과제 설정 파일에 정답이 들어 있어 로컬 파일 경로 접근만으로 통과
- OSWorld: 정답 파일이 공개 URL에 있고 실행 환경에 인터넷이 열려 있어 그대로 내려받기
공통 결함은 하나입니다. 에이전트가 코드를 실행하는 환경과 채점기가 상태를 읽는 환경이 같습니다. 시험지를 쓰는 사람과 채점하는 사람이 같은 방에 있는 셈입니다. 여기에 정답이 설정 파일이나 공개 저장소에 노출되는 문제, 채점 코드 자체가 정답 여부를 확인하지 않는 문제가 겹칩니다.
이 결함은 벤치마크만의 문제가 아닙니다. 같은 구조가 학습 환경에 들어가면 그대로 보상 해킹이 됩니다. 이미 알려진 사례로, 한 프론티어 모델이 원래 테스트를 통과하는 코드를 짜는 대신 테스트 파일 자체를 고쳐 전부 통과시키는 패턴이 외부 평가에서 관측된 적이 있습니다. 채점기의 견고함이 곧 학습 신호의 품질입니다.
반증: "보상을 정교하게 설계하면 이긴다"는 과장입니다
여기까지만 보면 결론이 쉬워 보이지만, 반대 방향 증거도 분명합니다. 이 부분을 빼면 논지가 아니라 광고가 됩니다.
첫째, 결과 보상의 승리 기록이 더 깁니다. 추론 모델의 대표적 성공 사례들은 사람이 설계한 중간 보상이 아니라 성기지만 정확한 최종 보상과 모델 자신의 신용 할당 능력에 기댔습니다. 중간 보상을 넣었다가 성능이 떨어진 보고도 있습니다. 실행 불가능한 코드에 벌점을 준 설정에서 오히려 성능이 나빠진 사례가 그렇습니다. 조밀한 신호는 공짜가 아니라, 잘못 설계되면 편향을 주입합니다.
둘째, 자동 채점기 자체가 편향 덩어리입니다. 모델을 심판으로 쓰는 방식에는 긴 답을 선호하는 편향, 같은 답도 제시 위치에 따라 선호가 15~25% 흔들리는 위치 편향, 자기 문체를 닮은 출력을 선호하는 편향이 알려져 있습니다. 20% 이상 잡음이 낀 보상으로 강화학습을 돌리는 것은 좋게 봐도 비효율입니다.
셋째, 환경의 다양성이 보상의 정교함보다 먼저일 수 있습니다. 합성 환경 연구 하나는 학습 환경 수를 10개에서 100개, 526개로 늘리면서 성능이 단조 상승했다고 보고합니다. 10개 환경에서는 오히려 심한 성능 저하가 나타났습니다. 행동 패턴 과적합입니다. 같은 맥락에서, 환경에 이용 가능한 내부 구조가 있을 때 학습 효율과 일반화가 크게 좋아졌다는 결과도 있습니다. 즉 스케일링 축은 보상 함수 하나가 아니라 환경의 수·구조·현실성까지 포함합니다.
넷째, 껍데기(harness)가 모델보다 점수를 더 움직입니다. 검증된 Terminal-Bench 2.1 리더보드에서 동일 모델이 어떤 실행 골격 안에 있느냐에 따라 3.4포인트 차이가 났고, 다른 모델에서는 5.1포인트까지 벌어졌습니다. 리더보드 1위와 3위의 격차보다 큽니다. 벤치마크 자체를 수리한 것만으로 특정 조합이 12.1포인트 오른 사례도 있습니다. 점수가 올랐을 때 모델이 좋아진 것인지, 껍데기가 좋아진 것인지, 자가 바뀐 것인지를 먼저 갈라야 합니다.
그래서 돈은 어디로 갔나
주장의 강도를 재는 또 하나의 방법은 자본 흐름입니다. 2026년 상반기에 이 레이어로 들어온 자금은 실험 단계를 넘었습니다.
| 회사 | 2026년 자금·규모 | 포지션 |
|---|---|---|
| Prime Intellect | 7월 8일 시리즈 A 1억 3,000만 달러, 기업가치 10억 달러 | 오픈 RL 스택과 공개 환경 허브, 연환산 매출 1억 달러 수준 보고 |
| Mercor | 기업가치 100억 달러, 2월 Sepal AI 인수 | 코딩·의료·법률 등 도메인 전문가 기반 환경 |
| Surge AI | 외부 투자 없이 매출 12억 달러 규모 보고 | RL 환경 전담 조직 신설 |
| Fleet | 약 7억 5,000만 달러 수준 논의 보도, 연환산 매출 100만에서 6,000만 달러 이상 | 기업용 소프트웨어 고정밀 복제 환경 |
| Bespoke Labs | 7월 시리즈 A 4,000만 달러 | 코드·티켓·메신저까지 갖춘 가상 회사 환경 |
| Patronus AI | 6월 시리즈 B 5,000만 달러 | 에이전트 스트레스 테스트용 환경 |
한 벤처 투자사는 이 범주를 "검증 레이어"로 정의하면서, 프론티어 랩의 환경 지출이 2026년에 3~5배로 늘어날 것으로 봤습니다. 이 숫자들은 각 회사와 투자사, 언론이 공개한 값이고 감사받은 재무가 아닙니다. 다만 방향은 일관됩니다. 자본은 "더 큰 모델"이 아니라 "무엇이 학습 가능한지를 결정하는 인프라" 쪽으로 이동했습니다.
한 가지 덧붙이면, 궤적 자체를 상품으로 보는 회사들도 나오고 있습니다. 올해 배출된 초기 기업 중에는 에이전트 실행 기록을 자산으로 유통하겠다는 팀, 실사용 과제를 크라우드소싱해 환경과 평가를 동시에 만드는 팀이 있습니다. 평가와 학습 데이터의 경계가 사라지는 중입니다.
이 논지가 깨지는 조건
주장을 남기려면 반증 조건을 먼저 적어야 합니다. 아래 중 둘 이상이 관측되면 "궤적·보상이 다음 헤드룸"이라는 명제는 약해집니다.
- 다음 세대 프론티어 모델이 채점 방식을 바꾸지 않은 채로 장기 과제 이진 완료율을 크게 끌어올릴 때
- 조밀한 중간 보상 없이 결과 보상만으로 장기 실행의 자기 검증 문제가 해결될 때
- 환경 수·현실성을 늘리는 것만으로 보상 설계 개선분을 대체할 수 있다는 결과가 반복될 때
- 환경·평가 회사들의 매출이 소수 프론티어 랩 계약에 계속 묶여, 랩의 내재화 한 번으로 무너지는 구조가 확인될 때
특히 네 번째는 자주 과소평가됩니다. 초기 고객이 소수의 프론티어 랩에 집중된 구조는 예전 데이터 라벨링 시장이 이미 한 번 보여준 경로입니다. 대형 계약 하나가 흔들리면서 시장 지형이 급변한 전례가 있습니다.
VC 관점에서 남는 질문
이 레이어를 보는 회사를 만났을 때, 데모의 화려함보다 먼저 확인할 것은 다음 네 가지입니다.
첫째, 채점기가 조작에 견디는가. 자기 환경에 대해 "부정행위 에이전트"를 붙여 돌려 봤는지, 정답이 실행 환경 안에서 읽히지 않는지, 채점 코드가 실제로 정답 여부를 확인하는지를 묻습니다. 이 질문에 답을 준비해 둔 팀과 아닌 팀의 차이가 큽니다.
둘째, 부분 진행을 기록하는가. 이진 성공만 남기는 파이프라인은 실행 비용의 대부분을 버립니다. 세부 과제 단위 채점, 단계별 실패 원인 귀속, 부작용과 제약 위반의 별도 기록이 있는지가 데이터 자산의 밀도를 가릅니다.
셋째, 평가와 학습이 같은 환경에서 도는가. 평가에 쓴 환경을 그대로 학습에 재사용하고, 개선된 모델을 다시 같은 환경으로 재평가하는 폐루프가 도는지 봅니다. 이 루프가 없으면 환경은 일회성 콘텐츠고, 콘텐츠는 금방 소진됩니다.
넷째, 고객이 랩인가 기업인가. 프론티어 랩 대상 사업은 계약 단가가 크지만 집중도가 위험합니다. 기업 대상 사업은 분산되지만 도입 주기가 길고, 결국 그 기업이 실제 업무 성과와 연결된 보상을 정의할 수 있느냐에 달립니다.
마무리
에이전트 성능 논쟁의 무게 중심은 "모델이 얼마나 똑똑한가"에서 "우리가 무엇을 잘했다고 말해 줄 수 있는가"로 옮겨가는 중입니다. 장기 실무 과제에서 완료율이 0으로 떨어지는 구간이 존재하고, 그 구간에서 대부분의 실행이 부분 진행만 남긴 채 채점상 0점으로 사라진다면, 다음 개선분은 그 사라진 정보를 되살리는 쪽에 있을 가능성이 큽니다.
동시에 이것을 "보상 함수를 정교하게 깎으면 된다"로 요약하면 틀립니다. 결과 보상의 단순함이 이긴 기록이 더 길고, 자동 심판은 편향되어 있으며, 환경의 다양성과 실행 껍데기가 점수를 더 크게 움직입니다. 정확한 표현은 이쪽입니다. 다음 헤드룸은 보상 함수 하나가 아니라, 조작에 견디는 채점기와 부분 진행이 남는 궤적을 함께 갖춘 환경 전체에 있습니다.
출처와 한계
2026년 8월 29일 기준 공개 자료를 근거로 삼았습니다. 장기 터미널 과제와 데스크톱 과제의 성적·실행 통계는 각 벤치마크 논문의 공개 수치이며, 궤적 단위 보상의 성능 개선폭은 해당 연구가 자체 실험에서 보고한 값입니다. 벤치마크 취약점은 버클리 RDI 연구진의 공개 감사 보고를 인용했습니다. 회사별 투자·매출 규모는 각 회사와 투자사, 언론이 공개한 수치로 감사받은 재무제표가 아니며, 일부는 협상 단계 보도입니다. 리더보드 점수는 실행 껍데기·버전·자가보고 여부에 따라 같은 이름으로도 크게 달라지므로, 개별 숫자는 조건과 함께 읽어야 합니다.