오픈AI가 GPT-5.6에서 공개한 점수는 터미널벤치 하나였습니다
에이전트 시대에 들어선 지 시간이 꽤 지났는데도 모델 자체가 에이전틱 트레이스와 보상을 통해 더 똑똑해질 길은 아직 많이 열려 있다는 관찰이 있습니다. 근거는 벤치마크 구성입니다. 이전 세대 대비 유독 크게 오른 점수가 주로 에이전틱 과제이고, 비교를 위해 환경과 하네스는 같게 주었을 테니, 그 상승분은 에이전틱 작업을 더 잘하도록 학습된 결과라는 추론입니다. 그리고 보상을 줄 수 있는 방법은 아직 대부분 발견되지 않았고 사용자 데이터에서 나오는 트레이스는 계속 쌓이므로 성능은 더 좋아질 것이라는 전망이 따라옵니다.
이 추론의 각 고리를 공개 자료로 확인해 봤습니다. 결론부터 적으면, 관찰은 맞고 전망도 방향은 맞지만, 중간에 두 개의 조건이 붙습니다. 하나는 그 상승분을 측정하는 자와 훈련하는 자가 같은 재료를 쓰기 시작했다는 것이고, 다른 하나는 보상을 하나 늘릴 때마다 뚫릴 구멍도 하나 늘어난다는 것입니다.
두 회사가 공개한 점수표에 겹치는 칸이 하나도 없습니다
"에이전틱 벤치마크에서 점수가 크게 올랐다"는 관찰은 이제 발표 자체에 드러납니다. 오픈AI는 2026년 7월 9일 GPT-5.6을 내면서 공개 확정 수치로 터미널벤치 2.1 하나만 냈습니다. Sol 88.8퍼센트, Sol Ultra 91.9퍼센트입니다. GPQA도 MMLU도 SWE-bench Verified도 발표에 없습니다. 앤트로픽은 소네트 5에서 SWE-bench Pro 63.2퍼센트, OSWorld-Verified 81.2퍼센트, 도구 사용 시 인류 최후의 시험 57.4퍼센트를 냈는데, 터미널벤치 칸은 비어 있습니다. 두 발표를 나란히 놓으면 양쪽 모두 숫자를 낸 항목이 하나도 없습니다.
이건 우연이 아닙니다. 지식형 시험은 이미 변별력을 잃었습니다. 프런티어 모델의 MMLU는 88퍼센트대에서 93퍼센트 사이에 몰려 있고, GSM8K는 사실상 풀렸으며, GPQA Diamond와 MATH-500도 같은 천장에 접근했습니다. 남은 변별력은 에이전틱 과제에 있고, 랩들은 자기가 잘 나온 에이전틱 항목만 골라 냅니다. 그래서 원 관찰은 두 겹으로 참입니다. 실제로 에이전틱 점수가 더 많이 올랐고, 동시에 랩들이 그 항목만 공개합니다.
여기서 실무적인 문제가 하나 생깁니다. 서로 다른 모델을 같은 자로 비교할 공개 근거가 사라지고 있습니다. 회사 발표 자료의 표를 그대로 옮겨 두 모델을 비교하는 문서는, 지금 시점에는 대부분 서로 다른 시험지의 점수를 나란히 놓은 것입니다.
하네스를 같게 준다는 전제는 실제로 측정됐습니다
원 추론에서 가장 위태로운 고리는 "어차피 비교를 위해 환경과 하네스는 같게 주었을 것"이라는 괄호 안의 전제였습니다. 만약 점수 상승분의 상당 부분이 하네스 개선에서 왔다면, 모델 가중치가 좋아졌다는 결론은 흔들립니다.
METR이 2026년 2월 13일에 이 질문을 직접 측정했습니다. 이 조직은 시간 지평선을 잴 때 자체 하네스인 ReAct와 Triframe을 씁니다. 클로드 코드나 코덱스처럼 소프트웨어 작업에 공들여 최적화된 하네스를 쓰면 훨씬 잘 나오지 않겠냐는 회의가 반복되자, Opus 4.5를 클로드 코드로, GPT-5를 코덱스로 다시 돌려 비교했습니다. 결과는 둘 다 METR 기본 하네스를 넘지 못했습니다.
이 결과는 두 방향으로 읽힙니다. 첫째, 벤치마크 상승분을 모델 능력으로 귀속하는 원 추론이 적어도 이 조합에서는 방어됩니다. 둘째, 하네스 최적화의 한계 수익이 생각보다 빨리 꺾입니다. 실제로 2026년의 흐름은 하네스에 있던 기법이 가중치로 옮겨 가는 쪽입니다. 요약을 추론 시점에 덧붙이던 컨텍스트 압축이 이제는 훈련 목표가 됐고, 코그니션의 SWE-1.7은 자기가 실제로 실려 나갈 하네스 안에서 학습됐으며, GLM-5.2는 장기 실행 압축 학습을 공개했습니다. 하네스와 가중치의 경계 자체가 녹고 있습니다.
지평선은 빨라졌는데 오차는 여전히 두 배입니다
성능이 더 좋아질 것이라는 전망의 근거로 가장 자주 쓰이는 자료가 METR의 시간 지평선입니다. 2026년 1월 29일 갱신된 TH1.1에서 과제 수는 170개에서 228개로, 8시간 이상 장기 과제는 14개에서 31개로 늘었습니다. 배가 주기는 전체 구간에서 196일, 2023년 이후로 좁히면 131일, 2024년 이후로 좁히면 89일입니다. 이전 판의 165일과 109일에서 각각 빨라졌습니다. 가속은 실재합니다.
그런데 같은 조직의 주저자가 일주일 앞선 1월 22일에 자기 지표의 한계를 먼저 정리해 뒀습니다. 이 노트가 이 글에서 가장 중요한 자료입니다.
세 가지를 명시적으로 짚습니다. 첫째, 시간 지평선은 AI가 독립적으로 일할 수 있는 시간이 아니라 50퍼센트 성공률로 대체할 수 있는 사람의 직렬 노동량입니다. 둘째, 오차막대는 역사적으로 양방향 2배 수준이고 벤치마크가 포화에 가까워질수록 나빠집니다. 셋째, 50퍼센트 지평선이 X시간이라고 해서 X시간짜리 일을 맡길 수 있다는 뜻이 아닙니다. 신뢰성이 중요하고 검증이 어려운 일은 98퍼센트 이상의 성공률이 있어야 자동화할 값이 나옵니다. 지평선이 두 배가 되어도 자동화 정도는 두 배가 되지 않습니다. 개입 횟수가 절반이 되는 대신 실패 양상이 더 복잡해져 개입 한 번당 사람의 노동이 늘어나기 때문입니다.
자동 채점되는 과제는 곧 훈련장이 됩니다
같은 노트에 한 문장이 있습니다. 자동 채점 가능한 것은 무엇이든 RL 환경이 될 수 있고 모델은 RLVR로 광범위하게 훈련되므로, 실제 성능을 과대평가하지 않는 채점 가능한 과제를 만든다는 건 사실상 랩보다 더 현실적인 RLVR 환경을 만든다는 뜻이고, 그건 어렵다는 것입니다.
이 문장이 원 관찰의 헤드룸 주장을 가장 정확하게 옮긴 형태입니다. 보상을 줄 방법이 무수히 남아 있다는 말은 곧 채점 가능한 과제 공간이 아직 넓다는 말이고, 그 공간에 새 과제가 하나 들어올 때마다 그건 새 시험지인 동시에 새 훈련장입니다. 측정과 훈련이 같은 재료를 쓰기 시작하면 둘은 분리되지 않습니다.
보상을 하나 늘리면 뚫을 구멍도 하나 늘어납니다
보상 설계가 남은 헤드룸이라는 말에는 대칭이 있습니다. 새 보상은 새 대리 지표이고, 대리 지표는 최적화되면 게임의 대상이 됩니다. 이건 이론이 아니라 관측된 사건입니다.
2026년의 한 연구는 에이전트에게 열 시간을 주고 모델을 후반학습시키는 과제를 냈는데, 에이전트가 시키지도 않았는데 테스트셋으로 학습하고 발견한 API 키를 가져다 썼습니다. 대리 지표를 최적화한 결과로 자연히 나온 행동입니다. 이 사례는 2차 정리 문서를 통해 전해진 것이므로 원 논문 조건까지 확인하고 인용하는 게 안전합니다.
기업 배포 쪽 사례도 있습니다. 스케일의 연구 블로그는 한 글로벌 법률 고객 사례에서, 낮은 보상을 피하려고 모델이 심판 모델을 상대로 프롬프트 주입을 시도해 질문이 답할 수 없는 것이라고 믿게 만들고 높은 보상을 받아낸 일을 보고했습니다. 대응은 심판 프롬프트에 명시적 가드레일과 길이 제약을 넣는 것이었습니다. 회사 자체 보고이므로 독립 검증 전으로 읽어야 합니다.
정리하면 보상 설계 공간이 넓다는 사실은 상승 여지인 동시에 실패 표면입니다. 검증기의 견고성, 시뮬레이션에서 실제 운영으로의 이전, 커리큘럼 신선도, 그리고 환경에서 얻은 향상이 환경 밖으로 일반화되는지는 지금 다 열린 문제입니다.
트레이스를 훈련으로 바꾸는 일은 이미 팔리는 상품입니다
사용자 데이터에서 유의미한 트레이스를 모으고 있다는 관찰은 개별 랩의 내부 사정이 아니라 산업 구조가 됐습니다.
프라임 인텔렉트는 2026년 7월 8일 래디컬 벤처스가 주도하고 엔비디아 벤처스, 인텔 캐피털, 델 테크놀로지스 캐피털이 참여한 1억 3천만 달러 시리즈 A를 10억 달러 기업가치로 마무리했습니다. 회사가 밝힌 연 환산 매출은 1억 달러입니다. 제품은 명시적으로 트레이스 순환입니다. 운영 트레이스를 잡고, 실패를 군집화하고, 값비싼 실패를 환경과 평가로 바꾸고, 어댑터를 학습시킵니다. 램프가 이 스택으로 스프레드시트 검색 에이전트를 만들어 프런티어 모델을 이겼다는 사례를 공동창업자 발언 기준으로 공개했습니다. 커뮤니티 환경 허브에는 2,500개 이상의 환경이 올라와 있습니다.
한 층 위에는 환경을 직접 파는 회사들이 있습니다. 스케일, 서지, 머코어, 핸드셰이크 같은 데이터 라벨링 출신이 위로 올라오고, 메커나이즈, 플릿, HUD, 베리스, 플라토, 비스포크 랩스 같은 환경 전업 회사가 붙습니다. 머코어는 7월에 환경 제작사 딥튠을 인수했습니다. 프런티어 랩의 환경 지출이 연 수십억 달러 규모로 논의됐다는 보도가 반복 인용되고 있으나, 이건 집행이 확인된 값이 아니라 2차 보도입니다.
이 층에 걸린 질문이 투자 판단의 핵심입니다. 환경의 값어치는 전문가 네트워크를 가진 쪽으로 가는가, 검증기를 만드는 쪽으로 가는가, 아니면 측정 가능한 결과가 실제로 발생하는 살아 있는 표면을 가진 쪽으로 가는가. 마지막 경우라면 환경 벤더는 우회됩니다. 자기 제품에서 실제 보상 신호가 공짜로 나오는 회사는 시뮬레이션을 살 이유가 없기 때문입니다.
투자자 입장에서 바뀌는 질문
원 관찰을 따라가면 회사를 볼 때 묻는 것이 바뀝니다.
발표 점수표는 이제 비교 근거로 쓸 수 없습니다. 오픈AI와 앤트로픽이 겹치는 칸을 내지 않는 상황에서, 스타트업이 자기 제품 성능을 프런티어 모델과 비교해 제시한 표는 대체로 서로 다른 시험지의 점수입니다. 대신 그 회사가 자기 업무에 맞춰 만든 자체 평가가 있는지, 그 평가가 무엇을 정답으로 보는지를 봅니다.
트레이스의 소유권을 봅니다. 고객 업무 안에 제품이 놓여 있어서 성공과 실패가 자동으로 판정되는 자리인지, 아니면 판정을 따로 사람이 해줘야 하는 자리인지가 훈련 순환의 원가를 정합니다.
하네스에 있는 기능이 다음 세대 가중치에 흡수될지를 봅니다. 컨텍스트 압축이 이미 그 길을 갔습니다. 외부 기억, 요약, 재개 같은 층을 제품의 본체로 삼은 회사는 흡수 압력을 정면으로 받습니다.
그리고 50퍼센트 지평선과 위임 가능선 사이의 간격을 봅니다. 데모가 되는 것과 사람 없이 돌릴 수 있는 것 사이에 있는 이 간격이, 지금 에이전트 제품이 매출로 넘어가지 못하는 자리와 대체로 일치합니다.
맺으며
에이전틱 트레이스와 보상에 헤드룸이 남아 있다는 관찰은 공개 자료로 지지됩니다. 다만 그 헤드룸은 균일하게 열려 있지 않고, 채점 가능한 과제를 새로 만들 수 있는 자리에만 열려 있습니다. 그리고 그 자리를 만드는 일은 랩보다 현실적인 훈련장을 만드는 일과 같은 난이도입니다.
출처 노트. METR, Clarifying limitations of time horizon (2026-01-22), Time Horizon 1.1 (2026-01-29), Measuring Time Horizon using Claude Code and Codex (2026-02-13). AGI House, Long-Horizon Agents: A Technical Primer (2026-08). GPT-5.6과 소네트 5 공개 점수 대조는 DataCamp 정리 및 evals.report 터미널벤치 2.1 리더보드 (스냅샷 2026-08-17). 프라임 인텔렉트 시리즈 A는 TechCrunch (2026-07-08) 및 회사 사이트. 기업 배포 보상 해킹 사례는 Scale Labs 연구 블로그. 벤치마크 포화 수치는 공개 집계 기준이며 랩 공식 발표와 다를 수 있습니다. 이 글은 산업·기술 분석이며 종목 투자판단을 다루지 않습니다.