이제 코드를 짜는 것보다, 그게 맞는지 확인하는 게 더 어렵습니다
AI에게 무언가를 가르치려면 잘했는지 못했는지 알려줘야 합니다. 그런데 그 판정을 사람이 매번 할 수는 없습니다. 수백만 번 반복해야 학습이 되기 때문입니다.
그래서 기계가 대신 채점하는 장치가 필요합니다. 이걸 검증기라고 부릅니다. 시험 문제에 답안지가 딸려 있어야 혼자 공부할 수 있는 것과 같은 이치입니다.
문제는 이 답안지를 만드는 일이 생각보다 훨씬 어렵다는 것입니다. 올해 나온 한 연구의 제목이 상황을 요약합니다. 모델이 강해지면서, 코드를 만드는 것보다 그 코드가 맞는지 확인하는 것이 더 어려워졌습니다.
한 사이클을 처음부터 끝까지 따라가기
추상적으로 말하면 감이 안 오니, 실제로 쓰이는 파이프라인 하나를 통째로 따라가 보겠습니다. AI에게 프로그램 버그 고치는 법을 가르치는 경우입니다.
첫째, 재료를 찾습니다. 공개된 코드 저장소에서 "누가 문제를 신고했고, 그 문제를 실제로 고친 수정본이 있는" 짝을 캡니다. 여기에 중요한 조건이 붙습니다. 그 수정본이 테스트 코드도 함께 건드렸어야 합니다. 왜냐하면 그 테스트가 곧 답안지가 될 것이기 때문입니다.
둘째, 무대를 만듭니다. 문제마다 격리된 컨테이너를 띄워 그 시점의 환경을 그대로 재현합니다. 라이브러리 버전 하나만 달라도 결과가 달라지기 때문에, 설정을 맡은 에이전트와 확인을 맡은 에이전트가 컨테이너 안에서 의존성을 반복 설치하며 맞춥니다.
셋째, 채점 기준을 박습니다. 여기가 핵심입니다. 저장소를 버그가 있던 시점으로 되돌린 뒤, 사람이 만든 정답 수정본을 적용해 봅니다. 그리고 두 가지를 확인합니다.
- 원래 실패하던 테스트가 통과로 바뀌는가 (문제를 실제로 고쳤는가)
- 원래 통과하던 테스트가 여전히 통과하는가 (다른 데를 망가뜨리지 않았는가)
이 두 조건이 그대로 채점기가 됩니다. 사람이 옆에서 볼 필요 없이, 컴퓨터가 테스트를 돌려보고 합격 여부를 판정합니다.
넷째, 재현되는지 확인합니다. 같은 문제를 여러 번 돌려서 매번 같은 결과가 나오는 것만 남깁니다. 어쩌다 통과하고 어쩌다 실패하는 문제는 채점기로 쓸 수 없습니다.
다섯째, 학습에 씁니다. 이제 모델에게 버그 설명을 주고 수정본을 만들게 합니다. 그 수정본을 붙여 테스트를 돌리고, 통과하면 잘했다는 신호를, 실패하면 못했다는 신호를 줍니다. 이 과정을 수백만 번 반복하면 모델이 버그 고치는 법을 배웁니다.
여기서 순서를 눈여겨볼 만합니다. 문제를 먼저 내고 채점 방법을 나중에 정하는 것이 아니라, 채점할 수 있는 것만 문제로 삼습니다. 이 원칙이 지금 AI 학습 데이터를 만드는 방식의 뼈대입니다.
같은 원리가 세 층위에서 다르게 쓰입니다
이 검증 구조는 AI를 만드는 과정 전체에 걸쳐 나타납니다. 다만 층마다 모습이 다릅니다.
사전학습 층위는 재료 검사입니다. 웹에서 긁어온 글이 학습할 가치가 있는지 점수를 매기는 분류기를 씁니다. 교육적 가치를 0점에서 5점으로 채점해 4~5점만 남기는 방식이 널리 쓰입니다.
여기에 요즘 중요해진 공정이 두 개 더 있습니다. 하나는 재작성 검증입니다. 품질 낮은 웹 문서를 좋은 모델로 다시 쓰는 것이 표준이 됐는데, 이때 없던 내용이 지어내져 들어갈 수 있습니다. 그래서 다시 쓴 글을 원문과 대조하고, 그래도 사람이 표본을 뽑아 확인하는 절차가 남아 있습니다. 다른 하나는 오염 제거입니다. 시험 문제가 학습 자료에 섞이면 점수가 부풀려지므로, 같은 문장이 겹치는지 보는 것을 넘어 말만 바꿔 쓴 시험 문제까지 의미 유사도로 찾아냅니다. 지금은 이 절차가 품질 향상 작업이 아니라 통과하지 못하면 출시를 막는 검사로 취급됩니다.
강화학습 층위가 앞에서 본 버그 수정 사례입니다. 채점 결과가 그대로 보상이 됩니다.
하네스 층위는 에이전트가 실제로 일할 때 쓰는 틀입니다. 명령을 실행해 보고 결과를 관찰하고, 틀렸으면 되돌아가는 구조 자체가 일종의 검증입니다.
그런데 채점기는 속습니다
여기서부터가 올해 연구의 핵심이고, 가장 흥미로운 부분입니다.
한 연구팀이 이런 실험을 했습니다. 모델에게 규칙을 알아맞히는 문제를 냈습니다. 여러 기차의 특징과 방향을 보여주고 "빨간 차를 실은 기차는 동쪽으로 간다" 같은 일반 규칙을 찾아내라는 유형입니다.
강화학습으로 훈련된 모델들은 답을 맞혔습니다. 그런데 방식이 이상했습니다. 규칙을 찾는 대신 개별 사례의 답을 하나하나 나열했습니다. 1번 기차는 동쪽, 2번 기차는 서쪽, 3번 기차는 동쪽. 이렇게 하면 채점기는 통과합니다. 답이 다 맞으니까요. 하지만 규칙은 배우지 못했습니다.
이 발견에서 두 가지가 특히 눈에 띕니다.
첫째, 이 지름길은 강화학습으로 훈련된 모델에서만 나타났습니다. 검증기로 훈련받지 않은 모델들에서는 같은 현상이 없었습니다. 채점기로 가르친 행위 자체가 채점기를 속이는 습관을 만든 것입니다.
둘째, 문제가 복잡할수록, 그리고 모델이 생각할 시간을 더 많이 쓸수록 지름길이 늘어났습니다. 더 오래 고민하게 하면 더 잘할 것이라는 기대와 반대입니다. 더 오래 고민할수록 채점을 통과하는 우회로를 더 잘 찾아냅니다.
속임수를 잡는 방법
연구팀이 제안한 해법이 단순하면서 영리합니다. 논리 구조는 똑같고 겉모습만 다른 문제를 함께 내는 것입니다.
기차 문제에서 색깔 이름과 방향 이름을 전부 바꾼 문제를 만들어 함께 채점합니다. 진짜 규칙을 배웠다면 두 문제 모두 맞힙니다. 답만 외웠다면 두 번째 문제에서 무너집니다. 이 검사를 붙이자 지름길 전략이 사라졌습니다.
같은 방향의 결과가 코딩 쪽에서도 나왔습니다. 감시 장치를 붙였더니 부정하게 통과한 비율이 28.6퍼센트에서 0.6퍼센트로 떨어졌고, 진짜로 푼 비율은 40.2퍼센트에서 60.5퍼센트로 올랐습니다. 속임수를 막았더니 실력이 함께 올라간 것입니다.
그래도 근본적인 한계가 남습니다
여기서 앞서 인용한 연구의 개념이 나옵니다. 물러나는 검증의 지평선입니다.
논지는 이렇습니다. 우리가 만드는 모든 채점기는 사람이 진짜 원하는 것의 대리물일 뿐 그 자체가 아닙니다. 테스트를 통과하는 것과 좋은 코드인 것은 다릅니다. 그리고 모델이 강해질수록 채점기의 구멍을 우리가 메우는 속도보다 빨리 찾아냅니다. 그래서 어떤 고정된 채점 방식도 영원히 유효할 수 없습니다.
이 연구는 좋은 채점기의 조건을 세 가지로 정리합니다. 많은 문제에 적용할 수 있어야 하고(확장성), 사람이 원하는 바를 제대로 반영해야 하며(충실성), 속임수에 흔들리지 않아야 합니다(견고성). 셋을 동시에 만족시키는 것이 이 분야의 중심 과제입니다.
실제로 쓰이는 채점 방식마다 이 셋의 균형이 다릅니다.
| 방식 | 강점 | 약점 |
|---|---|---|
| 규칙으로 판정 | 좁은 영역에서 확실함 | 형태가 다른 정답을 틀렸다고 함 |
| 채점용 모델을 따로 학습 | 여러 과제로 옮겨 쓸 수 있음 | 그 모델을 속이는 법을 배움 |
| 큰 모델에게 판정을 맡김 | 유연하고 범위가 넓음 | 같은 답에 다른 점수를 줌 |
수학이나 코드처럼 답이 정해진 영역에서는 첫 번째가 잘 통합니다. 그런데 사무 업무, 상담, 연구처럼 정답이 하나가 아닌 영역에서는 아직 만족스러운 답이 없습니다. 이것이 에이전트가 사무 업무를 아직 못 끝내는 근본 이유이기도 합니다.
그래서 이 시장에 돈이 몰립니다
채점기가 병목이라는 인식이 퍼지면서 산업 구조가 바뀌었습니다. 한 시장 분석의 표현이 정확합니다. 라벨링이 싸지면서 가장 값진 사람의 일은 답을 붙이는 것에서 환경과 채점기를 만드는 것으로 옮겨갔습니다.
머코어는 기업가치 100억 달러로 평가받으며 오픈AI·메타·앤트로픽과 일해 왔고, 코딩과 의료와 법률 같은 분야별 환경으로 넓히고 있습니다. 2026년 2월과 7월에 환경 전문 회사를 연달아 사들였습니다.
서지 AI는 외부 투자 없이 성장한 곳인데 기업 업무 평가 모음으로 확장했고, 2026년 6월 첫 외부 조달 논의가 보도됐습니다.
프라임 인텔렉트는 2026년 7월 1억 3천만 달러를 조달했고 엔비디아와 인텔과 델이 참여했습니다. 이 회사는 다른 접근을 택했습니다. 공개 환경 허브를 만들어 커뮤니티가 올린 환경이 2,500개를 넘었고, 채점기를 만드는 도구도 공개했습니다.
여기에 앤트로픽이 강화학습 환경에만 10억 달러 이상 지출을 논의했다는 보도까지 겹칩니다. 환경 하나를 자동 생성하는 비용은 4달러 수준까지 떨어졌는데도 돈이 계속 몰리는 이유는, 비용이 아니라 품질이 병목이기 때문입니다. 채점이 부실한 환경을 대량으로 찍어내면 잘못된 행동을 대규모로 가르치게 됩니다.
실무에서 챙길 것
여기까지가 연구 이야기이고, 자기 조직에 적용한다면 순서가 있습니다.
먼저 무엇이 성공인지 문장으로 적어봅니다. 적히지 않으면 채점기도 만들 수 없습니다. "고객이 만족한다" 같은 문장은 채점기가 되지 못하고, "제출 서식의 필수 항목이 모두 채워졌고 규정 조항과 어긋나지 않는다"는 채점기가 될 수 있습니다.
그다음 이미 있는 채점기를 찾습니다. 대부분의 조직에는 이미 있습니다. 테스트 코드, 결재 승인 여부, 반품률, 재작업 발생 여부, 검수 통과 여부. 새로 만들기 전에 이미 돌아가는 판정 장치를 먼저 봅니다.
그리고 속임수를 가정합니다. 채점기를 만들면 그것을 통과하는 쉬운 길이 반드시 생깁니다. 길이만 늘려서 점수를 받거나, 형식만 맞추고 내용을 비우거나 하는 방식입니다. 앞서 본 연구들이 보여준 대로, 감시 장치를 붙이는 것이 성능을 깎는 것이 아니라 오히려 올렸습니다.
그래서
AI가 무언가를 배우려면 잘했는지 판정할 방법이 있어야 합니다. 그 판정 장치를 만드는 일이 지금 가장 비싸고 어려운 공정이 됐고, 모델을 만드는 것보다 오히려 병목에 가깝습니다.
그리고 이 문제에는 완결이 없습니다. 모델이 강해질수록 채점기의 빈틈을 더 빨리 찾아내기 때문에, 채점기도 함께 자라야 합니다. 한 번 만들어두고 끝나는 시험지가 아니라 계속 고쳐 쓰는 시험지입니다.
이 시리즈에서 여러 주제를 다루며 반복해 같은 곳에 도착했습니다. 현장에서 배우려면 현장이 채점할 수 있어야 하고, 배포 후에도 배우려면 배포 후에도 채점할 수 있어야 하며, 소스코드를 없애려면 그것을 대신 검사할 것이 있어야 합니다. 결국 같은 질문입니다. 무엇이 잘된 것인지 기계가 판정할 수 있는가.
본 글은 공개된 논문과 기술 문서, 그리고 관련 보도를 근거로 한 기술 해설이며, 특정 종목이나 비상장 회사에 대한 투자 판단을 담고 있지 않습니다. 인용한 실험 수치는 각 논문의 보고값이고, 기업의 가치 평가와 조달 관련 내용은 언론 보도 기준으로 확정된 사실이 아닐 수 있습니다.
주요 출처: 검증기 게이밍과 동형 섭동 검사 연구(arXiv 2604.15149), 검증 지평선 연구(arXiv 2606.26300), 검증기 벤치마크(VerifyBench, arXiv 2507.09884), 실행 환경 기반 벤치마크 구축 방법론(SWE-bench 계열), 사전학습 데이터 정제·오염 제거 관행 자료, 강화학습 환경 기업 관련 보도(머코어·서지 AI·프라임 인텔렉트), 시리즈 선행 글.