보상의 원천이 정답지 밖으로 나갑니다: 최근 석 달의 RLVR 논문 다섯 편

앞선 글에서 검증 가능 보상 강화학습(RLVR)의 전선이 정답 있는 문제 밖으로 이동 중이라고 정리했습니다. 이번에는 그 전선의 최신 좌표를 논문 단위로 짚습니다. 2026년 5월 중순부터 8월 중순까지 석 달 동안 나온 논문 가운데 다섯 편입니다.

선정 기준을 먼저 밝혀 두면, 석 달 안의 논문이라 인용 수는 판별력이 없습니다. 대신 다섯 편이 각각 RLVR의 다른 병목 하나를 대표하도록 골랐고, 커뮤니티 큐레이션(awesome-RLVR 등)에서의 주목도와 프런티어 모델 릴리스의 방법론(GLM-5.3의 후반학습 스케일링, 에이전트 하네스 국면)과 맞닿는 정도를 함께 봤습니다.

하나. 정답이 없으면, 게임을 만들면 됩니다: RLSVR

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards (arXiv 2607.23802, 7월 26일)

요약과 창작 같은 열린 과제에는 채점기가 없습니다. LLM 심판을 세우면 심판이 속고, 사람 선호를 배우면 아부를 배웁니다. 이 논문의 답은 과제를 고치는 것이 아니라 과제를 변환하는 것입니다. 열린 과제를 내부 규칙만으로 보상이 자동 생성되는 대리 게임 환경으로 바꿉니다.

구현체인 SpyRL은 마피아류 사회적 추론 게임 "누가 스파이인가"에서 구조를 빌립니다. 참가 에이전트들에게 비대칭 정보를 주고 같은 과제(예: 같은 글의 요약)를 수행하게 한 뒤, 서로의 출력을 보고 스파이를 투표로 가려내게 합니다. 스파이가 누구인지는 미리 정해져 있으므로 투표 결과는 완전히 검증 가능하고, 스파이를 잘 가려내려면 출력의 품질이 좋아야 하므로 게임 성적이 과제 품질과 연동됩니다. 정답 없는 과제 위에 정답 있는 게임을 얹어 보상을 합성한 것입니다.

의미를 짚으면, 이것은 검증기를 "찾는" 대신 "합성하는" 계보의 진전입니다. 자기 확신도나 다수결 같은 앞선 무검증기 방법들이 모델 내부 신호에 기댔다면, SpyRL은 게임 이론적 구조라는 외부 규칙에 기댑니다. 남는 질문도 분명합니다. 게임 성적과 과제 품질의 연동이 끊기는 순간, 모델은 요약을 잘하는 대신 게임을 잘하게 됩니다. 대리 보상의 정렬 문제는 사라진 것이 아니라 한 층 위로 올라갔습니다.

둘. 검증기도 스케일링 대상입니다: 검증 지평선

Verification Horizon (arXiv 2606.26300, 6월)

RLVR의 아킬레스건은 검증기가 속는다는 것입니다. 검증 루프 이야기에서 다뤘듯, 훈련이 길어지면 모델은 문제를 푸는 대신 채점기의 허점을 팝니다. 이 논문의 기여는 그 문제를 한탄이 아니라 스케일링 축으로 바꾼 것입니다. 검증기의 능력을 확장성·충실성·강건성의 세 축으로 분해하고, 검증기 쪽에 컴퓨팅과 데이터를 부으면 어디까지 단단해지는지 측정했습니다.

수치가 논지를 요약합니다. 연구 기준으로 강화된 검증 체계 아래에서 보상 해킹형 풀이의 통과율은 28.57퍼센트에서 0.56퍼센트로 떨어졌고, 같은 기간 정상 풀이의 해결률은 40.22퍼센트에서 60.53퍼센트로 올랐습니다. 해킹을 막느라 성능을 희생한 것이 아니라, 채점이 정확해지자 학습 신호가 깨끗해져 성능이 함께 오른 것입니다.

산업적 함의가 큽니다. 지금까지 컴퓨팅 예산은 정책 모델(풀이하는 쪽)에 몰렸고 검증기는 고정된 채점 스크립트였습니다. 이 결과는 검증기를 정책과 함께 키우는 이중 스케일링이 다음 표준이 될 것임을 시사합니다. 검증기 품질이 롤아웃 규모보다 먼저라는 명제의 정량 근거이기도 합니다.

셋. 맞았다·틀렸다는 1비트뿐입니다: 린 과정 검증 RL

Process-Verified RL for Theorem Proving via Lean (arXiv 2606.20068, 6월 18일, 김민수·윤세영)

수학 증명의 RLVR은 지금까지 증명 전체가 통과했는가라는 이진 신호로 학습했습니다. 100단계짜리 증명이 99단계까지 맞고 마지막에 틀려도 보상은 0입니다. 저자들(윤세영 교수는 카이스트 AI대학원 소속으로 알려져 있습니다)의 제안은 린(Lean) 증명 보조기를 평가용이 아니라 훈련 중의 과정 오라클로 쓰는 것입니다. 증명 시도에서 전술(tactic) 시퀀스를 뽑아 린의 정교화 시스템으로 어느 단계까지 국소적으로 건전했는지, 최초 실패 지점이 어디인지를 식별하고, 이 촘촘한 신호를 GRPO 계열 목적함수에 최초 오류 전파와 첫 토큰 신용 방식으로 통합합니다.

결과는 MiniF2F와 ProofNet 벤치마크에서 전술 수준 감독이 결과만 보는 기준선을 대부분의 설정에서 능가하는 것으로 보고됐습니다(논문 기준). 방법의 우아함은 보상 모델을 새로 학습하지 않았다는 데 있습니다. 형식 시스템이 이미 갖고 있던 구조적 피드백을 꺼내 쓴 것이라, 학습된 채점기가 갖는 게이밍 위험이 없습니다. 한계도 그 우아함의 뒷면입니다. 린처럼 기계가 과정을 검사할 수 있는 형식 세계 밖으로는 그대로 이식되지 않습니다. 그래서 이 논문은 "형식화할 수 있는 영역부터 과정 보상을 공짜로 얻는다"는 전략의 증명으로 읽는 것이 정확합니다.

넷. 점수는 오르는데 읽을 수가 없습니다: 탠덤 RLVR

Tandem Reinforcement Learning with Verifiable Rewards (arXiv 2606.28166, 6월 26일)

RLVR의 알려진 부작용이 있습니다. 정답률을 쫓다 보면 추론 사슬이 사람이 읽기 힘든 방향으로 표류합니다. 언어가 뒤섞이고, 문장이 무너지고, 결과는 맞는데 과정은 해독 불가가 됩니다. 이 논문은 그 드리프트를 규제가 아니라 협주 구조로 풉니다.

강한 모델(시니어)과 약한 모델(주니어)이 하나의 추론을 확률적으로 번갈아 이어 씁니다. 완성된 추론이 팀으로 채점되고, GRPO 갱신은 시니어에게만 적용됩니다. 시니어 입장에서 보상을 극대화하려면 주니어가 이어받아도 무너지지 않는 추론을 써야 합니다. 읽기 쉬움이 훈련 목표에 내장되는 것입니다. Qwen3-4B 경시 수학 실험 기준으로, 단독 성능은 일반 GRPO와 같게 유지하면서 주니어에게 넘겼을 때의 강건성이 오르고 분포 표류가 줄었으며 사슬이 더 읽기 쉬워졌습니다.

이 논문을 고른 이유는 실무 함의 때문입니다. 에이전트 추론이 감사와 협업의 대상이 되는 시대(모델 출력에 사람이 서명해야 하는 구조)에서, 읽을 수 없는 추론은 능력이 아니라 부채입니다. 약한 동료가 따라올 수 있는가를 보상에 넣는 발상은, 사람이 따라올 수 있는가의 대리 지표를 처음으로 훈련 루프 안에 넣은 시도로 읽힙니다.

다섯. 긴 과제는 끝나고 나서야 알 수 있습니다: RePro

Retrospective Progress-Aware Self-Refinement for LLM Agent Training (arXiv 2606.14302, 6월 12일)

수십 턴짜리 에이전트 과제의 고질병은 공로 배분입니다. 성공이든 실패든 보상은 끝에 한 번 오는데, 그 결과에 기여한 턴이 어디인지 알 수 없습니다. RePro의 답은 "실행하며 평가하지 말고, 끝난 뒤에 돌아보라"입니다. 에이전트가 궤적을 완주한 뒤, 결과를 아는 상태에서 각 단계가 진전이었는지 후퇴였는지를 스스로 회고 채점하고, 그 자기 생성 신호를 복합 보상으로 훈련(회고 워밍업 후 RePro-PO)에 씁니다.

웹쇼핑·알프월드·소코반 환경에서 Qwen 계열 기준 절대 성공률 최대 12퍼센트포인트 개선을 보고했는데, 부수 발견 두 개가 본 결과만큼 흥미롭습니다. 실행 도중에 진전을 평가하게 하면 오히려 성능이 나빠졌고(사후에 돌아볼 때만 유효), 이런 메타인지 능력은 결과 보상만으로는 창발하지 않았습니다. 스스로를 채점하는 능력조차 공짜로 생기지 않고 별도의 훈련 신호가 필요하다는 뜻입니다.

다섯 편이 가리키는 같은 방향

따로 나온 다섯 논문이 한 문장으로 모입니다. 보상의 원천이 다변화되고 있습니다. 정답지(수학 답, 단위테스트)에서 출발한 RLVR이, 게임 규칙(SpyRL), 형식 시스템의 내부 구조(린), 약한 동료의 이해 가능성(탠덤), 자기 회고(RePro)로 보상의 공급처를 넓히는 중이고, 그 모든 보상의 품질을 지키는 검증기 자체가 스케일링 대상(검증 지평선)이 됐습니다.

이 방향은 지금 산업의 움직임과 정확히 맞물립니다. GLM-5.3이 베이스 모델을 놔두고 후반학습 환경만 수십 배 늘려 도약했고, 딥시크가 하네스를 풀며 경쟁 축을 생태계로 옮긴 국면에서, 후반학습의 병목은 알고리즘이 아니라 보상을 공급하는 능력입니다. 다섯 논문은 그 공급처를 늘리는 다섯 가지 방법이고, 투자자의 언어로 옮기면 이렇습니다. 사전학습 데이터가 지난 사이클의 원자재였다면, 이번 사이클의 원자재는 검증 가능한 보상이며, 그것을 정답지 없는 영역에서 만들어 내는 기술이 지금 가장 빠르게 자라는 중간재 산업입니다.