← Back to list2026-08-15

RLVR의 다음 전선은 정답이 없는 문제입니다

RLVR강화학습RL 환경후반학습AI 스타트업

정답을 기계가 채점할 수 있는 문제에서, 채점 결과를 보상으로 삼아 모델을 강화학습시키는 방법. 검증 가능 보상 강화학습(RLVR)은 딥시크 R1과 GRPO 알고리즘이 공개된 뒤 2년 만에 프런티어 후반학습의 표준이 됐습니다. 수학은 정답 대조로, 코드는 단위테스트로 채점하면 사람 라벨 없이 보상이 나오기 때문입니다. 연구 밀도도 그대로 따라왔습니다. 공개 큐레이션 기준으로 올해 ICLR과 ICML에서만 관련 논문 135편이 목록에 추가됐습니다.

그런데 지금 이 분야에서 벌어지는 일을 한 문장으로 줄이면 이렇습니다. 정답이 있는 문제는 방법이 정리됐고, 전선은 정답이 없는 문제로 옮겨 갔습니다. 그리고 그 이동을 따라 스타트업 지형이 두 층으로 갈라졌습니다. 이 방법을 제품에 쓰는 회사와, 이 방법의 재료를 파는 회사입니다.

정리되어 가는 논쟁: RL은 압축인가, 확장인가

지난 1년의 가장 큰 학술 논쟁부터 봐야 합니다. RLVR이 모델에 새 능력을 만들어 주는가, 아니면 기반 모델이 이미 아는 것을 증폭할 뿐인가라는 질문입니다.

회의론의 근거는 pass@k라는 측정에서 나왔습니다. 모델에게 같은 문제를 k번 풀게 했을 때 한 번이라도 맞히는 비율을 보면, RLVR을 거친 모델은 한 번에 맞히는 확률(pass@1)은 크게 오르지만 수백 번 시도했을 때의 상한(pass@k)은 기반 모델과 별 차이가 없다는 관찰이었습니다. 즉 RL은 이미 존재하던 정답 경로를 자주 뽑히게 눌러 주는 압축이지, 없던 경로를 만드는 확장이 아니라는 주장입니다.

반론은 두 방향에서 왔습니다. 하나는 훈련을 길게 끌고 과제를 다양화하면 이야기가 달라진다는 것입니다. 엔비디아의 ProRL 계열 연구 기준으로, 수천 스텝 이상 장기 RL을 돌리면 기반 모델이 몇백 번을 시도해도 못 풀던 문제를 푸는 사례가 나타났습니다. 다른 하나는 측정 자체의 결함 지적입니다. 최종 답만 채점하는 pass@k는 엉터리 풀이로 찍어 맞힌 것도 성공으로 세는데, 풀이 과정까지 함께 채점하는 지표(CoT-Pass@K)로 다시 재면 RLVR이 옳은 추론의 비율 자체를 올린다는 결과가 나왔습니다(연구 기준).

공개 연구 기준 정리. 이 논쟁이 남긴 것은 승패보다, 무엇을 어떻게 재야 하는지에 대한 합의입니다.

투자자 관점에서 이 논쟁의 함의는 명확합니다. RLVR의 수확은 공짜가 아니라 롤아웃 컴퓨팅과 과제 다양성에 비례한다는 것, 그래서 이 방법의 원가는 곧 환경과 채점기의 원가라는 것입니다.

연구 전선: 보상이 정답 없는 곳으로 넓어지는 중입니다

수학·코드의 방법론이 정리되자, 연구는 채점기가 없던 곳에 채점기를 만드는 방향으로 움직이고 있습니다. 갈래가 셋입니다.

루브릭 보상. 좋은 답의 조건을 항목별 체크리스트(루브릭)로 쪼개고, 항목 충족 여부를 채점해 보상으로 씁니다. 정답은 없지만 기준은 있는 문제(의료 상담, 법률 검토, 글쓰기)에 검증 가능 보상을 이식하는 방법이고, 프런티어 랩들의 평가·훈련 양쪽에서 표준이 되어 가고 있습니다.

생성형 검증기. 검증기 자체를 모델로 만들되, 그 검증기를 다시 강화학습으로 훈련합니다. 장문 에이전트 과제의 채점기를 RL로 학습시키는 OpenReward 계열, 비검증 과제와 검증 보상 사이에 다리를 놓는 Writing-Zero 계열이 여기 속합니다. 요점은 채점기가 사람 선호의 근사가 아니라 검증 절차의 근사가 되도록 만드는 것입니다.

불완전 채점기의 이론. 현실의 검증기는 오탐과 미탐을 냅니다. 노이즈 낀 보상 아래에서 RLVR이 언제 무너지고 어떻게 보정하는지에 대한 이론 연구가 올라오고 있는데, 실무적 결론은 단순합니다. 채점기 품질이 롤아웃 규모보다 먼저라는 것. 시끄러운 채점기에 컴퓨팅을 붓는 것은 낭비를 가속할 뿐입니다. 채점기가 속아 넘어가는 문제는 검증 루프 이야기에서 자세히 다뤘습니다.

그리고 이 셋을 관통하는 형태 변화가 있습니다. 훈련 재료가 데이터셋에서 환경으로 바뀌는 것입니다. 단일 문답이 아니라 도구를 쓰고 여러 턴을 돌며 장기 과제를 수행하는 에이전트 RL에서는, 문제·실행 공간·채점기가 한 덩어리로 묶인 환경이 곧 데이터입니다. 허깅페이스가 환경 인터페이스 표준(OpenEnv)을 밀기 시작한 것도, "RL 환경이 다음 진보의 핵심 병목"이라는 프라임 인텔렉트의 선언도 같은 이동을 가리킵니다.

아래로 갈수록 현실 업무에 가깝고, 채점기를 만드는 비용이 커집니다. 연구와 투자가 모두 아래 두 칸으로 이동 중입니다.

스타트업 지형: 쓰는 회사와 파는 회사

이 방법론이 실험실 밖에서 실제로 어떻게 쓰이는지는 두 층으로 나눠 봐야 합니다.

제품에 직접 쓰는 회사들. 가장 선명한 사례는 코딩 도구 회사들입니다. 커서(Cursor)는 자체 모델 컴포저를 샌드박스 환경에서의 강화학습으로 훈련했습니다. 정적 데이터셋이 아니라 실제 개발 도구를 쓰는 코딩 과제 위에서 학습시켰고, 발표 기준으로 후속 버전에서는 RL 환경의 복잡도와 규모를 키우고 훈련 컴퓨팅을 자릿수로 늘리는 방향을 밝혔습니다. 윈드서프(Windsurf)의 SWE-1.5도 같은 계열인데, 공개된 인프라 설계가 흥미롭습니다. 오터링크라는 자체 하이퍼바이저로 수만 대의 가상머신을 동시에 띄워 코드 실행과 웹 브라우징이 되는 고충실 환경에서 롤아웃을 돌렸습니다(발표 기준). 에이전트 RL의 병목이 GPU만큼이나 환경 오케스트레이션이라는 것을 보여 주는 사례입니다.

이 층의 교훈은 해자의 위치입니다. 두 회사 모두 자기 제품이 곧 훈련 환경입니다. 사용자가 일하는 도구를 소유한 회사는 과제 분포와 채점 신호를 공짜로 얻습니다. 현장 데이터 루프가 해자가 되는 구조의 RLVR판입니다. 국내에서도 같은 패턴이 확인됩니다. 딥시크 V4-Flash와 업스테이지 솔라 오픈 2의 도약이 모두 구조 변경 없는 에이전트 후반학습에서 나왔습니다.

재료와 도구를 파는 회사들. RLVR의 공급망이 산업으로 분화했습니다.

발표·공개 자료 기준. 두 층의 경계 사례(자기 환경을 만들며 파는 회사)가 늘어나는 것이 다음 단계입니다.

프라임 인텔렉트는 환경 허브를 "RL 환경판 허깅페이스"로 키우면서 검증기 라이브러리와 훈련 프레임워크, 호스팅 후반학습까지 수직으로 쌓고 있습니다. 메커나이즈는 프런티어 랩 대상 고충실 코딩 환경을, 플릿은 CRM과 스프레드시트 같은 기업 소프트웨어를 복제한 환경을 만듭니다. 씽킹머신즈의 첫 제품 팅커는 연구자가 손실함수와 학습 루프를 쥔 채로 관리형 인프라에서 RL 파인튜닝을 돌리게 하는 API이고, 오픈파이프의 ART는 멀티스텝 에이전트를 GRPO로 훈련하는 오픈소스 트레이너입니다. 채점기를 사람이 일일이 설계하는 대신 LLM 심판에게 여러 롤아웃의 상대 순위만 매기게 하는 RULER 같은 실용 기법도 이 층에서 나왔습니다.

판단

RLVR은 이제 모델 기법이 아니라 공급망입니다. 환경 제작, 검증기 설계, 롤아웃 인프라, 훈련 도구가 각각 별도 사업이 됐습니다. 후반학습 한 번의 원가 구조에서 GPU 다음으로 큰 항목이 환경과 채점기가 되어 가고 있고, 그 항목을 파는 회사들이 이 사이클의 곡괭이 장사입니다.

해자는 환경 소유로 이동합니다. 파는 층이 커질수록 범용 환경은 커모디티가 됩니다. 오래 남는 것은 남이 복제할 수 없는 환경, 즉 실제 사용자가 실제 업무를 수행하는 제품 그 자체입니다. 커서와 윈드서프가 보여 준 것은 코딩 도구 이야기가 아니라, 제품을 가진 회사가 후반학습에서 구조적으로 유리하다는 일반 명제입니다.

경계 조건은 채점기 품질입니다. 불완전 검증기 이론과 검증기 게이밍 연구가 같은 지점을 가리킵니다. 보상이 시끄럽거나 속일 수 있으면 컴퓨팅은 낭비가 아니라 독이 됩니다. 이 분야 실사에서 물을 것은 "RL을 쓰는가"가 아니라 보상이 참을 말하는지 어떻게 확인하는가입니다.

수학과 코드에서 시작한 이 방법이 루브릭과 환경으로 넓어지는 궤적은, 이 세션에서 반복해 온 지도와 겹칩니다. 검증 가능한 영역이 곧 자동화되는 영역이고, 검증기를 넓히는 연구가 곧 그 지도를 넓히는 작업입니다. RLVR 연구 동향을 좇는 일이 AI 산업 전체의 다음 국경선을 좇는 일과 같은 이유입니다.