공개된 GRPO만으로 에이전트는 만들어지지 않는다
딥시크가 GRPO(Group Relative Policy Optimization)를 공개했고, OpenRLHF·veRL·AReaL 같은 학습 프레임워크도 소스 코드를 열었습니다. 그런데 같은 알고리즘을 가져다 쓴다고 에이전트 성능까지 복제되지는 않습니다. 공개된 수식은 학습 규칙이고, 실제 성능을 결정하는 것은 환경·검증기·실행 시스템이 연결된 전체 루프이기 때문입니다.
에이전트 강화학습은 수학 문제의 정답만 채점하는 학습보다 훨씬 복잡합니다. 모델이 검색하고, 파일을 읽고, 코드를 실행하고, 문서를 만들고, 중간 오류를 복구하는 전 과정을 실제 또는 모사된 환경에서 반복해야 합니다. 마지막 결과가 틀렸을 때 원인이 모델인지, 도구인지, 컨테이너인지도 구분해야 합니다. 여기에 수백·수천 개 GPU와 CPU 샌드박스를 쉬지 않게 돌리는 문제가 더해집니다.
업스테이지의 Solar Open 2 기술보고서는 이 간극을 비교적 구체적으로 공개한 사례입니다. 보고서에 따르면 업스테이지는 업무 환경과 검증기를 직접 만들고, 긴 에이전트 실행에 맞춘 완전 비동기 강화학습 시스템을 구축한 뒤, 12개 분야별 전문가 모델을 하나로 통합했습니다. 성과의 핵심은 특정 알고리즘 하나보다 학습 가능한 일을 만들고, 대규모로 실행하고, 잘못된 신호를 걸러내는 시스템 능력에 가깝습니다.
수식보다 긴 학습 루프
GRPO의 기본 생각은 이해하기 어렵지 않습니다. 하나의 질문에서 여러 답을 생성하고, 같은 묶음 안에서 상대적으로 좋은 답의 확률을 높입니다. 수학이나 코딩처럼 정답을 자동 검사할 수 있는 영역에서는 특히 강력합니다. DeepSeek-R1 논문도 규칙 기반 보상과 GRPO로 추론 능력을 끌어올렸습니다.
하지만 에이전트 강화학습에서 모델의 답은 텍스트 한 덩어리가 아닙니다. 계획 → 도구 선택 → 인자 작성 → 환경 변화 → 결과 관찰 → 다음 행동이 이어지는 궤적(trajectory)입니다. 학습 루프에는 최소 다섯 종류의 시스템이 함께 움직입니다.
OpenRLHF 논문은 일반 RLHF만 해도 액터·비평 모델·보상 모델·기준 모델을 분산 환경에서 조정해야 한다고 설명합니다. veRL의 HybridFlow 논문은 각 계산 노드가 이미 분산 학습 또는 생성 프로그램이고, 노드 사이 데이터 이동은 다대다 통신이라고 정의합니다. 오픈소스 프레임워크가 필요한 이유 자체가 이 복잡성을 보여줍니다.
프레임워크를 설치하는 것과 안정적인 학습 시스템을 갖추는 것도 다른 일입니다. 어떤 GPU를 생성과 학습에 몇 장씩 배치할지, 긴 작업과 짧은 작업을 어떤 순서로 섞을지, 환경 장애를 어떤 코드로 분류할지, 새 가중치를 언제 배포할지, 오래된 궤적을 어디까지 허용할지는 모델·과제·클러스터마다 다시 결정해야 합니다.
에이전트는 작은 오류를 길게 누적합니다
단답형 추론은 마지막 답이 맞는지 검사하면 됩니다. 에이전트는 중간 행동 하나가 다음 상태를 바꿉니다. 잘못된 파일을 열거나, API 인자를 틀리거나, 사용자의 숨은 제약을 놓치면 이후 추론이 아무리 좋아도 복구하기 어렵습니다.
이를 단순화해 각 단계의 성공 확률이 모두 p이고 서로 독립이라고 가정하면, n단계 전체의 성공 확률은 pⁿ입니다. 실제 에이전트 행동은 독립도 아니고 동일 난이도도 아니므로 예측식이 아니라 오류 누적의 방향을 보여주는 예시입니다.
| 단계별 성공률 | 10단계 완주 | 50단계 완주 | 100단계 완주 |
|---|---|---|---|
| 98.0% | 81.7% | 36.4% | 13.3% |
| 99.0% | 90.4% | 60.5% | 36.6% |
| 99.5% | 95.1% | 77.8% | 60.6% |
단계별 정확도를 99.0%에서 99.5%로 0.5%포인트 높이는 작은 개선이 100단계 완주율에서는 36.6%에서 60.6%로 커집니다. 반대로 한두 번의 도구 호출만 평가하는 벤치마크에서 비슷한 모델도 긴 업무에서는 크게 벌어질 수 있습니다.
에이전틱 성능을 어렵게 만드는 문제는 네 갈래입니다.
- 행동이 상태를 바꿉니다. 파일 생성, 데이터베이스 수정, 웹 탐색은 되돌릴 수 없거나 다음 관찰을 바꿉니다.
- 보상이 늦고 희소합니다. 100번 행동한 뒤 받은 실패 점수만으로 어느 행동을 고쳐야 하는지 알기 어렵습니다.
- 정답이 하나가 아닙니다. 보고서·프레젠테이션·검색 결과처럼 형식과 내용의 품질을 함께 평가해야 하는 일은 단일 규칙으로 채점하기 어렵습니다.
- 모델과 하네스가 결합됩니다. 같은 모델도 도구 설명, 호출 형식, 오류 메시지, 재시도 정책이 달라지면 성능이 바뀝니다.
DeepSeek-R1 연구진도 쓰기처럼 신뢰할 수 있는 규칙형 검증기를 만들기 어려운 문제에서는 순수 RL 확장이 아직 열린 과제라고 명시했습니다. 보상 모델을 쓰면 정책이 실제 일을 잘하는 대신 채점기의 허점을 찾는 보상 해킹 위험이 생깁니다.
오픈소스에 들어 있지 않은 다섯 자산
GRPO 구현과 분산 프레임워크를 내려받아도 다음 자산은 자동으로 생기지 않습니다.
| 빠진 자산 | 실제로 필요한 것 | 실패하면 생기는 일 |
|---|---|---|
| 과제 분포 | 실사용과 닮고 난이도가 조절된 프롬프트 | 벤치마크만 잘 푸는 모델 |
| 상태형 환경 | DB·브라우저·터미널·문서 도구와 격리 실행 | 도구 호출을 실제 행동으로 연결하지 못함 |
| 검증기 | 최종 상태, 실행 결과, 근거, 형식을 판정하는 규칙 | 보상 해킹 또는 잘못된 음성 보상 |
| 학습 운영 | 생성·보상·학습·가중치 배포의 자원 배치 | GPU 대기, 통신 병목, 학습 불안정 |
| 관측 가능성 | 궤적·정책 버전·장애 원인·보상별 지표 | 모델 실패와 인프라 실패를 구분하지 못함 |
이 자산은 서로 독립적이지 않습니다. 환경을 바꾸면 과제와 검증기도 바뀌고, 궤적 길이가 늘면 자원 배치와 정책 신선도 제어도 바뀝니다. 에이전트 RL의 재현 단위는 알고리즘 저장소가 아니라 과제에서 보상까지 이어지는 실행 가능한 시스템입니다.
메타와 허깅페이스가 OpenEnv 사양과 환경 허브를 별도로 만든 것도 같은 문제의식입니다. 모델 코드처럼 환경도 표준화하고 공유해야 에이전트 학습과 평가를 재현할 수 있다는 뜻입니다. 알리바바는 학습 프레임워크 ROLL과 별개로 샌드박스 환경 관리 도구 ROCK을 공개했습니다. 환경은 RL 코드의 부속품이 아니라 별도의 기반 시설로 분리되고 있습니다.
동기식 학습은 가장 느린 작업을 기다립니다
에이전트 궤적 길이는 들쭉날쭉합니다. 어떤 작업은 도구를 세 번 쓰고 끝나지만, 다른 작업은 수십 번 검색하고 코드를 재실행합니다. 동기식 학습에서는 한 묶음의 모든 궤적이 끝나야 다음 모델 갱신으로 넘어갑니다. 대부분의 생성 장치가 일을 끝내도 가장 긴 작업 하나 때문에 기다립니다.
완전 비동기화하면 액터는 계속 궤적을 만들고, 트레이너는 충분한 데이터가 모이는 즉시 학습할 수 있습니다. 대신 학습 중인 모델은 이미 여러 번 갱신됐는데 버퍼의 궤적은 과거 정책이 만들었을 수 있습니다. 이 정책 시차(staleness)가 커지면 현재 모델이 실제로 만들지 않을 행동을 학습해 불안정해집니다.
AReaL 논문은 생성과 학습을 완전히 분리해 동일한 GPU 수에서 동기식 시스템 대비 최대 2.57배의 학습 속도 향상을 보고했습니다. 동시에 작업량 균형으로 데이터 시차를 제어하고, 오래된 표본을 다루는 PPO 변형을 함께 도입했습니다. 비동기화는 단순한 성능 최적화가 아니라 처리량과 학습 정합성을 맞바꾸는 알고리즘·시스템 공동 설계입니다.
업스테이지는 환경부터 비동기 학습까지 연결했습니다
업스테이지가 공개한 경로는 두 세대로 이어집니다. Solar Open 1 기술보고서는 생성·보상 계산·학습을 독립 프로세스로 분리하고 중간 결과를 저장하는 SnapPO를 소개했습니다. 당시 보고서는 480개 B200 GPU로 3개월 안에 20조 토큰 사전학습을 수행했고, B200 기준 처리량을 초당 4,000토큰에서 7,200토큰으로 높였다고 밝혔습니다. 강화학습도 하나의 온라인 루프로 단단히 묶지 않고, 분야별 데이터와 보상을 교체하기 쉬운 순환형 오프폴리시 구조로 만들었습니다.
Solar Open 2에서는 이 접근이 장기 에이전트용 완전 비동기 시스템으로 발전했습니다. 공개 보고서가 밝힌 핵심은 다음과 같습니다.
액터와 트레이너를 다른 GPU 풀에 둡니다
액터는 궤적을 계속 생성하고, 트레이너는 완료된 궤적이 충분히 모이면 업데이트합니다. 새 가중치가 나오면 진행 중인 생성만 잠시 멈추고 가중치를 배포한 뒤, 부분 궤적의 KV 캐시를 새 정책으로 다시 계산합니다.
액터와 트레이너 사이에는 텍스트가 아니라 토큰 ID, 토큰별 정책 버전, 생성 당시 로그확률을 직접 전달합니다. 디토크나이즈와 재토크나이즈 과정에서 토큰 경계가 달라져 학습 신호가 조용히 훼손되는 문제를 피하기 위한 설계입니다.
오래된 궤적을 토큰 단위로 걸러냅니다
각 토큰에 어느 정책 버전이 생성했는지 기록합니다. 신선한 토큰 비율이 기준 이상인 궤적만 학습에 넣고, 그 안에서도 너무 오래된 앞부분은 손실 계산에서 가립니다. 긴 궤적 전체를 버리지 않으면서 오래된 정책의 영향을 제한합니다.
시작 시에는 짧은 궤적만 먼저 버퍼를 채우는 편향을 막기 위해 학습 배치의 N배를 미리 생성합니다. 이후 궤적을 길이별 구간으로 나누고 각 구간에서 하나씩 뽑아 짧고 긴 작업을 함께 학습합니다. 같은 구간에서는 폐기 시점이 가까운 오래된 궤적을 먼저 사용합니다.
환경 장애를 모델 실패로 학습하지 않습니다
파일 시스템 오류나 컨테이너 충돌로 실패한 궤적은 낮은 보상을 받을 수 있습니다. 이를 그대로 학습하면 모델은 자신이 통제할 수 없는 장애를 잘못된 행동으로 배웁니다. 업스테이지는 실패 이유를 기록해 환경 붕괴에 해당하는 궤적을 제외하고, GRPO 비교 묶음의 절반 넘게 유효할 때만 남은 표본을 복제해 묶음 크기를 복원했습니다. 유효 표본이 절반 이하이면 묶음 전체를 버렸습니다.
이 부분은 강화학습 인프라의 의미를 잘 보여줍니다. 높은 GPU 사용률만으로는 충분하지 않습니다. GPU가 빠르게 잘못된 보상을 학습하면 효율이 아니라 손상 속도만 높아집니다. 처리량, 데이터 신선도, 보상 정합성, 장애 추적을 함께 만족시켜야 합니다.
성능의 출발점은 학습 가능한 업무 환경입니다
Solar Open 2는 인터넷에서 에이전트 대화를 모아 학습한 것이 아닙니다. 보고서에 따르면 목표 능력마다 환경을 만들고, 그 안에서 과제를 합성하고, 궤적을 실행한 뒤, 실행 또는 근거 검증을 통과한 사례만 학습에 넣었습니다.
일반 도구 사용에서는 검증기를 먼저 만들었습니다. 데이터베이스의 생성·수정·삭제 작업을 실제로 실행하고 기대 상태를 기록한 뒤, 읽기 도구로 최종 상태를 확인하는 샌드박스형 pytest를 합성했습니다. 코딩에서는 OpenHands·Claude Code·OpenCode·KiloCode·HermesAgent 등 여러 하네스를 사용해 특정 도구 형식에 과적합되는 것을 줄였습니다. 18개 프로그래밍 언어의 저장소 환경은 기본 커밋에서 테스트가 실패하고 정답 패치 후 통과할 때만 채택했습니다.
사무 업무용 OfficeVerse는 11개 산업과 12개 과제 유형을 교차해 작업을 만들었습니다. 공개 데이터를 문서·스프레드시트·프레젠테이션·PDF로 변환하고, 생성 단계마다 규칙형 검증을 통과시켰습니다. 결과물의 기계적 조건과 개방형 품질을 함께 채점한 기록은 지도 미세조정의 입장권이자 강화학습 보상이 됐습니다.
이 설계에는 공통 원칙이 있습니다.
- 최종 상태를 읽어 확인합니다. 도구 호출 문자열이 그럴듯한지가 아니라 실제 환경이 바뀌었는지 검사합니다.
- 과정과 결과를 분리해 채점합니다. 잘못된 도구 사용과 최종 산출물 품질을 다른 신호로 봅니다.
- 여러 하네스에서 실행합니다. 모델이 특정 도구 스키마를 외우는 것을 줄입니다.
- 환경 자체를 검증합니다. 정답 모델이 맞는데 테스트가 실패하는 나쁜 샌드박스를 학습에서 제거합니다.
에이전트 모델의 경쟁력은 파라미터 안에만 있지 않습니다. 어떤 업무를 시뮬레이션할 수 있고, 성공을 얼마나 정확히 판정하며, 실패 사례를 얼마나 빨리 다시 학습 과제로 바꾸는지가 반복 개선 속도를 결정합니다.
12개 전문가의 통합도 시스템 문제였습니다
Solar Open 2의 후반학습은 SFT → 다분야 검증 가능 보상 RL → 12개 분야별 전문가 → MOPD 통합의 네 단계입니다. 수학·STEM·코드, 코딩·검색·일반 도구·업무 공간, 지시 준수·선호·안전·답변 거절 같은 능력을 각각 강화한 뒤 하나의 배포 모델로 합쳤습니다.
MOPD(Multi-teacher On-Policy Distillation)에서는 학생 모델이 직접 생성한 궤적을 해당 분야의 교사 모델이 토큰별로 평가합니다. 학생이 실제로 방문한 상태에서 배우므로, 교사가 미리 만든 답만 따라 하는 지도학습의 분포 차이를 줄입니다. 최종 통합 단계에서는 별도 결과 보상을 더하지 않고 교사의 전체 어휘 분포와 학생 분포 사이의 역 KL만 최적화했습니다. 보고서 설명대로라면 프롬프트마다 여러 궤적을 뽑는 그룹형 RL보다 생성 병목을 줄이고, 추가 보상 해킹 표면도 없애는 선택입니다.
수식은 짧지만 2,500억 파라미터 교사 12개를 실제로 운용하는 일은 짧지 않습니다. 보고서가 공개한 시스템 제약은 구체적입니다.
- 교사 추론을 트레이너의 임계 경로에서 빼기 위해 전용 노드를 배치했습니다.
- 모든 토큰 위치에서 196,608개 어휘의 점수를 만들면 마이크로배치당 FP32 기준 약 26GB가 필요했습니다.
- 교사는 최종 로짓 대신 마지막 출력층 직전의 은닉 상태를 보내 전송량을 48분의 1로 줄였습니다.
- 학생은 1,024토큰씩 로짓을 재구성해 GPU 최대 버퍼를 약 1.1GB로 제한했습니다.
- 12개 교사를 GPU에 동시에 올릴 수 없어 하나만 GPU에 두고, CPU의 12개 파라미터 스냅숏을 필요할 때 교체했습니다. 같은 교사로 가는 마이크로배치를 묶어 교체 비용을 나눴습니다.
이는 좋은 알고리즘을 고르는 문제와 다른 종류의 역량입니다. 모델 병렬화, CPU·GPU 메모리 계층, 통신량, 캐시, 작업 순서를 동시에 설계해야 수식이 실제 학습으로 바뀝니다.
공개 성과는 크지만 RL의 단독 효과는 아닙니다
업스테이지의 자체 평가에서 Solar Open 2는 전작보다 에이전트 벤치마크가 크게 올랐습니다.
| 벤치마크 | Solar Open 1 | Solar Open 2 | 측정 대상 |
|---|---|---|---|
| SWE-Bench Verified | 15.4 | 70.4 | 실제 저장소 이슈 해결 |
| Terminal Bench Hard | 2.3 | 28.3 | 터미널 기반 장기 작업 |
| APEX-Agents | 2.4 | 16.6 | 전문 업무 에이전트 |
| MCP-Atlas | 34.4 | 58.2 | MCP 도구 사용 |
| τ³ banking | 7.4 | 19.6 | 상태형 고객 업무 |
| Ko-GDPval | 3.4 | 86.8 | 한국어 사무 산출물 |
수치는 Solar Open 2 기술보고서의 업스테이지 자체 측정입니다. Ko-GDPval은 회사가 설계한 내부 벤치마크이고, 공개 벤치마크도 회사의 실행 하네스와 설정을 사용했습니다.
이 상승을 강화학습 하나의 효과로 읽어서는 안 됩니다. 두 세대는 총 파라미터 1,020억에서 2,500억으로 커졌고, 활성 파라미터·사전학습 데이터·문맥 길이·아키텍처·과제 환경·하네스가 함께 달라졌습니다. 같은 기본 모델과 같은 평가 하네스에서 RL 전후, 비동기 제어 유무, 환경 데이터 유무를 비교한 제거 실험이 공개돼야 각 요소의 기여를 분리할 수 있습니다.
다른 국내 모델 개발사의 내부 강화학습 성과도 공개 자료만으로 성공 또는 실패를 판정할 수 없습니다. 확인 가능한 차이는 업스테이지가 알고리즘 이름을 넘어 환경 생성, 검증, 비동기 실행, 분야별 전문가 통합의 구조를 기술보고서에 공개했다는 점입니다. GPU 수, 강화학습 총비용, 실제 장치 사용률, 외부 기관의 독립 재현 결과는 Solar Open 2 보고서에 공개되지 않았습니다.
모델 전체 구조와 성능은 앞서 발행한 Solar Open 2 심층 리뷰에서 별도로 다뤘습니다.
세계의 성공 사례도 환경·인프라·학습법을 함께 바꿨습니다
알고리즘만으로 충분하지 않다는 증거는 다른 공개 사례에서도 반복됩니다.
| 사례 | 공개된 성과 | 알고리즘 밖의 핵심 |
|---|---|---|
| AMD·마이크로소프트 rStar2-Agent | 14B 모델, MI300X 64개, 510 RL 단계, 1주 이내 | 고처리량 Python 환경, 환경 잡음 대응, 단계형 학습법 |
| 알리바바 RollArt | 3,000개 초과 GPU에서 수천억 파라미터 MoE 검증 | CPU 환경 분리, 서버리스 보상, 자원별 배치, 시차 제한 동기화 |
| Moonshot AI Kimi K2 | 수백 분야·수천 도구·수백 에이전트 시뮬레이션 | 실제·합성 MCP, 사용자 시뮬레이터, 규칙표 기반 판정 |
| 메타·허깅페이스 OpenEnv | 환경 사양과 공유 허브 공개 | 모델과 별개인 환경의 이식성·검증 가능성 |
rStar2-Agent 보고서는 GRPO-RoC라는 학습법과 함께 신뢰할 수 있는 Python 코드 환경, 잡음이 있는 실행 결과의 재표본화, 지도학습에서 다단계 RL로 넘어가는 순서를 핵심 혁신으로 제시했습니다. 같은 논문은 64개 AMD MI300X에서 510번의 RL 단계를 1주 안에 수행했다고 보고했습니다. 하드웨어의 의미는 GPU 브랜드가 아니라, 제한된 자원에서도 환경 실행 비용과 학습을 함께 최적화한 사례라는 데 있습니다.
알리바바와 홍콩과기대의 RollArt 논문은 에이전트 RL을 계산 집약적인 프리필, 메모리 대역폭 중심의 디코드, CPU 중심의 상태형 환경, 순간적으로 몰리는 보상 계산의 혼합 워크로드로 정의합니다. 각 단계를 적합한 하드웨어에 분리하고 궤적 단위 비동기 실행과 정책 시차 제한을 적용해, 비교 시스템보다 학습 시간을 1.31~2.05배 단축했다고 보고했습니다. 알리바바 Qoder용 수천억 파라미터 MoE를 3,000개가 넘는 GPU에서 학습해 규모도 검증했습니다.
Kimi K2 공개 자료는 수백 개 분야, 실제·합성 MCP를 포함한 수천 개 도구, 수백 개 에이전트와 사용자 시뮬레이션을 만들었다고 설명합니다. 검증 가능한 수학·코딩과 달리 보고서 작성처럼 정답이 열린 과제에는 모델이 스스로 비평하는 보상 체계를 썼고, 검증 가능한 온폴리시 궤적으로 그 비평기를 계속 갱신했습니다. 여기서도 핵심은 한 종류의 보상이 아니라 과제 성격에 따라 다른 검증 체계를 묶는 일입니다.
공통 패턴은 선명합니다. 성공 사례는 새 알고리즘만 발표하지 않습니다. 신뢰할 환경, 잡음을 견디는 보상, 생성과 학습의 자원 배치, 단계별 학습 순서를 함께 공개합니다.
강화학습 인프라의 효율은 학습된 성공량입니다
에이전트 RL 인프라를 평가할 때 GPU 사용률 하나만 보면 중요한 부분을 놓칩니다. 더 유용한 지표는 단위 시간과 비용당 유효한 학습 신호가 얼마나 생겼는지입니다.
| 층위 | 봐야 할 지표 | 잘못 최적화한 경우 |
|---|---|---|
| 실행 | 초당 완료 궤적, 긴 꼬리 지연, 환경 재시작률 | 짧고 쉬운 과제만 많이 생성 |
| 데이터 | 유효 토큰 비율, 시차 분포, 폐기·복제 비율 | 오래된 정책 데이터로 불안정 증가 |
| 보상 | 환경 장애 오분류, 검증기 불일치, 보상 해킹률 | 실패 원인을 모델에 잘못 귀속 |
| 학습 | 트레이너 대기 시간, 통신량, 갱신당 유효 표본 | GPU는 바쁘지만 새 정보가 적음 |
| 성능 | 동일 하네스의 RL 전후 성공률, 길이별 완주율 | 벤치마크나 도구 형식에 과적합 |
| 경제성 | 성공 과제당 GPU·CPU 시간과 총비용 | 처리량 향상이 비용 절감으로 연결되지 않음 |
좋은 시스템은 더 많은 토큰을 만드는 시스템이 아닙니다. 현재 정책과 충분히 가깝고, 환경이 정상 작동했으며, 검증기가 믿을 수 있고, 과제 분포가 실사용을 닮은 궤적을 더 많이 학습시키는 시스템입니다.
외부에서 강화학습 역량을 검증하려면 다음 공개 자료가 필요합니다.
- 같은 기본 모델·하네스·추론 예산에서 RL 전후 성능
- 과제 길이와 도구 종류별 성공률, 반복 실행의 분산
- 환경 장애율과 모델 실패의 분리 기준
- 정책 시차 분포, 버린 토큰과 궤적의 비율
- 액터·트레이너·환경 자원의 대기 시간과 처리량
- 검증기의 위양성·위음성 및 보상 해킹 시험
- 성공한 실사용 과제 한 건당 전체 학습·추론 비용
이 수치가 없으면 높은 벤치마크가 좋은 모델에서 왔는지, 좋은 하네스에서 왔는지, 넉넉한 추론 예산에서 왔는지 분리하기 어렵습니다. 반대로 이 지표를 지속해서 관리하는 조직은 같은 알고리즘을 써도 훨씬 빠르게 환경을 고치고 다음 학습을 설계할 수 있습니다.
공개 코드는 출발선만 평평하게 만듭니다
GRPO, veRL, OpenRLHF, AReaL, ROLL의 공개는 강화학습 진입 장벽을 낮췄습니다. 작은 모델로 수학·코딩 RL을 돌리는 일과 단일 분야의 프로토타입을 만드는 일은 과거보다 쉬워졌습니다. 그러나 장기 에이전트의 재현 난이도는 다른 곳으로 이동했습니다.
정답을 자동 채점할 수 있는 과제를 넘어가면 환경과 검증기가 필요합니다. 여러 업무를 섞으면 길이·보상·하네스 분포를 관리해야 합니다. 규모를 키우면 액터·트레이너·CPU 환경·네트워크가 서로 다른 속도로 움직입니다. 비동기화하면 정책 시차를 제어해야 하고, 샌드박스를 늘리면 장애가 학습 신호에 섞입니다. 여러 전문가를 만들면 다시 하나의 모델로 합칠 비용이 생깁니다.
Solar Open 2가 보여준 의미도 여기에 있습니다. 업스테이지는 공개된 강화학습 방법을 적용한 데서 멈추지 않고, 한국어 사무 업무를 포함한 학습 환경, 실행 가능한 검증기, 완전 비동기 학습, 실패 원인 분리, 다중 전문가 통합을 하나의 체계로 연결했습니다. 공개 성과만으로 모든 인과관계를 확정할 수는 없지만, 에이전트 모델의 격차가 어디에서 만들어지는지는 분명히 보여줍니다.
에이전트 시대의 강화학습 경쟁력은 수식을 아는가가 아니라, 신뢰할 수 있는 경험을 얼마나 빠르고 싸게 만들어 학습으로 바꾸는가에 달려 있습니다. 코드는 공개될 수 있지만, 환경을 만들고 실패를 해석하며 시스템을 안정화한 반복 경험은 자동으로 복제되지 않습니다.
주요 공개 자료
- Upstage, Solar Open 2 Technical Report, 2026년 7월.
- Upstage, Solar Open Technical Report, 2026년 1월.
- DeepSeek-AI, DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature, 2025년.
- OpenRLHF Team, OpenRLHF, 2024년.
- ByteDance Seed, HybridFlow: A Flexible and Efficient RLHF Framework, 2024년.
- Ant Research, AReaL, 2025년.
- Microsoft Research Asia, rStar2-Agent, 2025년.
- Alibaba Group·HKUST, RollArt, OSDI 2026.
- Moonshot AI, Kimi K2: Open Agentic Intelligence, 2025년.
- Meta·Hugging Face, OpenEnv 소개, 2025년.
벤치마크와 시스템 수치는 각 개발사·연구진의 공개 보고 기준이며, 별도 독립 재현 전입니다. 100단계 완주율 표는 단계별 성공이 동일하고 독립적이라는 단순 가정의 계산 예시입니다.