가중치를 건드리지 않고 에이전트를 전문가로 만드는 다섯 가지 방법

RLVR 연구 동향과 최근 논문 다섯 편을 다뤘으니, 이번에는 반대쪽 축입니다. 강화학습도 파인튜닝도 없이 도메인 에이전트의 업무 수행 역량을 끌어올리는 방법론들입니다.

이 축이 실무에서 본선인 이유는 간단합니다. RL을 돌리려면 환경과 검증기와 롤아웃 컴퓨팅이 필요한데, 대부분의 팀에는 셋 다 없습니다. 그리고 제프 딘이 YC 강연에서 짚었듯, 파라미터 속에 수프처럼 섞인 지식보다 이 문제를 위해 골라 온 컨텍스트가 모델에게 더 또렷하게 읽힙니다. 아래 다섯 편은 그 직관을 방법론으로 만든 연구들이고, 각각 다른 계열 하나씩을 대표하도록 골랐습니다. 영향력의 근거(학회 구두발표 채택, 리더보드 실측, 후속 연구 계보)를 함께 적었습니다.

하나. 프롬프트를 진화시키면 강화학습을 이깁니다: GEPA

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning (arXiv 2507.19457, ICLR 2026 구두발표 채택)

이 논문의 도발적인 제목은 수치로 뒷받침됩니다. 논문 기준으로 GEPA는 2만 4천 롤아웃을 쓴 GRPO 강화학습 대비 최대 20퍼센트 높은 성능을 최대 35배 적은 롤아웃으로 달성했고, 기존 최고 프롬프트 최적화 기법(MIPROv2)을 모든 벤치마크·모델에서 이겼습니다.

방법의 핵심은 성찰의 매체입니다. 강화학습은 시도의 결과를 스칼라 보상 하나로 압축해 배우지만, GEPA는 에이전트의 전체 궤적(추론, 도구 호출, 도구 출력)을 자연어로 되짚어 무엇이 문제였는지 진단하고, 지시문 수정안을 제안·시험하며, 자기 시도들의 파레토 전선에서 상호보완적인 교훈을 유전 알고리즘식으로 교배합니다. 언어로 반성할 수 있는 시스템에게는 언어 자체가 스칼라 보상보다 훨씬 정보량이 큰 학습 신호라는 것이 이 결과의 함의입니다. 표본 효율 35배는 그 정보량 차이의 가격표입니다.

둘. 프롬프트가 아니라 플레이북입니다: ACE

Agentic Context Engineering (arXiv 2510.04618, 스탠퍼드·삼바노바 계열)

에이전트에게 시행착오를 겪게 한 뒤 그 교훈을 시스템 프롬프트에 반영하는 팀은 많습니다. 문제는 이 갱신을 반복하면 컨텍스트가 뭉개진다는 것입니다. 요약을 거듭할수록 세부가 증발하는 컨텍스트 붕괴와, 짧게 고쳐 쓰려는 압력이 유용한 예외 사항을 지우는 문제입니다.

ACE는 컨텍스트를 한 덩어리 프롬프트가 아니라 항목 단위로 축적·정련되는 전략집(플레이북)으로 다룹니다. 생성자가 과제를 수행하고, 성찰자가 궤적에서 교훈을 뽑고, 큐레이터가 그 교훈을 기존 전략집에 증분 병합합니다. 통째로 다시 쓰는 대신 항목을 추가·수정하므로 세부가 보존됩니다. 결과가 인상적입니다. 상호작용 코딩 에이전트 벤치마크 AppWorld 리더보드에서, ACE를 얹은 소형 오픈소스 모델이 프로덕션급 상위 에이전트와 평균 동률을 이뤘고 어려운 분할에서는 앞섰습니다(논문 기준). 딘이 퍼포먼스 힌트 문서로 보여 준 "노하우 문서 주입"을, 사람 없이 자동으로 쓰고 관리하는 체계로 만든 셈입니다.

셋. 실패도 자산입니다: ReasoningBank

ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory (arXiv 2509.25140, 구글 클라우드 AI 리서치)

에이전트 메모리 연구의 흔한 형태는 성공한 궤적을 저장했다가 비슷한 과제에서 재활용하는 것입니다. 구글의 접근은 두 가지를 바꿉니다. 저장 단위를 원시 궤적이 아니라 전략 수준의 교훈으로 증류하고, 성공만이 아니라 실패에서도 증류합니다. 왜 실패했는지가 다음 과제의 안전 규칙이 됩니다.

여기에 메모리 인지 테스트타임 스케일링(MaTTS)을 얹었습니다. 같은 과제를 병렬로 여러 번 시도하며 메모리를 참조·갱신하는 구조로, 논문 기준 상대 효과성을 최대 34.2퍼센트 끌어올리면서 상호작용 스텝은 16퍼센트 줄였습니다. 디테일 하나가 특히 실무적입니다. 검색해 오는 메모리는 한 건일 때 최선이었고, 네 건을 넣자 성공률이 49.7퍼센트에서 44.4퍼센트로 오히려 떨어졌습니다. 기억은 많이 넣을수록 좋은 것이 아니라, 고르는 것이 일이라는 뜻입니다.

넷. 일만 개보다 좋은 일흔여덟 개: LIMI

LIMI: Less is More for Agency (arXiv 2509.17567, 상하이 GAIR)

이 목록에서 유일하게 가중치를 만지는 논문인데, 만지는 방식이 논지를 뒤집습니다. 협업 코딩과 연구 워크플로에서 전략적으로 정선한 시연 78개만으로 지도학습을 했더니, 에이전트 종합 벤치마크(AgencyBench)에서 73.5퍼센트를 기록했습니다. 같은 평가에서 Kimi-K2-Instruct는 24.1퍼센트, GLM-4.5는 45.1퍼센트였고, 1만 개 샘플로 학습한 모델 대비 128분의 1의 데이터로 53.7퍼센트 더 높은 성적입니다(논문 기준).

저자들은 이것을 에이전시 효율 원리라고 부릅니다. 에이전트다움(계획, 도구 사용, 자기 수정의 긴 호흡)은 데이터의 양이 아니라 시연의 질과 완결성에서 나온다는 주장입니다. 함의는 도메인 기업 쪽을 향합니다. 수만 건의 로그보다, 그 도메인 최고 실무자의 끝까지 완주한 작업 기록 수십 개가 더 값진 학습 자산일 수 있습니다. 데이터 해자의 단위가 양에서 질로 옮겨 가는 신호입니다.

다섯. 팀 구조를 기계가 설계합니다: AFlow

AFlow: Automating Agentic Workflow Generation (arXiv 2410.10762, ICLR 2025 구두발표)

같은 모델이라도 어떤 워크플로(생성→검토→투표→수정 같은 호출 구조)에 넣느냐에 따라 성능이 크게 달라집니다. 지금까지 이 구조는 사람이 손으로 설계했습니다. AFlow는 워크플로를 코드로 표현된 탐색 공간으로 정의하고, 몬테카를로 트리 탐색으로 그 공간을 뒤져 과제별 최적 구조를 자동으로 찾습니다. 실행 피드백이 탐색을 이끕니다.

결과는 수동 설계 대비 평균 5.7퍼센트, 기존 자동화 기법 대비 19.5퍼센트 우위였고, 더 중요한 발견은 좋은 워크플로에 넣은 작은 모델이 큰 모델을 비용 몇 퍼센트로 이긴다는 것입니다(논문 기준). 후속 연구(A2Flow 등)가 이어지며 계보가 살아 있습니다. 하네스가 곧 제품이라는 명제의 학술 버전이자, 하네스 설계 자체가 자동화 대상이 된다는 예고이기도 합니다.

다섯 편이 가리키는 것: 경험이 쌓이는 곳이 다릅니다

다섯 편을 관통하는 공통점은 개선의 산출물이 전부 사람이 읽을 수 있는 텍스트라는 것입니다. GEPA의 진화된 지시문, ACE의 플레이북, ReasoningBank의 전략 메모리, LIMI의 정선 시연, AFlow의 워크플로 코드. 이 자산들은 감사할 수 있고, 팀 간에 이식할 수 있고, 무엇보다 모델을 갈아끼워도 살아남습니다. 딥시크가 하네스를 풀며 모델을 부품으로 만든 국면에서, 부품이 바뀌어도 남는 자산이 무엇이냐는 질문에 대한 답이 정확히 이 목록입니다.

효율의 숫자들도 같은 방향을 가리킵니다. 롤아웃 35배 절감(GEPA), 데이터 128배 절감(LIMI), 소형 모델의 역전(ACE, AFlow). 프런티어급 자본 없이 도메인 에이전트를 끌어올려야 하는 팀에게 이 축은 차선책이 아니라 본선입니다.

경계할 것도 다섯 편 안에 이미 들어 있습니다. 컨텍스트 자산은 공짜로 좋아지지 않습니다. 방치하면 붕괴하고(ACE가 다루는 문제), 많이 쌓는다고 좋아지지 않으며(ReasoningBank의 한 건짜리 검색이 네 건을 이긴 결과), 자산의 품질을 누가 채점하느냐는 검증 루프의 문제가 형태만 바꿔 그대로 남습니다. 그래서 실사 질문도 바뀝니다. "파인튜닝을 했는가"가 아니라, 이 팀은 무엇을 컨텍스트 자산으로 축적하고 있고, 그 자산은 모델이 바뀐 다음 날에도 가치가 있는가입니다.