에이전트를 위한 모델, 실행 경험이 다음 모델을 만듭니다

거래처에 보낼 견적서를 만드는 에이전트를 생각해 봅니다. 제품 정보를 찾고, 할인 조건을 계산하고, 파일을 저장한 뒤 담당자에게 전달해야 합니다. 마지막에 “완료했습니다”라고 답하는 것과 실제로 맞는 견적서가 전달되는 것은 다른 사건입니다. 검색은 맞았지만 계산이 틀릴 수 있고, 계산은 맞았지만 이전 파일을 보낼 수도 있습니다.

이 일을 개선하려면 모범 답안만 모아서는 부족합니다. 어느 단계에서 무엇을 보고 어떤 행동을 했는지, 오류를 어떻게 알아챘는지, 수정 뒤 실제 결과가 달라졌는지가 필요합니다. 에이전트의 학습 자료는 답변에서 실행 과정으로 넓어집니다.

토큰리듬(TokenRhythm)이 2026년 9월 공개한 네오호스-1(NeoHorse-1)은 이 방향을 보여주는 사례입니다. Qwen3.5를 바탕으로 에이전트용 후속 학습을 적용한 약 40억·90억 매개변수 모델이며, 공식 저장소는 모델 공개일을 9월 7일로 기록합니다. 매개변수는 모델이 학습으로 조정하는 내부 수치입니다. 처음부터 초대형 범용 모델을 새로 만든 사례는 아닙니다. 공개 모델은 텍스트를 입력받고 출력하며, 물리 세계에서 배우는 로봇 지능을 입증한 결과와는 구분해야 합니다. 공식 저장소

이 사례에서 읽을 변화는 ‘큰 모델의 시대가 끝났다’가 아닙니다. 실행 중에 얻은 경험을 누가 검증하고, 누구의 다음 모델을 개선하는 데 쓸 수 있느냐가 새로운 경쟁 항목이 된다는 것입니다. 네오호스의 기술적 성과와, 그 성과 위에 세울 수 있는 사업 가설은 구분해야 합니다.

에이전트를 처음 학습시킨 모델은 아닙니다

에이전트의 실행 과정을 모델에 가르치는 시도는 네오호스보다 앞섭니다. 2023년의 FireAct는 다른 모델이 생성한 에이전트 실행 기록을 이용한 미세 조정을 연구했습니다. 같은 해 AgentTuning도 여러 에이전트 과제의 상호작용 기록을 학습에 활용했습니다. ‘에이전트의 언어를 배운 최초의 모델’이라는 표현은 이 선행 연구들과 맞지 않습니다. FireAct · AgentTuning

여기서 에이전트의 언어란 별도의 신비한 언어가 아닙니다. 도구에 전달하는 명령, 도구가 돌려준 결과, 다음 행동을 정하는 데 필요한 작업 상태와 맥락입니다. 견적서 사례라면 가격표를 읽은 기록, 계산 결과, 저장 위치, 전송 성공 여부가 이에 해당합니다.

네오호스의 관심사는 이 기록을 수집하고 학습에 재사용하는 구조입니다. 실행 환경이 일을 여러 모델에 배분하고, 결과를 평가해 부족한 능력을 찾고, 다음 학습 자료의 구성을 바꿉니다. 개선된 모델을 다시 실행 환경에 넣어 다음 경험을 얻겠다는 접근입니다. 논문은 이를 반복적 자기 개선(RSI)을 향한 초기 시제품으로 규정합니다. 기술 보고서

‘자기 개선’이라는 이름 때문에 사용 중인 모델이 매 순간 자신의 가중치를 바꾼다고 읽으면 안 됩니다. 작업의 기억을 저장하는 것, 호출할 모델을 바꾸는 것, 모델 자체를 재학습하는 것은 서로 다른 변화입니다.

일을 나누는 것과 모델을 고르는 것은 다릅니다

멀티 에이전트와 모델 라우팅을 경쟁 관계로 놓으면 기술 구도를 잘못 읽게 됩니다. 둘은 다른 질문에 답합니다.

구분	결정하는 것	견적서 업무에 적용한 예시
여러 에이전트의 협업	일을 어떤 역할로 나눌 것인가	가격 조사, 계산,최종 검토를 별도 작업자로 나눕니다.
모델 라우팅	각 단계에 어떤 모델을 쓸 것인가	정형 정보 추출은 작은 모델, 복잡한 할인 조건 해석은 큰 모델에 맡깁니다.
모델의 후속 학습	실행 경험으로 무엇을 바꿀 것인가	반복된 할인 계산 오류를 반영해 다음 모델 버전의 행동을 개선합니다.

작업자 열 개가 같은 모델을 사용할 수도 있습니다. 반대로 작업자 하나가 진행 상황에 따라 여러 모델을 번갈아 사용할 수도 있습니다. 에이전트 수만으로 모델 수를 알 수 없고, 제품의 작업 분배 기능만으로 신경망 내부 구조를 알 수도 없습니다.

토큰리듬의 선행 논문인 「Agentic Routing」은 이 중 모델 선택을 작업의 매 단계로 가져옵니다. 최초 질문뿐 아니라 도구 오류, 검증 결과, 복구 이력 등 실행 상태를 보고 다음 모델을 선택하겠다는 설계입니다. 여러 모델의 답을 함께 활용하는 방식도 포함합니다. Agentic Routing

처음에는 간단했던 견적서도 환율 규칙이 충돌하거나 파일 저장에 실패하면 어려운 일이 됩니다. ‘쉬운 질문은 작은 모델’이라는 고정 분류보다, 지금 어느 단계가 막혔는지에 따라 능력을 배분하는 것이 중요해집니다.

실패를 복사하지 않고, 실패한 능력을 찾아야 합니다

네오호스의 학습은 실행 기록을 그대로 쏟아붓는 방식이 아닙니다. 구조와 품질을 검사하고, 선별한 기록을 단계적으로 학습시킨 뒤, 학생 모델이 직접 생성한 응답에 교사 모델의 신호를 적용하는 지식 증류를 사용합니다. 실패 기록은 부족한 능력과 다음 학습 자료의 비중을 정하는 데 활용됩니다. 실패한 행동을 정답처럼 모방하는 것과 다릅니다. 네오호스 기술 보고서

견적서에 할인 규칙이 빠졌다고 가정해 봅니다. 최종 파일만 남기면 틀린 견적서가 새로운 학습 자료가 될 수 있습니다. 반면 규칙을 빠뜨린 시점과 수정 과정을 함께 보존하면 어떤 능력이 부족했는지 찾을 수 있습니다. 이 차이가 실행 기록의 잠재적 가치입니다.

다만 결과 검증에도 등급이 있습니다. 파일이 만들어졌다는 사실은 비교적 쉽게 확인할 수 있습니다. 계산식이 맞는지도 별도 계산기로 검사할 수 있습니다. 그러나 고객 상황에 적합한 제안인지, 예외적인 계약 조건을 제대로 해석했는지는 더 어렵습니다. 다른 AI가 높은 점수를 줬다는 이유만으로 실제 업무의 성공이 확정되지는 않습니다.

따라서 경험 학습의 품질은 경험의 양보다 성공과 실패를 얼마나 믿을 만하게 구분했는지에 제한될 수 있습니다. 잘못된 판단을 반복해서 학습시키면 규모가 커질수록 오류도 강화될 수 있다는 점을 경계해야 합니다.

작은 모델은 좋아졌지만, 큰 모델이 불필요해진 것은 아닙니다

공식 성능표에서 같은 크기의 Qwen3.5와 비교하면 개선이 나타납니다. 아래는 저자들이 보고한 10개 평가의 평균이며, 서로 다른 평가를 합친 수치이지 실제 기업 업무의 완료율이 아닙니다. 공식 성능표

모델 규모	기반 모델의 평균 점수	네오호스 평균 점수	차이
약 40억 매개변수	58.94	64.87	+5.93점
약 90억 매개변수	65.60	69.04	+3.44점

차이는 각각 64.87 − 58.94 = 5.93, 69.04 − 65.60 = 3.44입니다. 상대 개선율인 5.93%, 3.44%로 읽으면 안 됩니다. 40억 모델의 학습 후 평균은 90억 기반 모델보다 0.73점 낮습니다. 특정 평가 묶음에서 작은 모델의 부족분을 후속 학습이 상당 부분 줄였다는 신호입니다.

그러나 모든 항목이 좋아진 것은 아닙니다. 90억 모델의 LiveCodeBench와 IFBench 점수는 그대로이고, IFEval은 89.46에서 89.09로 0.37점 낮아졌습니다. 평균만 보면 이런 차이가 사라집니다. 공식 성능표

증거의 범위에도 한계가 있습니다. 논문은 현재 결과를 한 차례의 평가·선별·갱신 과정으로 설명하며, 여러 세대에 걸친 지속적인 개선을 입증하지 않습니다. 평가별 반복 횟수도 다르고, PinchBench와 VitaBench는 각 한 차례 실행한 결과입니다. 일부 점수의 작은 차이에 통계적 확실성을 부여하기 어렵습니다. 실험 방법과 한계

공개한 결과로 입증된 것은 특정 조건에서의 성능 개선입니다. 반복할수록 저절로 똑똑해지는 체계, 프런티어 모델과의 동등한 범용 능력, 실제 서비스의 총원가 절감까지 입증된 것은 아닙니다. 이 글에서도 별도의 재학습이나 독립적인 성능 재현은 수행하지 않았습니다.

모델 크기를 키우는 것과 경험을 잘 학습시키는 것은 대체재로만 볼 수 없습니다. 같은 후속 학습을 적용한 90억 모델의 평균이 40억 모델보다 높다는 사실부터 그렇습니다. 큰 모델이 어려운 사례를 해결하고, 그중 검증된 경험을 작은 모델에 전달하며, 작은 모델이 반복 업무를 맡는 역할 분담이 가능합니다. 어느 크기의 모델을 어느 단계에 쓰는 것이 유리한지는 실제 업무별로 검증해야 합니다.

미국의 단일 두뇌와 중국의 모델 연합이라는 구도는 맞지 않습니다

미국은 하나의 거대한 모델을 만들고, 중국은 여러 공개 모델을 엮어 집단적으로 진화한다는 설명은 이해하기 쉽습니다. 그러나 실제 제품과 연구의 경계는 그렇게 나뉘지 않습니다.

오픈AI의 아스트라 발표는 컴퓨터 사용과 전문 업무 수행 능력을 강조합니다. 그렇다고 ‘하나의 거대한 두뇌로 모든 것을 해결하는 구조’를 입증하는 자료로 읽을 수는 없습니다. 제품의 실행 방식, 서로 다른 모델의 조합, 신경망 내부 구조는 따로 확인해야 합니다. 아스트라 공식 발표

공개된 반례는 분명합니다.

사례	공식 자료에서 확인되는 방식	국적에 따른 이분법과 충돌하는 지점
오픈AI GPT-5	빠른 모델과 추론 모델을 실시간 라우터로 연결했습니다.	미국도 모델 선택을 제품에 통합했습니다.
오픈AI GPT-5.4 mini	큰 모델이 계획·조율·최종 판단을 하고, 작은 모델의 하위 에이전트가 세부 작업을 병렬 실행하는 구성을 설명합니다.	단일 기업 안에서도 여러 크기의 모델을 함께 씁니다.
앤트로픽의 다중 에이전트 리서치	주도 에이전트에 Opus 4, 하위 에이전트에 Sonnet 4를 사용한 시스템을 공개했습니다.	역할 분담과 서로 다른 모델의 조합은 미국에서도 함께 사용됐습니다.
키미 K2.5	조율하는 에이전트를 학습시켜 작업을 분해하고 하위 에이전트를 동적으로 배치합니다.	중국도 모델이 직접 협업 구조를 정하는 접근을 택했습니다.

각 행의 근거는 GPT-5 발표, GPT-5.4 mini·nano 발표, 앤트로픽 시스템 설명, 키미 K2.5 기술 설명입니다. 과거에 공개된 설계를 비교한 것으로, 이 모델들이 현재 각 기업의 최신 모델이라는 뜻은 아닙니다.

토큰리듬의 실행 환경 OpenSquilla도 중국 모델만을 엮는 폐쇄적인 연합으로 보기 어렵습니다. 공식 저장소는 OpenAI·Anthropic·Gemini와 DeepSeek·Qwen 등을 연결하는 제공자별 어댑터를 설명합니다. OpenSquilla 공식 저장소

더 중요한 오해는 ‘경험 공유’입니다. 서로 다른 모델의 실행 기록을 한 사업자가 수집해 자신의 모델을 학습시키는 것과, 딥시크·큐웬·키미 등 여러 개발사가 기록을 서로 공유하며 각자의 모델을 공동 개선하는 것은 다릅니다. 네오호스의 발표만으로 후자를 확인할 수는 없습니다.

공개 가중치도 공동 학습망을 뜻하지 않습니다. 모델을 내려받아 사용할 수 있다는 사실만으로 고객의 업무 기록이나 외부 모델의 출력물을 재학습에 사용할 권리가 생기지는 않습니다. 그 권리와 허용 범위는 각각 확인해야 합니다.

산업을 읽는 데 더 유용한 구분은 한 사업자가 모델·제품·실행 환경을 함께 통제하는 방식과, 여러 제공자의 모델을 조합하는 방식입니다. 전자는 깊은 통합과 안정적인 실행에서, 후자는 모델 선택의 폭과 제공자 교체 가능성에서 경쟁하려 할 것입니다. 어느 방식이 성능과 원가를 더 잘 개선하는지는 국적보다 실제 제품 설계와 데이터 접근권에 달려 있다는 판단입니다.

라우팅 사업자는 자신의 경쟁력이 어디서 생기는지 증명해야 합니다

오늘의 요청을 더 싼 모델에 연결하는 기능만으로 장기적인 경쟁력을 설명하기는 어렵습니다. 기반 모델의 가격이 내려가거나, 큰 모델 제공자가 작은 모델과 라우터를 묶어 제공하면 고객이 별도 사업자를 거칠 이유가 줄어들 수 있기 때문입니다. 오픈AI가 큰 모델과 mini 모델의 조합을 직접 제안한다는 점은 이 경쟁이 가정에만 머물지 않음을 보여줍니다. 공식 제품 설명

반대로 라우팅 사업자가 고객의 실행 과정과 검증 결과를 지속적으로 확보하고, 그 경험으로 특정 업무의 실패를 줄인다면 설명이 달라집니다. ‘어느 모델이 싼지 안다’에서 ‘이 업무가 어디서 실패하고 어떻게 고쳐야 하는지 안다’로 경쟁의 근거가 바뀝니다. 이것은 네오호스가 이미 확보한 사업적 우위라는 사실 판단이 아니라, 이 접근이 만들어낼 수 있는 사업 가설입니다.

그 가설에는 해결해야 할 문제가 있습니다.

실행량이 학습 가능한 데이터량과 같지 않습니다. 고객이 기록 보관은 허용해도 다른 고객을 위한 모델 학습에는 동의하지 않을 수 있습니다. 개인정보를 가리고, 비밀 정보를 분리하고, 허용 범위를 추적하는 비용도 들어갑니다. 자체 모델을 가진다는 사실보다 무엇을 어떤 목적으로 재사용할 수 있는지가 먼저입니다.

선택한 모델의 결과만 보면 선택하지 않은 모델을 과소평가할 수 있습니다. 라우터가 어려운 일을 늘 큰 모델에 보내면, 작은 모델도 그 일을 할 수 있었는지 알기 어렵습니다. 반대로 싼 모델에 쉬운 일만 주고 성공률이 높다고 주장할 수도 있습니다. 일부 과제를 같은 조건으로 여러 모델에 배정하는 비교 실험과, 학습에 쓰지 않은 새로운 업무 평가가 필요합니다.

자체 모델은 중립성과 충돌할 수 있습니다. 중개자가 자기 모델도 판매한다면 고객에게 가장 적합한 모델보다 자기 모델을 먼저 선택할 유인이 생깁니다. 품질 기준, 선택 이유, 실패 시 전환 규칙과 실제 비용을 고객이 확인할 수 있어야 합니다. ‘중립적’이라는 표현보다 확인 가능한 선택 기록이 중요합니다.

고객 한 곳의 경험이 다른 고객에게도 도움이 되는지는 별도 검증 대상입니다. 같은 문서 추출이라도 항목 이름, 승인 규칙, 접근 권한이 다르면 성공했던 행동이 통하지 않을 수 있습니다. 공통 능력은 모델에 학습시키고 고객별 규칙은 별도로 유지하는 편이 나은지, 매번 고객별 모델을 다시 학습해야 하는지에 따라 확장성과 원가가 달라집니다.

이 문제들을 해결하지 못하면 실행 기록은 쌓여도 기업 전체의 학습 자산은 늘지 않을 수 있습니다. 반대로 해결할 수 있다면, 작은 전문 모델과 실행 소프트웨어를 함께 가진 사업자에게 반복 사용의 경제적 가치가 생길 수 있습니다.

토큰 가격보다 검증된 업무 완료 한 건의 원가를 봐야 합니다

작은 모델의 호출 비용이 낮다고 전체 업무가 싸지는 것은 아닙니다. 같은 작업을 반복하고, 결국 큰 모델을 다시 부르고, 사람이 결과를 고쳐야 한다면 처음의 절약분을 잃을 수 있습니다. 모델을 평가하는 표와 서비스를 운영하는 손익계산서 사이에는 이 비용이 놓여 있습니다.

사업 검토에서는 다음 계산이 더 유용합니다.

검증된 업무 완료 한 건의 원가 = 해당 업무 묶음의 총비용 ÷ 같은 품질·기한 기준을 통과한 완료 건수

총비용에는 실패한 시도의 연산비도 포함해야 합니다. 모델 호출, 도구 사용, 재시도, 큰 모델로의 전환, 사람의 검토·수정에 더해 자체 모델을 운영한다면 학습·배포 비용의 배분도 필요합니다. 신속한 완료가 중요한 업무에서는 평균 지연뿐 아니라 특히 오래 걸린 작업과 기한 초과도 확인해야 합니다.

다음은 네오호스의 측정 결과가 아닌 계산을 위한 가상 사례입니다. 동일한 업무 100건 중 95건이 같은 품질과 기한 기준을 통과하고, 학습·개발 고정비는 제외한다고 가정합니다.

운영 방식	업무 100건에 든 실행·검토 비용	검증된 완료 한 건의 원가
큰 모델 중심	총 100달러	100 ÷ 95 = 1.05달러/건
작은 모델과 선택적 전환	작은 모델 20달러 + 큰 모델 30달러 + 검토 10달러 = 60달러	60 ÷ 95 = 0.63달러/건
작은 모델의 재시도가 많은 경우	작은 모델 20달러 + 큰 모델 60달러 + 검토 25달러 = 105달러	105 ÷ 95 = 1.11달러/건

표의 단가는 소수 둘째 자리로 반올림했습니다. 실제 비교에서는 완료 건수와 사람이 개입한 정도도 함께 달라질 수 있습니다. 기준을 통과하지 못한 업무의 손실을 감춘 채 성공한 작업만 골라 계산해서는 안 됩니다.

학습 순환의 경제적 가치는 두 번째 줄을 만들고 유지하는 데 있습니다. 다음 모델이 조금 높은 시험 점수를 받는 데 그치지 않고, 큰 모델로 넘겨야 하는 작업과 사람의 수정 시간이 줄어야 합니다. 학습 비용까지 회수할 만큼 반복 업무가 충분한지도 확인해야 합니다.

다음 모델이 같은 실수를 덜 하는지부터 확인할 때입니다

VC 관점에서 네오호스가 던지는 기회는 범용 모델 경쟁의 바깥에도 있습니다. 특정 업무에서 성공 여부를 판정하는 검증 도구, 허용된 실행 기록을 학습 자료로 바꾸는 소프트웨어, 반복 업무에 맞춘 작은 모델, 이를 배포하고 이전 버전으로 되돌릴 수 있는 운영 체계가 후보가 됩니다. 다만 각각 별도 제품으로 돈을 받을 수 있는지, 기존 실행 플랫폼의 기능으로 흡수되는지는 고객 계약과 사용 데이터를 통해 확인해야 합니다.

가령 견적서 자동화 사업자의 경쟁력을 보려면 보유한 실행 기록의 건수보다, 새 모델을 적용한 뒤 할인 조건 누락과 잘못된 파일 전송이 얼마나 줄었는지를 먼저 묻겠습니다. 고객이 바뀌어도 개선이 유지되는지, 사람의 승인 시간이 줄었는지, 사고가 날 때 원인을 되짚고 이전 버전으로 돌릴 수 있는지가 이어집니다.

반복적인 자기 개선을 주장하는 회사라면 한 번의 성능표로는 부족합니다. 새로운 모델 버전이 나올 때마다 학습에 쓰지 않은 업무를 평가하고, 같은 시점의 기반 모델과 같은 실행 조건으로 비교해야 합니다. 실패한 과제의 재발률, 최종 완료율, 사람의 개입 시간, 완료 건당 총원가를 함께 공개해야 합니다. 새로운 기반 모델의 성능 향상이나 평가에 유리한 과제 구성으로 생긴 효과도 분리해야 합니다.

네오호스는 이 가능성을 검토할 출발점입니다. 아직 확인하지 못한 것은 ‘경험을 되먹이면 끝없이 좋아진다’는 약속입니다. 다음 배포에서 어떤 실패가 줄었고, 같은 품질의 업무를 끝내는 데 얼마가 덜 들었습니까. 에이전트를 위한 모델의 사업적 가치는 이 질문에 반복해서 답할 수 있을 때 커집니다.

---

출처와 수치에 관한 주의

기준일은 2026년 9월 10일입니다. 모델 구조·학습·평가에 관한 서술은 네오호스 및 토큰리듬의 공개 자료와 각 기업의 공식 설명에 근거합니다. 네오호스의 성능 수치는 개발팀 발표이며, 독립적인 재현 결과로 표현하지 않았습니다. 사업 경쟁력과 검증 지표에 관한 논의는 이 자료들로부터 도출한 필자의 해석입니다.

평가 평균은 공식 저장소와 논문 본문의 10개 평가 기준을 따랐습니다. 확인한 arXiv 초록에는 11개라는 표현도 있어 자료 사이의 표기가 일치하지 않습니다. 평균값은 저자 표기를 사용했고 차이는 표시된 소수 둘째 자리 값으로 계산했습니다. 다른 평가의 점수끼리 동일한 현실적 의미를 가진다고 가정하지 않았습니다.

학습 구조의 근거는 NeoHorse-1 기술 보고서와 선행 연구 Agentic Routing: The Harness-Native Data Flywheel입니다. 선행 에이전트 학습 사례로 FireAct, AgentTuning을 대조했습니다. 기업별 설계의 근거는 해당 절에 연결한 공식 발표입니다.