막히면 상위 모델로 올리는 습관, 버리고 다시 시작하는 쪽이 더 쌌습니다
코딩 에이전트를 쓰다 보면 도중에 모델을 바꾸는 순간이 옵니다. 싼 모델이 헤매면 비싼 모델로 올리고, 어려운 추론이 끝났다 싶으면 싼 모델로 내립니다. Kiro, Codex, Claude Code 모두 모델 변경 명령을 노출하고 있으니 이미 일상적인 조작입니다.
AWS Agentic AI 팀이 2026년 8월 25일 공개한 프리프린트 The Handoff Tax는 이 조작의 값을 실제로 계산했습니다. 동료평가 전 논문이고, 저자는 상용 모델을 서빙하는 클라우드 사업자 소속입니다. 그 점을 감안하고 읽어도 결과는 습관과 반대 방향을 가리킵니다.
올리는 전환은 비싼 모델의 품질 우위를 절반도 되찾지 못했습니다. Claude 모델쌍에서는 싼 모델이 한 일을 통째로 버리고 비싼 모델로 처음부터 다시 시작하는 쪽이 더 싸고 더 많이 풀었습니다. 논문은 이 손실을 핸드오프 세금이라고 부릅니다.
받는 모델은 자기가 쓰지 않았을 기록을 물려받습니다
전환이 특이한 이유는 받는 모델이 남이 만든 궤적을 이어가야 한다는 데 있습니다. 평소 모델은 자기 표현, 자기 가설, 자기 도구 사용 습관 위에 다음 수를 얹습니다. 전환 뒤에는 자기가 만들지 않았을 추론과 자기가 하지 않았을 실수가 프롬프트에 들어 있습니다.
실험 설계는 이렇습니다. SWE-bench Verified 500문제, mini-swe-agent 뼈대와 도구, 프롬프트를 전부 고정했습니다. 모델쌍은 논문 표기로 Haiku 4.5와 Opus 4.7, GPT-5.6 Luna와 Sol입니다. 각 쌍에서 싼 쪽을 LC, 비싼 쪽을 HC로 둡니다.
전환 시점은 과제 난이도별 걸음 수 분포의 5부터 50 백분위까지 일곱 지점입니다. 넘기는 정보는 네 가지로 나눴습니다. 전체 기록을 그대로 넘기는 방식, 보내는 모델이 요약해 넘기는 방식, 받는 모델이 스스로 요약하고 이어가는 방식, 기록을 버리고 디스크에 쓰인 코드 수정만 남기는 방식입니다. 네 방식 모두 작업 트리는 그대로 보존합니다.
모델쌍마다 58개 조건, 전체로는 58,000회 실행에 API 호출 200만 회, 처리 토큰 360억 개입니다. 비교는 실제로 전환이 일어난 실행만 골라서 했습니다. 시작 모델이 전환 시점 전에 끝내버린 실행은 전환에 대해 아무것도 말해주지 않기 때문입니다.
지표는 두 개입니다. 되찾은 품질은 비싼 모델이 가진 품질 우위 가운데 몇 퍼센트를 회수했는지, 지킨 원가는 싼 모델이 가진 원가 우위 가운데 몇 퍼센트를 남겼는지를 뜻합니다. 되찾은 품질 100은 비싼 모델과 같은 정확도, 지킨 원가 100은 싼 모델과 같은 비용입니다. 지킨 원가가 음수면 비싼 모델만 쓴 것보다 비싸다는 뜻입니다.
올리는 전환은 절반도 되찾지 못하고 값은 두 배가 됐습니다
Claude 쌍의 숫자입니다. 통과율은 퍼센트, 비용은 과제당 평균 달러입니다.
| 전략 (싼 모델 → 비싼 모델) | 통과율 | 비용 | 되찾은 품질 | 지킨 원가 |
|---|---|---|---|---|
| 싼 모델만 | 60.7 | 0.40 | 0 | 100 |
| 비싼 모델만 | 79.2 | 0.72 | 100 | 0 |
| 전체 기록 전달 | 69.2 | 1.61 | 47 | -285 |
| 보내는 쪽이 요약 | 71.8 | 0.75 | 60 | -11 |
| 기록 삭제, 코드만 | 72.4 | 0.81 | 64 | -30 |
| 중단하고 비싼 모델로 새로 | 79.2 | 0.90 | 100 | -58 |
전체 기록을 넘기는 기본 방식이 되찾은 품질은 47이고, 비용은 싼 모델만 쓸 때의 4.0배입니다. GPT 쌍에서도 되찾은 품질은 36에 그쳤습니다. 두 모델 가족 모두에서 기본 방식은 품질 격차의 절반을 못 메웁니다.
Claude 쌍에서 특히 눈에 띄는 줄은 마지막 두 개입니다. 싼 모델이 쓴 돈을 그대로 지불하고, 그 코드 수정과 대화를 전부 버린 뒤 비싼 모델로 원래 과제부터 다시 돌려도 0.90달러입니다. 전체 기록을 넘기는 방식은 1.61달러입니다. 다시 시작하는 쪽이 더 싸고, 정확도는 79.2 대 69.2로 더 높습니다. 이 조합에서 기본 전환은 재시작에 완전히 밀립니다.
넘기는 정보를 줄이면 나아집니다. 보내는 모델이 자기 궤적을 요약해 넘기면 Claude 기준 지킨 원가가 -285에서 -11로 올라 비싼 모델만 쓸 때의 비용에 근접합니다. 기록을 아예 버리고 코드 수정만 남기면 되찾은 품질이 47에서 64로, GPT 쌍에서는 36에서 84로 뜁니다. 값을 아끼려면 보내는 쪽 요약, 정확도를 살리려면 기록 삭제입니다.
방향을 뒤집으면 같은 기록이 도움이 됩니다
| 전략 (비싼 모델 → 싼 모델) | 통과율 | 비용 | 되찾은 품질 | 지킨 원가 |
|---|---|---|---|---|
| 싼 모델만 | 54.6 | 0.41 | 0 | 100 |
| 비싼 모델만 | 75.8 | 0.85 | 100 | 0 |
| 전체 기록 전달 | 65.6 | 0.51 | 50 | 80 |
| 보내는 쪽이 요약 | 66.8 | 0.52 | 56 | 78 |
| 기록 삭제, 코드만 | 60.9 | 0.59 | 28 | 59 |
Claude 쌍에서 통과율은 54.6에서 65.6으로 오르는데 비용은 0.41달러에서 0.51달러로만 올랐습니다. 싼 모델의 원가 우위를 80이나 지켰습니다. GPT 쌍은 균형점이 다릅니다. 되찾은 품질이 79인 대신 지킨 원가는 14입니다. 어느 쪽이든 비싼 모델만 쓰는 것보다 싸면서 쓸 만한 중간 지점이 생깁니다.
여기서 반전이 나옵니다. 올릴 때 가장 좋았던 기록 삭제가 내릴 때는 가장 나쁩니다. 되찾은 품질이 28로 떨어지고 지킨 원가도 59로 내려갑니다. GPT 쌍도 79에서 53으로 같은 방향입니다. 비싼 모델의 추론 기록은 싼 모델에게 안내판 역할을 하고, 싼 모델의 추론 기록은 비싼 모델에게 짐이 됩니다.
값이 새는 통로가 방향마다 다릅니다
전환 후 비용을 걸음 수와 걸음당 비용으로 쪼개면 손실의 성격이 갈립니다.
올릴 때는 걸음당 비용이 문제입니다. 전체 기록을 넘기면 보내는 쪽 요약 대비 비싼 모델의 걸음당 비용이 Claude에서 2.2배, GPT에서 1.6배가 됩니다. 걸음 수는 두 방식이 비슷합니다. 길고 낯선 기록이 매 호출의 입력에 계속 실려 들어가면서 호출 단가를 올린 것입니다.
내릴 때는 걸음 수가 문제입니다. 기록을 버리면 보내는 쪽 요약 대비 싼 모델의 전환 후 걸음이 Claude에서 1.6배, GPT에서 2.0배가 됩니다. 걸음당 비용은 비슷합니다. 사라진 맥락을 코드만 보고 복원하느라 같은 일을 다시 한 셈입니다.
결론을 뒤집는 조건이 둘 있습니다
첫째는 난이도입니다. Claude 쌍에서 올리는 전환은 전체 평균으로는 언제나 손해였지만, SWE-bench Verified의 어려움 등급에서는 맥락을 줄인 세 방식이 모두 비싼 모델만 쓸 때보다 싸지면서 품질 격차의 65에서 74까지 되찾았습니다. 전체 기록을 넘기는 방식만 이 전환을 못 합니다. 다만 해당 구간의 표본이 셀당 24개 안팎이라 논문도 탐색적 결과로 다룹니다.
둘째는 정보가 도착하는 방식입니다. 요구사항이 대화가 진행되면서 조금씩 드러나는 과제에서는 순서가 뒤집힙니다. 마지막 요구가 도착한 뒤에야 과제가 완전해지므로, 그 결정적 구간을 맡는 쪽이 비싼 모델이면 유리합니다. 이 설정에서 올리는 전환은 품질 우위의 86을 되찾았고, 내리는 전환은 31에 그쳤습니다.
웹 검색으로 근거를 쌓아가는 과제에서는 또 다릅니다. GPT 쌍에서 올리는 전환이 품질 격차를 95.8까지 메웠지만 지킨 원가는 -30으로, 싼 모델을 중단하고 비싼 모델을 새로 돌리는 -8.5보다 나빴습니다. 정확도는 회복되는데 절감은 끝내 생기지 않습니다.
라우팅과 핸드오프는 다른 문제입니다
이 논문에서 가져갈 개념 하나를 고른다면 이것입니다. 라우팅은 다음에 어느 모델이 행동할지를 정하고, 핸드오프 인터페이스는 그 모델이 무엇을 물려받을지를 정합니다. 지금 나온 라우터 대부분은 앞의 질문만 풀고 뒤의 질문은 전체 기록을 그대로 이어붙이는 기본값으로 남겨둡니다. 측정된 손실의 상당 부분이 바로 그 기본값에서 나왔습니다.
에이전트 도구를 만드는 쪽에서 볼 여지는 세 곳입니다. 전환 시점에 무엇을 남기고 무엇을 버릴지 고르는 계층, 요약을 보내는 모델이 쓸지 받는 모델이 쓸지 정하는 규칙, 지금 계속하는 것과 지금 다시 시작하는 것 중 어느 쪽이 싼지 실행 중에 판단하는 정책입니다. 세 번째는 논문도 미래 과제로 남겼습니다.
쓰는 쪽에서 지금 적용할 수 있는 것도 있습니다. 코드 수정이 이미 디스크에 남아 있다면 대화 기록까지 끌고 갈 이유는 생각보다 약합니다. 반대로 비싼 모델에서 싼 모델로 내릴 때는 요약이라도 반드시 남겨야 합니다. 요약을 만들 때는 보내는 모델에게 시키는 편이 값이 쌉니다.
한계는 분명합니다. 모델쌍 두 개, 주 실험은 벤치마크 하나, 과제당 한 번씩만 실행했습니다. 달러 기준 결론은 공급자 가격표와 캐시 적중률에 따라 달라집니다. 그래도 방향 비대칭이라는 관찰은 두 모델 가족에서 같이 나왔습니다.
맺으며
에이전트를 여러 모델로 굴린다면 어느 모델을 부를지보다 무엇을 물려줄지가 값을 더 크게 흔듭니다.
출처: Roy Ganz, Mor Shpigel Nacson, Adi Kalyanpur, Ron Litman, "The Handoff Tax: Continuing Non-Native Trajectories in LLM Agents", arXiv:2608.24358v1, 2026년 8월 25일. AWS Agentic AI. 동료평가 전 프리프린트이며 모든 수치는 논문 보고 기준입니다. 모델명은 논문 표기를 따랐습니다.