← Back to list2026-08-22

에이전트의 성능은 모델과 하네스, 사람의 경계에서 결정됩니다

Agentic AIAI 에이전트하네스 엔지니어링Human-in-the-loop기술 분석

Agentic AI 시스템을 설계할 때 가장 먼저 떠오르는 질문은 대개 모델입니다. 어떤 모델이 추론을 더 잘하는지, 벤치마크 점수가 얼마나 높은지, 컨텍스트 창이 얼마나 긴지를 비교합니다. 그러나 실제 운영에서 성능과 비용을 가르는 것은 모델 하나가 아니라 파라미터 기반 모델, 파라미터 밖의 하네스와 도구, 인간 사용자가 어디에서 만나고 헤어지는가입니다.

오성준 KAIST AI 교수가 최근 공개한 메모는 Agentic AI 시스템을 이 세 주체의 역할 분담으로 설명합니다. 모델은 일반화와 유추에 강하지만 정확 계산, 자기 인식, 프라이버시 정책의 완전한 집행에는 취약합니다. 소프트웨어와 도구는 계산, 권한, 데이터 접근 같은 빈틈을 채웁니다. 사람은 과제를 열고 정의하며 최종 결과를 사용해 결정하고 책임집니다. 그리고 이 경계를 잘못 그리는 것이 곧 비용이라는 주장입니다.

이 관점은 중요합니다. 다만 몇 가지를 더 구분해야 실전 설계 원칙이 됩니다.

첫째, 모델이 지금 못하는 일과 모델이 원리적으로 영원히 못하는 일은 다릅니다. 둘째, 어떤 일을 할 능력과 그 일을 해도 되는 권한은 다릅니다. 셋째, 사람을 절차에 넣었다고 책임 있는 감독이 저절로 생기는 것도 아닙니다. 넷째, 모델 밖에 메모리와 도구를 붙였다고 시스템 문제가 자동으로 해결되지 않습니다.

따라서 Agentic AI의 핵심 질문은 “모델이 사람을 대체할 수 있는가”가 아닙니다.

어떤 종류의 불확실성과 책임을 모델, 하네스, 사람 가운데 어디에 배치해야 전체 시스템이 가장 정확하고 경제적으로 작동하는가.

이 글은 이 질문을 중심으로 세 주체의 강점과 한계, 네 종류의 경계, LLMs Can’t Jump가 제기한 과학적 발견의 문제, 인간 감독 인터페이스, 경계를 지속적으로 업데이트하는 운영 방법을 정리합니다.

세 주체는 경쟁자가 아니라 서로 다른 기능입니다

파라미터 기반 모델, 하네스와 도구, 사람을 능력 순서로 세우면 논의가 쉽게 꼬입니다. 모델이 발전할수록 도구와 사람의 몫이 줄어든다는 한 방향의 그림이 되기 때문입니다. 실제로는 세 주체가 다른 종류의 문제를 해결합니다.

모델은 애매함을 해석하고, 하네스는 불변 조건을 집행하며, 사람과 제도는 무엇을 위해 어떤 위험을 감수할지 승인합니다. 어느 하나가 나머지의 단순 대체재는 아닙니다.

모델은 정답 저장소보다 확률적 제안 엔진에 가깝습니다

대규모 언어모델은 방대한 데이터에서 패턴을 압축하고 새로운 문맥에 적용합니다. 명시적인 규칙을 모두 작성하지 않아도 비정형 문서를 분류하고, 불완전한 요청의 의도를 해석하고, 여러 단서를 묶어 선택지를 제안합니다. 전통적인 소프트웨어가 다루기 어려웠던 의미의 모호함을 처리하는 것이 가장 큰 강점입니다.

그러나 모델의 출력은 확률적입니다. 같은 의미의 문제도 표현과 문맥에 따라 결과가 달라질 수 있고, 그럴듯한 답과 검증된 답을 동일한 문장 형태로 제시할 수 있습니다. strawberry에 r이 몇 개인지 묻는 사례나 긴 덧셈의 오류는 이 메커니즘을 직관적으로 보여줍니다. 다만 이를 영구적인 성능 벤치마크로 쓰면 안 됩니다. 토크나이저, 추론 방식, 모델 세대가 바뀌면 특정 퍼즐의 성능도 달라집니다. 더 중요한 결론은 문자열 세기와 산술처럼 결정론적 검증이 가능한 일을 굳이 확률적 추론에 맡길 이유가 없다는 것입니다.

Toolformer 연구는 모델이 계산기, 검색, 번역 같은 외부 API를 언제 어떻게 호출할지 학습할 수 있음을 보였습니다. 모델이 계산기를 대체해야 하는 것이 아니라 계산이 필요하다는 사실을 알아차리고 정확한 도구로 연결하는 편이 낫습니다.

모델에 새로운 내용을 학습시키는 것도 만능 해법은 아닙니다. 1B에서 7B 규모 모델을 연속 미세조정한 2023년 실증 연구는 새로운 도메인을 학습하는 과정에서 기존 지식과 능력이 저하되는 catastrophic forgetting을 관찰했습니다. 이 결과를 모든 최신 frontier model과 모든 미세조정 방식에 일반화할 수는 없습니다. 그러나 자주 바뀌는 가격, 정책, 고객 상태, 접근권한을 모델 가중치에 넣는 설계가 업데이트와 감사에 불리하다는 결론은 여전히 유효합니다.

모델의 자기 인식도 전혀 없다고 단정하기보다 신뢰할 수 있는 운영 통제로 쓰기에는 불완전하다고 표현하는 편이 정확합니다. Language Models (Mostly) Know What They Know는 모델이 여러 질문에서 자신의 정답 가능성을 어느 정도 추정할 수 있음을 보였지만 새로운 과제로의 일반화에는 어려움이 있었습니다. 반대로 Google Research의 MetaFaith 연구는 자연어로 표현한 자신감이 실제 정확도와 충실하게 맞지 않는 문제를 보고했습니다. 모델이 “확실합니다”라고 쓰는 행위와 시스템이 측정된 실패확률을 알고 있는 것은 같은 일이 아닙니다.

하네스와 도구는 모델 밖의 현실을 담당합니다

하네스는 단순한 프롬프트 껍질이 아닙니다. 모델에 어떤 문맥을 주고, 어떤 도구를 어떤 순서와 권한으로 호출하게 하며, 어느 조건에서 중단하고 재시도하고 사람에게 이관할지를 정하는 실행 시스템입니다. 도구는 데이터베이스, 검색, 계산기, 코드 실행기, 결제, 이메일, 사내 API처럼 현실의 상태를 읽거나 바꾸는 인터페이스입니다.

Anthropic의 에이전트 설계 가이드는 LLM에 검색, 도구, 메모리를 결합한 구조를 augmented LLM으로 설명하고, 미리 정한 코드 경로를 따르는 workflow와 모델이 다음 행동을 동적으로 정하는 agent를 구분합니다. 예측 가능성과 일관성이 중요하면 workflow가, 예외가 많고 사전에 경로를 모두 작성하기 어려우면 agent가 더 적합합니다. 복잡성을 더할 때는 성능뿐 아니라 지연과 비용도 함께 늘어납니다.

하네스와 도구가 맡아야 할 대표적인 일은 다음과 같습니다.

정확성: 산술, 날짜, 스키마 검증, 중복 확인, 형식 제약
현재성: 가격, 재고, 정책, 고객 상태처럼 계속 바뀌는 정보 조회
상태: 작업 진행도, 승인 여부, 이전 행동, 장기 메모리
권한: 인증, 역할 기반 접근제어, 금액 한도, 최소권한
실행 안전: 멱등성, 샌드박스, 속도 제한, 예산, 재시도, 중단
증거: 출처, 도구 호출, 입력과 출력, 버전, 승인 로그
복구: 변경 전후 diff, 취소, 롤백, 보상 트랜잭션

특히 프라이버시와 보안 정책을 모델의 지시문에만 맡기면 안 됩니다. OWASP의 Excessive Agency 지침은 과도한 기능, 권한, 자율성이 위험을 만든다고 설명하며, 인가는 LLM이 아니라 하위 시스템에서 집행해야 한다고 권고합니다. System Prompt Leakage 지침도 시스템 프롬프트를 보안 통제로 취급해서는 안 된다고 명시합니다. Anthropic 역시 신뢰할 수 있는 에이전트 연구에서 프롬프트 인젝션을 완벽하게 막는 단일 방어책은 없으며 모델, 하네스, 도구, 환경을 함께 설계해야 한다고 설명합니다.

정책 문장에 “민감정보를 공개하지 말라”고 적는 것과 민감정보에 아예 접근할 수 없게 권한을 제한하는 것은 전혀 다른 통제입니다. 모델은 정책을 해석할 수 있지만 정책의 최종 집행자가 되어서는 안 됩니다.

사람은 정답 기계가 아니라 정당성과 책임의 주체입니다

사람이 해야 하는 일을 “AI가 못하는 모든 것”으로 정의하면 모델이 발전할 때마다 역할이 축소됩니다. 반대로 사람을 언제나 더 정확한 최종 심판으로 보면 자동화 편향, 피로, 전문성 차이, 시간 압박을 무시하게 됩니다.

사람의 고유한 역할은 계산 능력의 우위보다 조직과 사회가 부여한 정당한 권한과 책임에서 찾는 편이 낫습니다.

어떤 목표를 추구할지 승인합니다.
고객, 직원, 주주, 사회의 상충하는 이해관계를 조정합니다.
규칙이 예상하지 못한 예외에 의미를 부여합니다.
되돌릴 수 없는 고위험 결정을 내리거나 거부합니다.
결과에 이의를 제기할 통로를 만들고 책임을 집니다.

물론 모델도 목표 후보를 제안하고 문제를 재정의할 수 있습니다. 미래에는 지금보다 훨씬 더 적극적으로 워크플로를 발견하고 시작할 수 있을 것입니다. 따라서 “사람만이 과제를 열 수 있다”는 문장을 계산 이론의 불변 법칙으로 받아들일 필요는 없습니다. 더 견고한 표현은 이렇습니다.

에이전트가 목표를 제안할 수는 있어도, 조직에서 그 목표를 정당한 것으로 승인하고 결과의 책임을 배분하는 일은 사람과 제도의 몫입니다.

하나의 선이 아니라 네 개의 경계를 그려야 합니다

“AI가 어디까지 하고 사람이 어디서 승인할 것인가”라는 한 줄의 경계만으로는 부족합니다. 실제 Agentic AI 시스템에는 적어도 네 경계가 있습니다.

경계	핵심 질문	주된 근거	경계를 넘을 때 필요한 조건
능력 경계	지금 이 업무를 얼마나 안정적으로 수행하는가	실제 업무 평가, 실패 분포, 비용과 지연	측정된 성공률, 범위 외 입력 탐지, 복구 가능성
권한 경계	어떤 데이터와 행동에 접근해도 되는가	보안정책, 업무 역할, 법과 계약	최소권한, 목적 제한, 금액·범위 한도, 인증과 인가
인식 경계	실패와 불확실성을 스스로 알아차리는가	보정, 이관 정확도, 관측 로그	불확실성 신호, 검증기, 중단 기준, 사람 호출
책임 경계	결과를 누가 승인하고 설명하며 감당하는가	조직의 의사결정권과 책임체계	명시적 오너, 이의제기, 감사, 사고 대응

막대 길이는 개념을 설명하기 위한 예시입니다. 실제 경계는 모델 이름이 아니라 업무별 평가, 권한정책, 불확실성 탐지, 조직의 책임체계로 정해야 합니다.

네 경계를 분리하면 흔한 오해가 사라집니다. 모델이 이메일 초안을 사람보다 잘 쓸 수 있어도 전체 고객에게 자동 발송할 권한을 줄 필요는 없습니다. 반대로 사람이 최종 책임을 진다고 해서 모든 문장을 직접 작성해야 하는 것도 아닙니다. 능력은 넓게 활용하면서 권한은 좁게 줄 수 있습니다.

또한 능력 경계와 인식 경계는 다릅니다. 평균 정확도가 높은 모델도 자신이 틀리는 사례를 정확히 가려내지 못하면 자율 실행에 적합하지 않습니다. 운영에서 필요한 것은 90% 정확도만이 아니라 나머지 10%를 사람에게 얼마나 잘 넘기는가입니다.

책임 경계도 능력과 독립적입니다. 의사결정 능력이 좋아져도 채용, 대출, 진료, 안전, 중대한 재무 행동의 책임을 소프트웨어에 귀속할 수는 없습니다. 이것은 모델의 지능 문제가 아니라 조직의 권한과 사회적 정당성 문제입니다.

모델 밖으로 빼는 것만으로는 부족합니다

외부 메모리, 검색, 도구, 여러 에이전트를 붙이면 단일 모델의 한계를 상당 부분 줄일 수 있습니다. 그러나 non-parametric layer도 제대로 설계하지 않으면 새로운 실패를 만듭니다.

RAG의 원형을 제시한 NeurIPS 2020 연구는 모델 가중치의 parametric memory와 검색 가능한 외부 non-parametric memory를 결합했습니다. 외부 지식은 모델을 다시 학습하지 않고 업데이트할 수 있고, 근거와 출처를 확인하기 쉽다는 장점이 있습니다. 하지만 검색 실패, 오래된 문서, 권한이 없는 문서의 노출, 충돌하는 사실, 잘못된 재순위화가 생기면 모델은 그 위에서 자신 있게 잘못 추론할 수 있습니다.

최근 연구는 평가 단위를 모델에서 시스템으로 옮겨야 한다는 점을 더 직접적으로 보여줍니다.

ACL 2026의 MASEval은 3개 벤치마크, 3개 모델, 3개 프레임워크를 비교했습니다. 저자들은 비슷한 비용과 능력대에서는 프레임워크 선택이 모델 선택만큼 성능에 영향을 미쳤다고 보고합니다. 토폴로지, 오케스트레이션, 오류처리, 컨텍스트 엔지니어링이 평가의 일급 변수가 되어야 한다는 뜻입니다. 표본이 제한된 실험이므로 모든 프레임워크에 대한 보편 법칙은 아니지만, “같은 모델이면 같은 에이전트 성능”이라는 가정은 깨집니다.

2026년 MEME 벤치마크는 6개 메모리 시스템을 100개의 통제된 에피소드에서 평가했습니다. 정적 사실 검색과 달리 상위 사실의 변화가 관련 사실에 연쇄적으로 반영되어야 하는 Cascade의 평균 정확도는 3%, 기존 답을 더 이상 신뢰할 수 없음을 알아차려야 하는 Absence는 1%였습니다. 더 깊은 검색, 프롬프트 최적화, 대부분의 강한 모델 교체만으로는 격차가 닫히지 않았고, 파일 기반 에이전트와 강한 모델의 조합이 일부 개선했지만 기준 대비 약 70배 비용이 들었습니다.

이 결과는 “외부 메모리가 나쁘다”는 뜻이 아닙니다. 저장과 검색, 상태 변경, 의존관계 추론, 모름의 인식은 서로 다른 기능이며 각각 평가해야 한다는 뜻입니다. 좋은 하네스는 모델의 빈틈을 가리는 접착제가 아니라 그 자체로 설계, 테스트, 관측, 비용 최적화가 필요한 소프트웨어 제품입니다.

`LLMs Can’t Jump`는 무엇을 묻고 있는가

오성준 교수의 메모에서 언급한 LLMs Can’t Jump는 Tom Zahavy가 쓴 ICML 2026 포지션 페이퍼입니다. 이 글은 모델이 산술을 틀린다는 익숙한 지적보다 훨씬 근본적인 질문을 던집니다.

논문은 아인슈타인의 과학철학을 E-J-A로 정리합니다.

E, Experience: 관측과 경험
J, Jump: 관측만으로 필연적으로 도출되지 않는 직관적 도약
A, Axioms: 새로운 설명 체계를 만드는 공리와 원리

논문의 핵심 사례는 일반상대성이론으로 이어진 등가원리입니다. 아인슈타인은 자유낙하하는 관찰자가 중력을 느끼지 못한다는 사고실험에서 중력과 가속의 관계를 새롭게 보았습니다. 기존 관측 데이터를 더 잘 맞추는 작은 수정이 아니라 문제를 표현하는 공리 자체를 바꿨습니다.

Zahavy의 주장은 현재 LLM이 귀납적 패턴 발견과 연역적 전개에는 강해지고 있지만, 희소한 경험에서 새로운 설명 가설을 만드는 abductive jump에는 구조적으로 취약하다는 것입니다. 이미 등가원리를 전제로 주면 수학적 결과를 전개할 수 있어도, 뉴턴 역학이 관측을 거의 완벽히 설명하던 상황에서 그 전제를 스스로 만들어내기는 어렵다는 논리입니다. 기존 목적함수의 오차가 거의 없다면 더 좋은 설명 체계를 찾아야 한다는 학습 신호도 약합니다.

논문은 대안으로 행동을 통해 통제할 수 있고 물리적으로 일관된 멀티모달 world model을 제안합니다. 에이전트가 환경에 개입하고 반사실적 상황을 만들며 결과를 관찰하면, 텍스트의 통계적 결합을 넘어 인과 가설을 조작하고 검증할 수 있다는 방향입니다.

이 주장은 흥미롭지만 증명된 결론으로 읽어서는 안 됩니다.

포지션 페이퍼입니다. 새로운 정리를 증명하거나 여러 모델에 대한 결정적 실험으로 불가능성을 확정한 논문이 아닙니다.
대표 사례가 하나입니다. 일반상대성이론의 역사적 도약이 모든 과학적 창의성을 대표한다고 보기 어렵습니다.
새로움의 기준이 불명확합니다. 드문 조합과 진정한 개념적 도약을 어떤 관측 가능한 기준으로 구분할지 합의가 없습니다.
world model도 설계된 공간입니다. 행동 공간, 관측, 시뮬레이터, 목적함수를 누가 정하는지에 따라 가능한 발견이 제한됩니다.
저자도 불확실성을 인정합니다. Zahavy는 공개 설명에서 이 글은 개인의 입장이며 LLM이 막다른 길이라는 주장이나 영원히 발견하지 못한다는 주장이 아니라고 밝혔습니다. 현재의 확장 방식만으로도 새로운 발견이 나올 수 있고 자신의 견해가 틀릴 수 있다고 명시했습니다.

그럼에도 이 논문의 가치는 큽니다. 모델이 답을 얼마나 잘 생성하는지만 보지 말고 문제의 전제, 목적, 표현 공간을 누가 만드는가를 묻게 하기 때문입니다.

Agentic AI 시스템 관점에서 보면 jump의 주체가 단일 모델일 필요도 없습니다.

모델이 기존 설명의 모순과 여러 가설 후보를 넓게 생성합니다.
도구와 world model이 반사실적 실험, 계산, 검색, 시뮬레이션을 수행합니다.
하네스가 가설과 근거, 반증 조건, 실험 결과를 추적합니다.
사람이 무엇이 중요한 질문인지, 어떤 설명이 가치 있고 책임 있게 검증할 만한지 판단합니다.
새로운 관측이 다시 모델과 시스템의 탐색공간을 바꿉니다.

이렇게 보면 핵심은 “LLM 혼자 도약할 수 있는가”에서 “인간과 도구를 포함한 시스템이 더 좋은 도약을 만들고 반증할 수 있는가”로 이동합니다. 물리적 grounding이 모델의 능력 경계를 넓힐 수는 있어도, 어떤 목표를 추구할지 승인하고 발견의 결과를 사용할 책임까지 자동으로 해결하지는 않습니다.

경계를 잘못 그리면 다섯 종류의 비용이 생깁니다

Agentic AI의 경제성을 토큰 가격이나 사람 시간만으로 계산하면 중요한 비용을 놓칩니다. 경계 설계의 총비용은 다음처럼 생각할 수 있습니다.

총비용 = 모델·도구 직접비 + 조정·검토 지연비 + 과소위임 기회비용 + 과대위임 실패·복구비 + 평가·유지비

이 식은 회계 기준이 아니라 비용 누락을 막는 진단식입니다.

1. 과소위임 비용

정확한 기준과 충분한 성능이 있는데도 모든 단계를 사람이 직접 처리합니다. 모델과 도구가 발전했는데 경계를 갱신하지 않아 자동화 가능한 검색, 정리, 대조, 데이터 입력을 계속 사람이 수행합니다. 오류 위험은 낮지만 속도와 처리량에서 기회비용이 쌓입니다.

2. 과대위임 비용

목표가 모호하거나 이해관계가 충돌하고 되돌릴 수 없는 일을 에이전트에 맡깁니다. 평균 성능이 좋아도 드문 치명적 실패가 고객 피해, 규제 위반, 신뢰 훼손으로 이어질 수 있습니다. 실패를 발견한 뒤 다시 설계 단계로 돌아가는 비용도 큽니다.

3. 잘못된 수단의 비용

모델에게 계산, 권한 검사, 최신 정책 기억, 데이터 무결성을 맡깁니다. 반대로 모든 의미적 예외를 규칙으로 작성하려다 거대한 조건문과 유지보수 부채를 만듭니다. 확률적 문제를 결정론적 코드에, 결정론적 문제를 확률적 모델에 배치한 비용입니다.

4. 형식적인 인간 감독 비용

모든 행동마다 승인을 요구하면 사람은 에이전트보다 느린 병목이 됩니다. 알림이 많아질수록 내용을 읽지 않고 승인하는 rubber stamp가 생깁니다. 인력비는 그대로 들면서 책임만 사람에게 전가된 상태입니다.

5. 경계 유지비

모델 버전, 도구, 데이터, 정책, 고객 행동이 바뀌면 과거의 평가와 권한 설정이 낡습니다. 처음 한 번 정확한 경계를 그리는 것으로 끝나지 않습니다. 경계 자체를 버전 관리하고 재평가해야 합니다.

개념도입니다. 실제 비용곡선은 업무마다 다릅니다. 모델 성능이나 복구수단이 바뀌면 최적 경계도 이동하므로 고정된 자동화 비율을 목표로 삼아서는 안 됩니다.

어떤 일을 어디에 배치할 것인가

실무에서는 업무를 문서작성, 고객지원, 연구처럼 큰 기능으로 나누기보다 결정의 최소 단위로 분해해야 합니다. 같은 고객지원 안에서도 문의 의도 분류는 모델에, 환불 한도 확인은 정책 엔진에, 예외 보상은 사람에게 배치할 수 있습니다.

모델에 먼저 배치할 일

자연어, 이미지, 코드처럼 비정형 입력의 의미를 해석하는 일
완전한 규칙을 쓰기 어려운 분류와 비교
여러 가설, 초안, 선택지, 반론을 넓게 생성하는 일
검색 결과와 문맥을 묶어 설명하는 일
정답을 즉시 실행하지 않고 후속 검증으로 넘길 수 있는 일

하네스와 도구에 먼저 배치할 일

계산 결과가 하나로 정해지고 자동 검증할 수 있는 일
최신 상태와 원본 데이터가 필요한 조회
접근권한, 금액 한도, 필수 필드, 규정처럼 반드시 지켜야 하는 조건
외부 시스템의 상태를 바꾸는 실행과 트랜잭션
중복 실행 방지, 재시도, 시간 제한, 예산 제한, 롤백
근거와 행동을 장기적으로 보존해야 하는 감사 기록

사람과 제도에 남길 일

목표가 모호하거나 이해관계자의 가치가 충돌하는 문제 정의
규칙 밖의 사례에 새로운 원칙을 적용하거나 정책 자체를 바꾸는 일
되돌릴 수 없고 피해 규모가 큰 결정
법적·조직적 서명권이 필요한 승인
고객과 직원의 이의제기, 배려, 관계 회복
에이전트가 사용할 목표, 평가기준, 금지선의 승인

이 배치에는 한 가지 유용한 원칙이 있습니다.

데이터베이스여야 할 것을 미세조정하지 말고, 권한정책이어야 할 것을 프롬프트로 쓰지 말며, 가치판단이어야 할 것을 정확도 점수로 숨기지 않습니다.

모델 적응은 안정적인 말투, 출력 구조, 반복되는 도메인 패턴에 유용할 수 있습니다. 반면 자주 바뀌는 사실, 취소 가능한 정책, 사용자별 권한은 외부에서 수정하고 감사할 수 있어야 합니다. 모든 것을 모델 안에 넣는 것이 지능의 통합이 아니라 통제의 상실이 될 수 있습니다.

Human-in-the-loop보다 좋은 인터페이스가 먼저입니다

사람을 마지막 승인 단계에 넣었다고 감독이 완성되지는 않습니다. 사람이 판단할 시간, 정보, 권한이 없으면 인간 개입은 책임 이전 장치가 됩니다.

Microsoft의 Human-AI Interaction 18개 가이드라인은 시스템이 무엇을 얼마나 잘할 수 있는지 명확히 알리고, 사용자가 결과를 쉽게 수정하거나 무시할 수 있게 하며, 불확실할 때 범위를 좁히고, 행동 이유와 전체 통제수단을 제공해야 한다고 제안합니다. 에이전트에서는 이 원칙이 답변 화면이 아니라 행동 승인 화면까지 확장되어야 합니다.

2026년 공개된 컴퓨터 사용 에이전트 감독 비교 연구는 48명의 참가자가 실제 웹 환경에서 에이전트를 감독하는 방식을 비교했습니다. 연구에서는 감독 방식이 이미 드러난 문제를 고치는 능력보다 사용자가 문제 행동에 노출되는 빈도에 더 큰 영향을 주었고, 계획 기반 감독은 문제 행동의 발생을 줄였습니다. 표본과 과제가 제한되어 모든 업무에 일반화할 수는 없지만, 핵심 교훈은 분명합니다. 사람을 모든 순간에 붙이는 것이 아니라 결정적으로 중요한 순간을 제때 보여줘야 합니다.

좋은 승인 인터페이스는 최소한 다음을 한 화면에 보여줘야 합니다.

목표: 에이전트가 지금 달성하려는 결과
계획: 어떤 단계를 어떤 순서로 실행할지
근거: 사용한 데이터와 출처, 빠진 정보
변경: 어떤 레코드, 파일, 사람, 금액이 영향을 받는지
위험: 정책 충돌, 불확실성, 범위 밖 입력
가역성: 취소와 롤백 가능 여부, 복구 시간
선택권: 승인뿐 아니라 수정, 범위 축소, 보류, 거부, 중단

매번 작은 도구 호출을 승인하게 하는 것보다 계획과 영향범위를 먼저 승인하고, 금액 초과, 새로운 외부 수신자, 민감정보 접근, 되돌릴 수 없는 변경에서 다시 멈추는 방식이 낫습니다. 사람은 로그를 읽는 관찰자가 아니라 시스템의 계획을 편집하고 권한을 제한할 수 있는 참여자여야 합니다.

경계는 모델 이름이 아니라 증거로 이동해야 합니다

모델은 빠르게 발전합니다. 오늘 사람이 해야 하는 일이 내일은 에이전트에 적합해질 수 있습니다. 따라서 “이 업무는 영원히 사람의 일”이라는 정적 목록은 과소위임 비용을 만듭니다. 반대로 새로운 모델이 출시될 때마다 자동으로 권한을 넓히면 능력과 권한을 혼동하게 됩니다.

자율성은 업무마다 다음 단계로 획득하는 편이 안전합니다.

단계	에이전트 역할	사람의 역할	승격에 필요한 증거
A0 관찰	실제 입력을 읽고 행동하지 않음	기존 방식으로 수행	기준선과 실패 유형 확보
A1 초안	요약, 초안, 후보 생성	전부 검토하고 실행	품질, 수정량, 누락 측정
A2 권고	선택지, 근거, 계획 제안	결정과 실행	이관 정확도, 근거 충실성
A3 제한 실행	저위험·가역 범위 실행	예외와 체크포인트 승인	심각 실패율, 복구, 비용 기준 통과
A4 조건부 자율	정의된 업무를 끝까지 수행	표본 감사, 정책 변경, 사고 대응	지속 관측과 회귀평가 통과

승격 기준에는 평균 정확도 외에 심각한 실패의 상한, 사람에게 넘겨야 할 사례의 재현율, 잘못된 이관으로 생긴 부담, 결과당 비용, 복구시간, 권한 위반 0건 같은 조건이 포함되어야 합니다. 업무 범위, 모델, 프롬프트, 도구, 데이터 스키마, 정책 가운데 하나라도 크게 바뀌면 이전 승격은 재검증해야 합니다.

Anthropic의 자율성 측정 연구도 자율성을 모델의 고정된 속성이 아니라 모델 행동, 감독 전략, 제품 설계가 결합해 나타나는 것으로 봅니다. 같은 모델도 읽기 전용 도구와 계획 승인 아래에서는 제한적으로 행동하지만, 광범위한 쓰기 권한과 느슨한 하네스에서는 훨씬 높은 위험을 만들 수 있습니다.

90일 동안 경계를 설계하는 방법

1단계: 업무가 아니라 결정을 분해합니다

하나의 실제 업무를 선택해 입력, 판단, 조회, 계산, 실행, 승인, 예외, 복구로 나눕니다. 각 단계에서 의미적 모호함, 절차적 불변조건, 가치 충돌이 무엇인지 표시합니다. “보고서 작성 자동화”보다 “자료 수집, 수치 검산, 반론 생성, 결론 승인, 외부 발송”처럼 분해해야 경계를 그릴 수 있습니다.

2단계: 네 경계를 따로 기록합니다

각 결정에 대해 현재 능력, 허용 권한, 실패 인식, 최종 책임을 한 줄씩 적습니다. 에이전트가 할 수 있지만 해서는 안 되는 일, 할 수 없지만 사람도 놓치기 쉬운 일을 구분합니다. 결과 오너, 시스템 오너, 위험 오너도 지정합니다.

3단계: 그림자 모드로 실패 지도를 만듭니다

실제 입력에서 모델과 하네스를 실행하되 외부 행동은 막고 사람의 결정과 비교합니다. 단순 정답률보다 잘못된 도구 선택, 오래된 상태, 권한 초과, 근거 누락, 과도한 자신감, 불필요한 이관, 이관 누락으로 실패를 분류합니다.

4단계: 실패를 올바른 층에서 수정합니다

의미 해석과 선택지 품질 문제는 프롬프트, 컨텍스트, 모델, 예시, 적응을 검토합니다.
계산, 상태, 스키마, 권한 문제는 코드, 데이터, 정책 엔진, 도구 인터페이스를 고칩니다.
목표와 예외, 책임 충돌은 업무정책과 인간 인터페이스를 고칩니다.

모든 실패를 더 강한 모델로 해결하려 하면 비용이 커지고 원인이 숨습니다. 반대로 모델이 잘할 수 있는 문맥 판단을 규칙으로만 고치면 예외가 늘어날수록 시스템이 부서집니다.

5단계: 결과당 총비용으로 경계를 재조정합니다

모델과 도구 비용뿐 아니라 사람의 검토분, 대기시간, 재작업, 잘못된 실행, 사고 복구, 평가 유지비를 합칩니다. 자동화율이 낮아도 총비용과 위험이 가장 작을 수 있고, 검토 부담이 충분히 낮다면 더 넓은 자율성이 경제적일 수 있습니다.

수용된 결과당 총비용 = (모델·도구비 + 사람 검토·수정비 + 지연비 + 실패·복구비 + 운영·평가비) ÷ 수용된 결과 수

90일의 목표는 사람을 제거하는 것이 아니라 어느 불확실성을 누가 맡을 때 가장 좋은 결과가 나오는지 증거를 만드는 것입니다.

가장 강한 반론도 함께 봐야 합니다

세 주체의 경계를 강조하면 지나치게 보수적인 시스템을 만들 위험이 있습니다. frontier model의 능력은 빠르게 넓어지고 있고, 많은 규칙과 승인 단계는 유지보수 비용과 지연을 만듭니다. 인간은 편향되고 느리며, 반복 승인에 쉽게 무뎌집니다. 창의성이나 목표 설정을 인간의 영구 독점으로 선언하면 모델이 제공할 수 있는 새로운 문제 정의와 탐색 능력도 놓칠 수 있습니다.

이 반론은 타당합니다. 그래서 경계는 신념이 아니라 버전이 있는 운영 가설이어야 합니다.

영구적인 인간 전용 업무보다 현재의 책임·권한 근거를 적습니다.
모델이 발전하면 능력 경계를 실제 평가로 다시 측정합니다.
권한 확대는 복구수단과 관측 가능성이 함께 좋아질 때 허용합니다.
인간 승인이 오류를 줄이지 못하고 형식화되면 인터페이스나 승인 위치를 바꿉니다.
하네스 규칙이 예외를 지나치게 늘리면 모델 판단과 사후 검증의 조합을 시험합니다.
자동화가 아니라 수용된 결과, 위험, 총비용을 최종 지표로 봅니다.

반대로 이 글의 논지를 무너뜨릴 증거도 분명합니다. 단일 모델이 장기간 변화하는 상태를 안정적으로 관리하고, 접근권한을 위반하지 않으며, 자신의 실패를 정확히 이관하고, 고위험 행동을 복구 가능하게 실행하는 것이 모델 밖 통제 없이 반복적으로 입증된다면 하네스의 역할은 크게 줄어들 수 있습니다. 조직과 사회가 소프트웨어에 목표 승인과 법적 책임을 부여하기 시작한다면 인간의 책임 경계도 달라질 수 있습니다. 현재는 어느 쪽도 일반적인 운영 현실이 아닙니다.

맺으며

좋은 Agentic AI 시스템은 모델, 하네스, 사람 가운데 승자를 고르는 시스템이 아닙니다. 서로 다른 종류의 불확실성을 가장 잘 처리하는 주체에게 배치하고, 연결부를 평가하며, 증거에 따라 경계를 이동시키는 시스템입니다.

모델은 의미를 해석하고 가설과 계획을 제안합니다. 하네스와 도구는 상태, 계산, 권한, 검증, 실행, 복구를 맡습니다. 사람과 제도는 목표의 정당성을 승인하고 이해관계를 조정하며 결과에 책임집니다.

LLMs Can’t Jump가 옳은지 여부는 아직 열려 있습니다. 모델이 스스로 획기적인 공리를 만들 수 있는지, world model과 행동이 그 한계를 넘을 수 있는지는 더 많은 실증 연구가 필요합니다. 그러나 기업이 오늘 설계해야 할 원칙은 더 분명합니다.

능력이 올라갔다고 권한을 자동으로 넓히지 말고, 사람을 넣었다고 책임 있는 감독이 생겼다고 믿지 말며, 모델 밖으로 뺐다고 시스템 문제가 해결됐다고 가정하지 않아야 합니다.

Agentic AI의 경쟁력은 가장 강한 모델을 보유하는 데서만 나오지 않습니다. 무엇을 모델에 맡기고, 무엇을 코드로 강제하고, 어디에서 사람이 목표와 책임을 붙잡아야 하는지를 더 빨리 배우는 조직에서 나옵니다. 결국 에이전트 엔지니어링은 지능을 호출하는 기술이 아니라 지능, 통제, 책임의 경계를 운영하는 기술입니다.

주요 출처

Tom Zahavy, Position: LLMs Can’t Jump, ICML 2026 Position Track.
Cornelius Emde 외, MASEval: Extending Multi-Agent Evaluation from Models to Systems, ACL 2026.
Seokwon Jung 외, MEME: Multi-entity & Evolving Memory Evaluation, 2026.
Anthropic, Building effective agents, 2024.
Anthropic, Trustworthy agents in practice, 2026.
Patrick Lewis 외, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020.
Timo Schick 외, Toolformer: Language Models Can Teach Themselves to Use Tools, NeurIPS 2023.
Saleema Amershi 외, Guidelines for Human-AI Interaction, CHI 2019.
OWASP, Excessive Agency 및 System Prompt Leakage, 2025.

이 글은 공개된 연구와 기술자료를 바탕으로 Agentic AI 시스템의 설계 원칙을 분석한 글입니다. 특정 모델이나 제품의 도입을 권유하지 않습니다.