AI 에이전트를 감독하는 사람의 실력은 공짜가 아닙니다
“일은 AI가 하고, 중요한 결정은 사람이 승인합니다.”
이 설명은 자동화의 효율과 인간의 판단을 모두 확보한 것처럼 들립니다. 그러나 한 가지 전제가 빠져 있습니다. 그 사람은 앞으로도 잘못된 결과를 알아볼 실력과 맥락, 시간을 갖고 있을까요.
「AI Agents Push Humans Out of the Loop」의 Margaret Mitchell, Avijit Ghosh, Samir Passi는 그 전제에 의문을 제기합니다. 현재의 에이전트 설계가 효과적인 감독을 어렵게 만들 뿐 아니라, 장기간의 자동화 의존이 감독에 필요한 인간의 능력까지 약화시킬 수 있다는 주장입니다. 그래서 모델의 능력만큼 감독자의 인지적 필요를 중요하게 다뤄야 한다고 요구합니다.
이는 새로운 장기 실험으로 인간의 퇴화를 입증한 논문이 아니라, 자동화와 인간·컴퓨터 상호작용 연구를 연결해 설계 방향을 제안하는 입장 논문입니다. 여기서 곧바로 “AI를 쓰면 사람은 멍청해진다”는 결론을 끌어내면 연구가 뒷받침하는 범위를 넘습니다. 이 글에서 출발 논문에 귀속하는 내용은 확인한 초록과 개정본 첫 페이지의 문제 제기로 한정합니다. 실증 수치와 구체적인 제품·사업 제안은 아래의 별도 연구와 필자의 해석입니다.
벤처투자 관점에서 중요한 질문은 더 구체적입니다. 에이전트가 절약한 노동 중 얼마가 검토와 재작업으로 되돌아오며, 그 검토를 잘할 사람은 어떻게 계속 길러지는가. 이 비용을 고객에게 떠넘기는 제품과 실제로 줄이는 제품은 같은 자동화율을 보여도 다른 사업입니다.
승인자가 있다는 것과 감독이 작동한다는 것은 다릅니다
승인 버튼은 권한을 확인할 수 있습니다. 그러나 승인자가 결과를 이해했는지, 잘못을 발견했는지까지 증명하지는 않습니다.
예를 들어 구매 담당자가 AI가 만든 발주안을 승인한다고 하겠습니다. 수량과 총액만 보면 문제가 없어도 공급업체가 바뀌었거나, 기존 계약과 다른 납기 조건이 들어갔거나, 같은 주문이 중복 생성됐을 수 있습니다. 이때 필요한 것은 긴 설명문을 읽는 시간이 아니라, 원계약·기존 주문·변경된 조건을 대조할 수 있는 정보와 능력입니다. 이는 특정 사고를 인용한 사례가 아니라 감독의 조건을 설명하기 위한 예시입니다.
Passi와 Ranjit Singh의 Data & Society 현장 연구도 감독을 개인의 주의력 문제로 축소하지 않습니다. 시스템의 능력과 한계를 아는 지식, 작동을 관찰할 수 있는 정보, 의미 있는 통제권, 결과가 연쇄적으로 번지기 전에 개입할 시간이 함께 필요하다고 봅니다. 감독의 부담을 최종 사용자에게만 맡길 수 없다는 주장입니다.
이 조건을 제품에 적용하면, “모든 행동을 승인받는다”는 설계는 충분하지 않습니다. 무엇이 바뀌는지 보이지 않으면 승인은 형식이 되고, 수백 건을 같은 무게로 올리면 중요한 예외가 묻힙니다. 이미 외부에 실행한 뒤 보고한다면 승인자의 권한도 예방이 아니라 사후 수습에 머뭅니다.
감독은 버튼 하나가 아니라 정보·숙련·시간·권한을 함께 갖춘 업무로 설계해야 합니다.
연구는 사고력 저하보다, 서로 다른 학습 결과를 보여줍니다
관련 연구를 읽을 때는 세 가지를 구별해야 합니다. 생각하는 노력이 줄었다는 자기보고, 새로운 기술을 덜 배웠다는 시험 결과, 이미 익힌 기술이 장기간 쇠퇴했다는 관찰은 같은 증거가 아닙니다.
| 연구 | 확인한 결과 | 이 결과로 단정할 수 없는 것 |
|---|---|---|
| CHI 2025 지식노동자 조사 | 319명의 936개 사용 사례에서 AI에 대한 높은 신뢰는 더 적은 비판적 사고 노력의 자기보고와 관련됐습니다. | AI가 장기적인 인지 능력 저하를 일으켰다는 인과관계는 측정하지 않았습니다. |
| Anthropic 코딩 학습 실험 | 개발자 52명의 무작위 배정 실험에서 AI 사용군의 사후 시험 점수는 50%, 비사용군은 67%였습니다. | 모든 개발자·코딩 업무나 자율 코딩 에이전트의 장기 효과를 대표하지 않습니다. |
| PNAS 수학 학습 실험 | 튀르키예 고등학생 약 1,000명 실험에서 일반형 AI 사용군은 연습 성적이 높아졌지만, AI 없이 치른 후속 시험에서는 불리했습니다. | 성인 전문가의 기존 숙련이 같은 비율로 감소한다는 뜻은 아닙니다. |
| QJE 고객상담 현장 연구 | 상담원 5,172명의 단계적 도입 자료에서 시간당 해결 건수는 평균 15% 늘었고 학습을 시사하는 증거도 관찰됐습니다. | 한 기업의 상담 지원 결과를 모든 직무와 완전자율 에이전트로 확대할 수 없습니다. |
코딩 실험은 특히 감독 능력과 가깝습니다. 참가자는 주로 경력이 짧은 개발자였고, 익숙하지 않은 Python 라이브러리 Trio를 사용했습니다. AI를 쓴 집단의 시험 점수는 17퍼센트포인트 낮았으며, 차이가 큰 영역은 오류를 찾아 고치는 능력이었습니다. 작업은 약 2분 빨랐지만 그 차이는 통계적으로 유의하지 않았습니다. 다만 즉시 치른 시험이므로 장기 기억과 숙련의 지속성은 확인하지 못했습니다. AI 제공사가 수행한 연구라는 점도 함께 봐야 합니다.
이 결과는 “AI가 쓴 코드는 나쁘다”는 뜻이 아닙니다. 결과물을 얻는 과정에서 사용자가 디버깅을 배우지 못할 수 있다는 뜻입니다. 결과물의 품질과 그것을 다룬 사람의 학습을 따로 평가해야 하는 이유입니다.
교육 실험은 설계에 따라 결과가 달라진다는 근거를 제공합니다. 일반형 GPT 도구를 쓴 집단의 연습 성적은 대조군보다 48% 높았지만, 도구 없이 치른 후속 시험에서는 17% 낮았습니다. 반면 교사의 지침에 따라 힌트를 제공하도록 설계한 GPT Tutor 집단은 연습 성적이 127% 높았고, 후속 시험의 부정적 효과는 대체로 사라졌습니다. 이 수치는 상대적 변화율이며, 코딩 실험의 퍼센트포인트와 구분해야 합니다. 또한 Tutor가 독립 시험의 성적을 유의하게 높였다는 결과로 바꾸어 읽어서는 안 됩니다.
고객상담 연구에서는 반대 방향도 보입니다. AI가 숙련자의 대응 방식을 경험이 적은 직원에게 전달하면서 생산성과 학습을 도울 수 있었습니다. 따라서 위험을 결정하는 것은 AI 사용 여부 하나가 아닙니다. 정답을 대신 제출하게 만드는지, 판단의 근거를 배우게 만드는지, 어느 일을 얼마나 맡기는지가 중요합니다.
사람을 더한다고, 더 나은 팀이 자동으로 만들어지지 않습니다
사람은 AI의 오류를 잡기도 하지만, 맞는 답을 잘못 바꾸거나 틀린 답을 그대로 받아들이기도 합니다. 감독의 가치를 판단하려면 “사람이 참여했다”가 아니라 어떤 오류가 실제로 줄었는지를 봐야 합니다.
Vaccaro·Almaatouq·Malone의 메타분석은 2020년부터 2023년 상반기까지 발표된 연구의 106개 실험을 종합했습니다. 평균적으로 인간·AI 조합은 인간 단독과 AI 단독 중 더 잘하는 쪽보다 성과가 낮았습니다. 의사결정 과제에서는 손실이 나타났고, 콘텐츠 생성 과제에서는 상대적으로 나은 결과가 나타났습니다. 다만 콘텐츠 생성의 평균 이득 자체가 0보다 유의하게 크지는 않았습니다.
이를 “인간과 AI의 협업은 인간 혼자보다 나쁘다”로 바꾸면 비교 대상을 잘못 옮긴 것입니다. 2026년의 모든 에이전트에 적용되는 판정도 아닙니다. 다만 인간을 끼워 넣었다는 이유만으로 성능이 개선됐다고 가정해서는 안 된다는 근거는 됩니다.
제품 실사에서는 동일한 업무를 사람이 하는 경우, AI가 하는 경우, 설계된 협업으로 하는 경우를 비교할 필요가 있습니다. 실제 외부 실행이 위험하면 격리된 시험 환경에서 비교해야 합니다. 가장 약한 기존 업무방식만 기준으로 삼아서는 사람을 추가한 가치와 AI를 추가한 가치를 구별하기 어렵습니다.
여기서 특히 중요한 값은 감독자의 일반적인 정답률이 아닙니다. AI가 실제로 틀린 사례에서 그 사람이 얼마나 자주 오류를 발견하고 바로잡는가입니다. 낯선 상황이나 불완전한 자료 때문에 AI가 틀렸다면, 같은 자료를 보는 사람에게도 어려운 문제일 수 있습니다. 두 판단을 독립적인 안전장치로 취급해 각각의 평균 오류율을 단순히 곱하면 위험을 과소평가할 수 있습니다.
감독 비용을 넣으면 자동화의 경제성이 달라집니다
에이전트의 가격표는 대개 고객이 부담하는 비용의 일부입니다. 검토, 수정, 업무 시스템 연결, 예외 대응, 감독자 교육까지 넣어야 기존 방식과 비교할 수 있습니다.
아래는 실제 기업이나 제품의 성과가 아닌 가상 계산입니다. 월 1,000건을 최종 완료하고, 사람의 시간당 총인건비를 6만 원으로 가정합니다. 기존 방식은 현재의 검토·수정을 포함해 건당 12분이 걸립니다. AI 방식에서는 고객이 내는 이용료가 건당 1,000원이고, 전체의 10%에 건당 20분의 추가 재작업이 발생하며, 추가 운영·교육비로 월 100만 원을 배분합니다. 기존의 공통 비용은 양쪽에서 제외하고 AI 도입으로 늘어난 비용만 추가했습니다.
| 월 1,000건 완료 기준 | 기존 방식 | AI 도입, 건당 검토 4분 | AI 도입, 건당 검토 8분 |
|---|---|---|---|
| 기존 방식의 수행 인건비 | 1,200만 원 | 해당 없음 | 해당 없음 |
| AI 이용료 | 해당 없음 | 100만 원 | 100만 원 |
| 사람의 검토 인건비 | 기존 수행시간에 포함 | 400만 원 | 800만 원 |
| 추가 재작업 인건비 | 기존 수행시간에 포함 | 200만 원 | 200만 원 |
| 추가 운영·교육 배분액 | 추가 없음 | 100만 원 | 100만 원 |
| 비교 대상 비용 합계 | 1,200만 원 | 800만 원 | 1,200만 원 |
| 기존 방식 대비 비용 절감률 | 기준 | 33.3% | 0.0% |
산식은 간단합니다. 기존 수행비는 1,000건 × 12분 ÷ 60 × 6만 원 = 1,200만 원입니다. 4분 검토비는 1,000건 × 4분 ÷ 60 × 6만 원 = 400만 원, 재작업비는 100건 × 20분 ÷ 60 × 6만 원 = 200만 원입니다. 절감률은 (1,200만 원 − 800만 원) ÷ 1,200만 원이며 소수점 첫째 자리로 반올림했습니다.
이 계산은 양쪽 방식의 미탐지 오류로 인한 손실을 포함하지 않습니다. 그 손실의 크기와 허용 수준은 따로 확인해야 합니다. 재작업 후 같은 품질의 1,000건이 완료된다는 가정이 깨져도 비교를 다시 해야 합니다. 또한 절약한 인건비는 먼저 여유 시간의 가치입니다. 실제 현금 지출이 곧바로 같은 만큼 줄어든다는 뜻은 아닙니다.
그럼에도 민감도는 분명합니다. 다른 조건이 같아도 검토 시간이 건당 4분 늘면 월 비용이 400만 원 증가합니다. 공급업체가 이용료를 조금 내리는 것보다 검토 화면과 예외 처리 방식을 고치는 것이 고객에게 더 큰 가치를 만들 수 있습니다.
여기에 감독자의 숙련 저하가 발생한다면 검토 시간이나 놓치는 오류가 다시 늘어날 수 있습니다. 이는 위 표에 실측값으로 넣은 사실이 아니라 추가로 검증해야 할 위험입니다. 따라서 감독 능력의 유지는 교육 담당 부서만의 관심사가 아니라 제품의 장기 경제성에 관한 질문입니다.
더 많은 확인창보다, 덜 헷갈리는 개입 지점이 필요합니다
사람에게 더 자주 묻는다고 문제가 해결되지는 않습니다. 반대로 질문을 전부 없애는 것도 답은 아닙니다. 자동화할 행동의 범위와 사람이 실질적으로 바꿀 수 있는 지점을 정해야 합니다.
Buçinca 등의 199명 대상 실험에서는 사용자가 직접 생각하도록 요구하는 설계가 단순한 설명 제공보다 AI에 대한 과도한 의존을 줄였습니다. 그러나 효과적인 개입에 대한 사용자의 주관적 평가는 오히려 낮을 수 있었습니다. 사용자가 편하다고 느끼는 설계와 잘못된 제안을 거부하게 만드는 설계가 일치하지 않을 수 있다는 뜻입니다.
이 결과를 모든 화면에 퀴즈와 확인창을 붙이라는 지침으로 읽을 필요는 없습니다. 필자가 제안하는 기준은 오류의 영향과 되돌릴 수 있는 정도에 맞춰 개입을 배치하는 것입니다.
| 업무 상황 | 에이전트에 맡길 범위 | 사람이 판단할 때 필요한 것 |
|---|---|---|
| 영향이 작고 복구가 쉬운 반복 작업 | 사전 규칙 안에서 자동 처리하고 결과를 표본 점검 | 잘못된 결과와 정상 결과를 구별할 기준 |
| 외부 전송 전의 문서·주문·설정 변경 | 초안을 만들되 중요한 차이를 묶어 검토 | 원문, 변경 전후 값, 불일치, 실행 대상 |
| 금전·계약·접근권한처럼 영향이 큰 행동 | 별도 권한과 조건을 충족하기 전 실행 차단 | 책임 있는 승인자, 독립 확인, 취소·복구 한계 |
| 처음 접하는 상황이나 근거가 충돌하는 사례 | 수행 범위를 줄이거나 멈추고 예외로 전달 | 무엇을 모르며 어떤 자료가 판단을 바꾸는지 |
표는 범용 설계안이지 특정 업종의 법적 승인 요건을 대신하지 않습니다. 실제 권한과 기준은 해당 조직의 규칙에 맞춰야 합니다.
검토 화면도 “왜 이 결론이 타당한가”라는 유창한 설명보다 무엇을 근거로 어떤 상태를 바꾸는가를 먼저 보여줘야 합니다. 발주 예시라면 원계약의 해당 항목, 변경된 공급업체, 납기 차이, 중복 주문 여부가 핵심입니다. AI의 자체 설명을 다시 읽는 것과 외부 근거를 대조하는 것은 다른 검증입니다.
로그를 남기는 것과 되돌리는 것도 구별해야 합니다. LangGraph의 체크포인트와 재실행 기능은 저장한 상태에서 실행을 재개하거나 다른 경로를 시험하도록 돕습니다. 그러나 작업 상태를 되돌렸다고 이미 발송한 이메일이나 외부 시스템의 거래까지 취소되는 것은 아닙니다. 업무상 복구는 상대 시스템의 취소 기능, 보정 작업, 권한과 책임을 별도로 설계해야 합니다.
숙련의 문제는 기존 직원보다, 다음 직원에게 먼저 나타날 수 있습니다
지금의 숙련자는 AI 없이 일하며 시행착오를 겪었을 수 있습니다. 앞으로의 신입 직원은 처음부터 AI가 만든 결과를 검토하는 역할을 맡을 수 있습니다. 두 집단에게 같은 승인 화면을 제공한다고 같은 감독 능력이 생긴다고 보기는 어렵습니다.
이는 위 코딩·교육 실험에서 도출한 조직 설계상의 가설입니다. 기존 전문가의 실력이 이미 대규모로 쇠퇴했다는 관측과 구별해야 합니다. 당장 확인할 수 있는 질문은 “잘하던 사람이 퇴화했는가”뿐 아니라 “새로 들어온 사람이 필요한 판단을 배울 기회가 있는가”입니다.
물론 과거의 모든 수작업을 보존할 필요는 없습니다. 자동화된 형식 정리와 단순 계산까지 예전 방식으로 훈련하는 것은 낭비일 수 있습니다. 남겨야 할 것은 업무 목적을 정의하고, 원문 간 충돌을 발견하고, 예외의 중요도를 판단하고, 실패했을 때 다른 경로로 복구하는 능력입니다.
이를 유지하는 제품은 작업 모드와 학습 모드를 구별할 수 있습니다. 처리량이 중요한 반복 업무는 자동화하고, 드물지만 중요한 예외는 격리된 사례 훈련으로 다룹니다. AI의 답을 보기 전에 짧게 독립 판단을 남기고, 이후 실제 결과와 차이를 확인하는 방식도 시험할 수 있습니다. 훈련용 오류를 실제 고객 업무에 몰래 흘려보내서는 안 됩니다.
평가에서도 클릭 시간이나 승인 비율만으로 개인의 사고력을 점수화하면 안 됩니다. 숙련자는 빨리 정확히 판단할 수도 있고, 오래 읽어도 핵심 오류를 놓칠 수 있습니다. 검증된 오류 사례를 안전한 환경에서 얼마나 잘 탐지·설명·수정하는지 확인하는 편이 목적에 맞습니다. 직원 감시를 강화하는 방식으로 감독의 문제를 해결하려 해서는 안 됩니다.
통제 기능이 필요하다는 것과, 독립 기업이 돈을 번다는 것은 별개입니다
이 논지에서 바로 “에이전트 감독 소프트웨어는 큰 시장”이라는 결론으로 넘어가면 투자 분석이 비어 버립니다. 필요한 기능이라도 기존 플랫폼에 기본 제공될 수 있고, 고객이 별도 예산을 배정하지 않을 수도 있습니다.
Microsoft Agent 365는 에이전트의 관찰·관리·보안을 위한 제어 기능을 제품으로 제시합니다. LangGraph도 상태 저장, 인간 개입, 장애 복구를 위한 기반을 제공합니다. 이는 각 공급자의 제품·문서상 기능을 확인한 것이지, 그 기능이 현장에서 감독 오류를 얼마나 줄였다는 독립적인 성과 검증은 아닙니다.
그럼에도 경쟁상의 함의는 있습니다. 실행 이력과 승인 화면을 붙였다는 설명만으로는 차별성이 약합니다. 고객이 별도로 돈을 낼 이유는 특정 업무에서 감독의 비용이나 실패를 실제로 줄이는 데서 찾아야 합니다.
| 사업 가설 | 고객이 값을 지불할 수 있는 이유 | 성립 여부를 가르는 검증 |
|---|---|---|
| 특정 업무의 검증을 내장한 에이전트 | 원자료 대조와 예외 선별로 검토 시간을 줄임 | 같은 오류 허용 수준에서 최종 완료 비용이 내려가는가 |
| 여러 업무 시스템에 걸친 실행 통제 | 플랫폼 하나로 잡지 못하는 권한·중복 실행·복구 문제를 해결 | 기존 제품의 조합보다 설치·운영 부담과 손실이 작은가 |
| 실제 업무 사례로 훈련하는 감독자 교육 | 신입의 숙련 형성과 예외 대응을 지원 | 교육 수료가 아니라 독립적인 오류 탐지·복구가 좋아지는가 |
이 표는 유망 기업을 확정한 목록이 아니라 고객 실사에서 검증할 가설입니다. 사업부가 얻는 시간 절약, 보안 부서가 줄이는 위험, 교육 부서가 얻는 역량은 예산의 주인이 다릅니다. 누구의 문제를 해결하며 누가 계약하는지가 명확해야 합니다.
데이터 우위도 승인 로그의 양으로 판단할 수 없습니다. 고객이 승인한 결과가 나중에 맞았는지, 무엇을 놓쳤는지, 어떤 개입이 도움이 됐는지가 연결돼야 개선에 쓸 수 있습니다. 기밀과 사용권 문제 때문에 한 고객의 사례를 다른 고객에게 학습 데이터로 쓰지 못할 수도 있습니다. 데이터가 쌓인다는 것과 제품 전체의 성능을 높일 권리·구조가 있다는 것은 다른 조건입니다.
또 하나의 비용은 전문가 서비스입니다. 제품이 어려운 검증을 자사 인력에게 넘기며 성과를 유지한다면, 고객의 부담은 줄어도 공급자의 비용이 늘어납니다. 고객의 절감액과 공급자의 수익성을 같은 지표로 취급해서는 안 됩니다. 배포가 늘수록 전문가 투입시간이 어떻게 변하는지 확인해야 합니다.
제품 실사에서는 자동화율보다, 잘못된 승인을 찾아야 합니다
필자가 도입 검증을 설계한다면 쉬운 업무만 골라 한 번 시연하지 않겠습니다. 일상적인 사례와 드문 예외를 포함한 같은 과제 집합에서 사람 단독, 허용된 AI 단독, 인간·AI 협업을 비교하고, 시작 전에 수용 기준을 고정하겠습니다.
측정할 것은 최종 완료율, 오류의 심각도, 사람이 쓴 검토·재작업 시간, 외부 실패의 복구 가능성입니다. AI의 답을 얼마나 많이 고쳤는지도 그 자체로 성공 지표는 아닙니다. 틀린 답을 올바르게 고쳤는지, 맞는 답을 잘못 바꾸지는 않았는지가 필요합니다.
반복 사용의 영향은 별도로 보겠습니다. 예컨대 6~8주 후 새로운 사례를 주고, AI를 일시적으로 사용할 수 없는 시험에서도 중요한 오류를 알아보는지 확인할 수 있습니다. 이 기간은 필자의 실사 예시이지 학계가 확정한 표준은 아닙니다. 원래 실력이 다른 집단을 단순 비교하지 않도록 시작 시점의 역량과 업무 난이도를 맞춰야 합니다.
이런 검증에서 인간 개입이 오류를 줄이지 못하고 비용만 늘린다면, 개입을 줄이거나 역할을 바꿔야 합니다. 반대로 AI 지원이 학습과 생산성을 함께 높인다면 숙련 저하를 전제로 설계할 이유가 약해집니다. 인간 감독은 지켜야 할 형식이 아니라 실제로 효과를 내야 하는 수단입니다.
에이전트가 더 많은 일을 할수록 좋은 제품의 질문은 구체적이어야 합니다. 몇 번 승인받았는지가 아니라 어떤 오류를 막았는지, 얼마나 오래 혼자 일했는지가 아니라 같은 품질의 일을 총 얼마에 끝냈는지입니다. 그리고 그 성과가 사람의 판단에 기대고 있다면, 그 사람을 유능하게 유지하는 비용까지 제품의 경제성 안에 넣어야 합니다.
출처와 해석 범위
자료 확인 기준은 2026년 9월 9일입니다. 출발 논문은 제공된 2026년 9월 2일 개정본 첫 페이지와 공개 초록을 확인했으며, 전체 본문의 세부 제안과 참고문헌을 모두 검증한 것은 아닙니다. 아래 실증 연구와 공식 문서는 별도로 확인했습니다. 연구들의 과제·대상·도구가 서로 다르므로 효과의 크기를 합산하거나 최신 자율 에이전트의 성능으로 환산하지 않았습니다. 비용 표와 제품·실사 설계는 필자의 가정 및 제안이며, 특정 종목의 투자판단은 다루지 않습니다.
- Mitchell, Ghosh, Passi, AI Agents Push Humans Out of the Loop, 2026. 인간 감독의 구조와 숙련 유지에 관한 입장 논문.
- Passi, Singh, The Oversight Fallacy, Data & Society, 2026년 7월 29일. 현장 연구에 기반한 감독 조건.
- Lee 외, The Impact of Generative AI on Critical Thinking, CHI 2025. 자기보고 설문이며 장기 인지 저하의 인과 실험이 아님.
- Shen, Tamkin, How AI Impacts Skill Formation에 관한 연구 설명, Anthropic, 2026년 1월 29일. 소규모 무작위 배정 코딩 학습 실험.
- Bastani 외, Generative AI without guardrails can harm learning, PNAS, 2025. 수학 학습 현장 실험.
- Brynjolfsson, Li, Raymond, Generative AI at Work, QJE, 2025. 출판본의 5,172명·15%를 사용했으며 이전 초안 수치와 혼용하지 않음.
- Vaccaro, Almaatouq, Malone, When combinations of humans and AI are useful, Nature Human Behaviour, 2024. 인간·AI 협업 실험 메타분석.
- Buçinca, Malaya, Gajos, To Trust or to Think, 2021. 독립적인 사고를 요구하는 설계와 과도한 의존의 관계.
- Microsoft Agent 365, LangGraph 상태 저장 및 재실행. 공급자의 기능 설명이며 독립적인 효과 검증과 구별.
함께 읽을 글: AI의 다음 병목은 모델이 아니라 인간의 주의입니다, 에이전트의 성능은 모델과 하네스, 사람의 경계에서 결정됩니다, AI 가격표의 진짜 단위는 성공한 업무입니다.