Self-Evolving AI: 모델이 아니라 시스템이 진화하기 시작했습니다
AI가 자기 자신을 개선한다는 말을 들으면 보통 한 장면을 떠올립니다. 모델이 스스로 새로운 학습 데이터를 만들고, 자기 가중치를 다시 훈련해, 이전보다 더 똑똑한 다음 세대 모델이 되는 모습입니다. 재귀적 자기개선이라는 오래된 상상도 대체로 이 그림에서 출발했습니다.
그런데 지금 가장 빠르게 현실이 되는 Self-Evolving AI는 조금 다릅니다. 모델의 가중치를 바꾸지 않고 모델 주변의 시스템을 바꿉니다. 한 번의 작업에서 얻은 경험을 Memory로 남기고, 반복 가능한 절차를 Skill로 만들며, 결정적인 연산은 Tool로 옮기고, 여러 단계를 Workflow로 묶습니다. 더 나아가 도구 권한, 컨텍스트 관리, 에이전트 루프와 평가 방식까지 포함한 Harness 자체를 수정합니다.
이 변화는 작은 기술 유행이 아닙니다. AI 능력을 어디에서 찾아야 하는지에 대한 관점의 이동입니다.
Model Capability와 Agent Capability는 같은 말이 아닙니다.
같은 프런티어 모델을 사용해도 어떤 기억을 불러오는지, 어떤 도구를 쓸 수 있는지, 실패를 어떻게 감지하고 복구하는지, 긴 작업의 문맥을 어떻게 관리하는지에 따라 실제 업무 성공률은 크게 달라집니다. 모델은 그대로인데 시스템은 경험을 먹고 좋아질 수 있습니다.
최근 발표된 Self-Evolving Coding Agents 서베이는 이 흐름을 framework, memory, skills, tools, models, collaboration structures 중 하나 이상을 과거 상호작용에 따라 갱신하는 시스템으로 정의합니다. 개선의 대상이 모델 하나에서 에이전트의 전체 구성요소로 넓어진 것입니다.
자기진화라는 말부터 네 층으로 나눠야 합니다
현재 Self-Evolving AI라는 이름 아래에는 서로 다른 수준의 변화가 섞여 있습니다. 같은 말로 부르면 과장과 오해가 생깁니다.
| 수준 | 무엇이 바뀌는가 | 지속 기간 | 대표 예시 |
|---|---|---|---|
| 실행 중 적응 | 계획, 임시 문맥, 현재 작업의 반성 | 한 번의 실행 | 재계획, 자기검토, 도구 재시도 |
| 실행 간 비파라미터 적응 | Memory, Skill, Tool, Workflow | 여러 세션 | Hermes Agent, Voyager, Alita-G |
| 하네스 자기수정 | 에이전트 코드, 컨텍스트 정책, 검토 구조 | 새 시스템 버전 | Darwin Gödel Machine |
| 파라미터 자기개선 | 모델 가중치, 학습 알고리즘, 훈련 데이터 | 새 모델 버전 | 자기생성 데이터 기반 SFT·RL |
첫 번째는 실행 중 문제를 고쳐 가는 능력입니다. 같은 과제를 다시 시도할 때는 남지 않을 수 있습니다. 두 번째부터 경험이 세션을 넘어 자산으로 축적됩니다. 세 번째는 에이전트가 자신을 둘러싼 프로그램을 바꾸므로 훨씬 강한 의미의 자기수정입니다. 네 번째에서야 우리가 익숙하게 생각한 모델 자체의 재학습이 일어납니다.
이 네 층은 경쟁 관계가 아니라 순서에 가깝습니다. 비파라미터 방식은 빠르고 싸며 사람이 읽고 되돌릴 수 있습니다. 충분한 경험과 검증 데이터가 쌓이면 그중 일부를 다시 모델 학습에 사용해 더 깊은 역량으로 압축할 수 있습니다.
왜 지금 갑자기 중요해졌나
자기개선은 오래된 연구 주제입니다. 진화 알고리즘, AutoML, 메타러닝과 강화학습은 모두 시스템이 경험을 통해 더 나은 정책을 찾는 방법입니다. 지금 다시 크게 부각되는 이유는 Agentic AI가 개선 가능한 표면을 폭발적으로 넓혔기 때문입니다.
챗봇 시절에는 모델이 곧 제품 능력의 대부분이었습니다. 입력을 받고 답을 내는 한 번의 호출에서 하네스가 할 수 있는 일은 제한적이었습니다. 에이전트는 다릅니다. 수십 번의 모델 호출과 도구 실행, 검색, 파일 수정, 오류 복구가 이어집니다. 각 단계에는 선택 가능한 설계가 있습니다.
- 어떤 정보를 장기 기억으로 남길 것인가
- 어떤 과거 경험을 이번 문맥에 불러올 것인가
- 반복 절차를 자연어 Skill로 둘지 실행 코드로 만들지
- 어떤 도구를 어느 권한으로 제공할 것인가
- 계획, 실행, 검토를 한 에이전트가 맡을지 분리할지
- 문맥이 길어질 때 무엇을 요약하고 무엇을 보존할지
- 실패했을 때 재시도, 다른 도구, 사람 승인 중 무엇을 선택할지
모델을 고정해도 이 선택들을 바꾸면 성능이 달라집니다. 멀티턴 과제에서는 작은 차이가 매 단계 누적되므로 하네스의 영향이 더 커집니다. 하네스가 곧 제품이라는 말은 모델이 중요하지 않다는 뜻이 아니라, 모델의 잠재력을 실제 성공으로 바꾸는 변환기가 별도의 경쟁력이 됐다는 뜻입니다.
경험은 Memory, Skill, Tool로 자동 승진하지 않습니다
Self-Evolving AI를 설명할 때 자주 쓰는 문장이 있습니다. 실패는 Memory로 남고, 반복되는 해결법은 Skill이 되며, 자주 쓰는 Skill은 Tool이 된다는 것입니다. 방향은 이해하기 쉽지만 실제 시스템에서는 자동 승진 사다리로 보면 위험합니다. 세 자산은 역할이 다릅니다.
| 자산 | 저장하는 것 | 좋은 예 | 승격 기준 |
|---|---|---|---|
| Memory | 사실, 사건, 실패 원인, 사용자·환경 상태 | "이 클러스터는 IRSA를 사용한다" | 다시 필요하고 최신성을 관리할 수 있음 |
| Skill | 재사용 가능한 절차와 판단 기준 | "EKS 배포 전 권한·네트워크 점검 순서" | 여러 사례에서 전이되고 사람이 읽을 수 있음 |
| Tool | 결정적으로 실행할 수 있는 기능 | 클러스터 상태 수집·정책 검사 함수 | 반복 빈도가 높고 입력·출력을 명세할 수 있음 |
| Workflow | 여러 Skill·Tool의 순서와 분기 | 계획→배포→검증→롤백 | 경로가 반복되고 단계별 완료 조건이 있음 |
| Harness | 실행·권한·문맥·평가의 운영체제 | sandbox, event log, scheduler | 여러 워크플로에 공통으로 필요한 통제층 |
AWS에 Kubernetes를 반복 배포하는 에이전트를 생각해 봅시다. 첫 실행에서는 문서를 찾고, IAM과 네트워크 설정을 확인하고, YAML을 만들고, 실패 로그를 읽습니다. 그중 "특정 조직의 계정에서는 권한 전파에 지연이 생긴다"는 사실은 Memory입니다. 성공한 배포 순서와 진단 기준은 Skill이 될 수 있습니다. 매번 열 개의 명령을 실행해 상태를 모은다면 하나의 진단 Tool로 묶는 편이 낫습니다. 배포 전 검사, 실행, 건강 확인, 실패 시 롤백의 순서가 반복되면 Workflow가 됩니다.
하지만 한 번 성공했다고 바로 Skill로 저장하면 안 됩니다. 우연한 해결법, 이미 폐기된 API, 과도한 권한, 특정 환경에만 맞는 명령이 영구 자산이 될 수 있습니다. 경험을 자산으로 만드는 핵심 단계는 추출이 아니라 입학 심사입니다.
Dynamic Agent Skills는 2023~2026년의 124개 논문을 검토한 뒤, 동적 Skill 시스템을 단순한 파일 모음이 아니라 생애주기가 관리되는 검증된 자산 저장소로 정의합니다. 증거 수집, 후보 생성, 검증과 승인, 저장, 검색과 조합, 유지보수, 이식, 거버넌스가 모두 있어야 합니다. 라이브러리가 커지면 평면 검색의 품질이 떨어지고, 오래된 Skill을 수리하거나 제거하는 작업이 중요해진다는 결론도 나옵니다.
Self-Evolving 시스템의 진짜 핵심은 Evaluator입니다
AI가 후보를 만드는 일은 빠르게 싸지고 있습니다. 무엇이 더 좋은 후보인지 판정하는 일은 그렇지 않습니다. 평가기가 틀리면 자기진화는 개선이 아니라 오진의 자동 누적이 됩니다.
Evaluator는 하나의 점수보다 여러 제약의 묶음이어야 합니다.
- 과제 성능: 실제 완료율과 정답률이 올랐는가
- 전이: 변경을 만들 때 보지 않은 과제와 환경에서도 좋아졌는가
- 비용과 지연: 성공률이 올랐지만 호출량과 실행시간이 폭증하지 않았는가
- 안전: 권한 초과, 데이터 노출, 금지 행동이 새로 생기지 않았는가
- 유지보수: 새 Tool과 Workflow를 사람이 이해하고 고칠 수 있는가
- 퇴행: 기존에 잘하던 다른 과제와 사용자 구간이 나빠지지 않았는가
코딩, 컴파일러, 데이터베이스와 시스템 최적화가 Self-Evolving AI의 선두인 이유가 여기에 있습니다. 코드는 실행할 수 있고 테스트를 통과했는지 확인할 수 있습니다. 속도, 메모리, 정확성, 비용도 수치로 비교할 수 있습니다. 제안, 실행, 채점, 선택의 루프를 자동화하기 가장 좋은 환경입니다.
AlphaEvolve: 자기 자신보다 알고리즘을 진화시킵니다
Google DeepMind가 2025년 5월 공개한 AlphaEvolve는 이 구조를 가장 선명하게 보여 줍니다. Gemini Flash가 넓게 후보를 만들고 Gemini Pro가 더 깊은 제안을 보탭니다. 생성된 프로그램은 자동 평가기로 실행·검증·채점되고, 프로그램 데이터베이스의 진화 알고리즘이 다음 세대의 부모를 선택합니다.
공식 발표 기준 성과는 실물입니다.
- Google의 Borg 데이터센터 스케줄링 휴리스틱을 개선해 전 세계 컴퓨팅 자원의 평균 0.7퍼센트를 지속적으로 회수했습니다.
- Gemini 아키텍처의 핵심 커널을 23퍼센트 빠르게 만들어 전체 훈련시간을 1퍼센트 줄였습니다.
- FlashAttention 구현의 저수준 GPU 명령을 최적화해 최대 32.5퍼센트 속도 향상을 냈습니다.
- 4×4 복소 행렬 곱셈을 48회의 스칼라 곱셈으로 수행하는 알고리즘을 찾아 1969년 이후 알려진 기록을 개선했습니다.
- 50개가 넘는 열린 수학 문제 가운데 약 20퍼센트에서 기존 최고 결과를 개선했다고 보고했습니다.
다만 정확한 표현이 필요합니다. AlphaEvolve는 일반적으로 자기 에이전트 코드를 고치는 시스템이 아니라 목표 알고리즘을 진화시키는 시스템입니다. 그 결과 중 일부가 Gemini 훈련을 더 빠르게 만들었기 때문에 넓은 의미의 자기개선 고리가 생겼습니다. 그러나 AlphaEvolve가 다음 AlphaEvolve의 평가기와 하네스를 자율적으로 다시 설계했다는 뜻은 아닙니다.
이 구분은 오히려 AlphaEvolve의 의미를 더 분명하게 합니다. 재귀적 자기수정이 없어도, 좋은 평가기가 있는 좁은 영역에서는 생성과 선택의 회전수를 극단적으로 높여 실제 인프라를 개선할 수 있다는 증거입니다.
Hermes Agent: 제품 안으로 들어온 경험→Skill 루프
연구실 바깥에서 가장 직접적인 사례는 Nous Research의 Hermes Agent입니다. 공식 문서는 이를 경험에서 Skill을 만들고, 사용 중 개선하며, 세션을 넘어 Memory를 축적하는 내장 학습 루프라고 설명합니다.
Hermes에서 Memory와 Skill은 의도적으로 나뉩니다. Memory에는 짧고 계속 필요한 사실을, Skill에는 관련 과제에서만 불러올 긴 절차를 저장합니다. 작업이 끝난 뒤 백그라운드 검토가 재사용할 가치가 있는 절차를 발견하면 Skill 생성이나 수정 후보를 만들 수 있습니다. 사용자는 Skill 쓰기를 바로 허용하거나, 변경을 pending 영역에 두고 diff를 확인한 뒤 승인·거절하도록 설정할 수 있습니다.
이 구현이 중요한 이유는 자기개선을 화려한 모델 학습이 아니라 파일, 검색, 승인과 버전 관리가 필요한 소프트웨어 기능으로 내려놓았기 때문입니다. 동시에 증거 수준도 구분해야 합니다. Hermes의 닫힌 학습 루프는 공식 제품 기능이지만, 그것이 모든 업무에서 장기간 성능을 계속 올린다는 독립 벤치마크를 뜻하지는 않습니다. Skill을 만드는 기능과 실제로 더 좋은 Skill만 축적하는 능력은 다릅니다.
그럼에도 방향은 분명합니다. 사용자가 같은 업무를 반복할수록 에이전트가 매번 처음부터 문서를 읽는 것이 아니라, 검증된 절차를 가져와 더 적은 탐색과 토큰으로 실행하는 제품 경험이 등장했습니다.
Skill을 넘어 Tool을 만드는 Alita
Skill이 절차를 읽고 따라 하는 방식이라면, Tool 생성은 그 절차를 실행 가능한 인터페이스로 굳히는 단계입니다. Alita는 미리 정의된 거대한 도구 상자 대신 과제에 필요한 기능을 찾아 스크립트를 만들고, 실행해 검증한 뒤, 재사용 가능한 MCP 형태로 저장하는 접근을 제안했습니다.
후속 연구인 Alita-G는 성공한 작업 궤적에서 후보 MCP Tool을 합성하고, 매개변수화된 원시 기능으로 추상화해 MCP Box에 보관합니다. 다음 과제에서는 설명과 사용 사례를 바탕으로 관련 Tool을 검색해 사용합니다. 논문 기준 GAIA validation에서 83.03퍼센트 pass@1을 기록하면서 강한 기준선보다 예시당 평균 토큰을 약 15퍼센트 줄였다고 보고합니다.
여기서 Self-Evolving의 단위가 더 명확해집니다. 모델이 새로운 지식을 가중치에 외우는 대신, 새 능력을 호출 가능한 소프트웨어로 외부화합니다. 잘 만든 Tool은 작은 모델에도 이식할 수 있고, 입력·출력과 권한을 검사할 수 있습니다. 반대로 생성된 코드이므로 취약점, 과도한 권한과 유지보수 부담도 함께 생깁니다.
Darwin Gödel Machine: 에이전트가 자기 코드를 바꿉니다
2025년 발표되고 ICLR 2026에 실린 Darwin Gödel Machine, DGM은 더 강한 의미의 자기개선을 실험합니다. 대상 알고리즘이 아니라 코딩 에이전트 자신의 Python 코드베이스를 수정합니다.
구조는 단일 최강 버전을 계속 덮어쓰는 방식이 아닙니다. 생성된 에이전트들을 archive에 보존하고, 그중 하나를 부모로 선택해 foundation model이 새 변형을 만듭니다. 새 에이전트는 코딩 벤치마크에서 평가되고, 성능과 다양성을 가진 후보가 다시 archive에 들어갑니다. 여러 진화 경로를 나무처럼 보존하기 때문에 일시적으로 나쁜 변경이 나와도 전체 계보를 잃지 않습니다.
발견된 변경에는 코드 편집 도구 개선, 긴 문맥 관리, 다중 후보 검토와 peer-review 구조가 포함됐습니다. 논문 기준 결과는 다음과 같습니다.
- SWE-bench Verified 계열 실험에서 초기 20.0퍼센트에서 50.0퍼센트로 상승
- Polyglot에서 14.2퍼센트에서 30.7퍼센트로 상승
- 다른 모델과 다른 벤치마크로 옮긴 실험에서도 일부 개선이 남아, 단순한 한 평가셋 암기만은 아니라는 근거 제시
그러나 이 숫자를 "AI가 인간 없이 무한히 진화했다"고 읽으면 안 됩니다. SWE-bench 실험의 자기수정과 평가에는 Claude 3.5 Sonnet이 사용됐고, 한 번의 DGM 실행에 약 2주와 약 2만 2천 달러의 API 비용이 들었습니다. 논문도 당시 폐쇄형 최고 코딩 에이전트에는 미치지 못했고, 더 오래 돌리면 계속 좋아질지는 열린 질문이라고 씁니다. 목표 분포, 벤치마크, foundation model, sandbox와 선택 알고리즘은 사람이 제공했습니다.
안전장치도 결과의 일부입니다. 모든 후보는 자원과 시간 제한이 있는 격리 환경에서 실행됐고 네트워크와 호스트 수정 권한이 제한됐습니다. 전체 코드 변경과 평가 계보를 남겨 롤백할 수 있게 했으며, 발견된 에이전트를 실제 개발 환경에 배포하지 않았습니다. 자기수정 능력보다 자기수정을 격리하고 되돌리는 인프라가 먼저였다는 점을 놓치면 안 됩니다.
DeepSeek Harness: 자기진화가 아니라 진화 가능한 구조
DeepSeek가 공개한 DeepSeek Harness의 핵심 문구는 Everything is a plugin입니다. Model, Tool, Skill, Session, Sandbox, Storage, Loop, Scheduling과 UI까지 교체 가능한 Plugin으로 다룹니다. Cordis kernel이 Plugin의 mount, unmount와 의존성을 관리하고, 개발자는 하네스의 핵심 코드를 고치지 않고 구성으로 기능을 바꿀 수 있습니다.
여기에 두 번째 원칙이 붙습니다. Every run is traceable. 모델이 본 system prompt, reasoning, tool call과 결과, sub-agent scheduling, context injection을 append-only session log에 기록합니다. 같은 event stream에서 resume, fork, search와 replay가 동작합니다. Creator mode에서는 현재 runtime을 살펴보고 Plugin을 메모리에서 시험한 뒤 새 preset으로 조합할 수 있습니다.
왜 이 구조가 Self-Evolving 시대와 맞을까요. Memory 방식만 바꾼 후보, Search Tool만 바꾼 후보, Reviewer를 추가한 후보를 따로 시험할 수 있기 때문입니다. 실행 기록이 남으므로 무엇이 성능을 바꿨는지 ablation할 수 있고, 나쁜 변경을 되돌릴 수 있습니다.
그러나 현재의 공식 발표는 DeepSeek Harness가 자기 판단으로 Plugin을 계속 바꿔 스스로 좋아진다고 말하지 않습니다. 오히려 개발자 프리뷰이며 호환성을 깨는 변경이 있을 수 있다고 명시합니다. DeepSeek Harness는 자기진화의 완성품이 아니라, 자기진화 실험을 하기 좋은 교체 가능한 실험대와 기록 장치입니다.
다섯 사례는 서로 다른 것을 진화시킵니다
| 시스템 | 진화하는 대상 | 평가 신호 | 가중치 변경 | 현재 증거의 성격 |
|---|---|---|---|---|
| AlphaEvolve | 목표 알고리즘과 프로그램 | 정확도·속도·자원 등 자동 지표 | 없음 | Google 인프라 실제 배포 성과 |
| Hermes Agent | Memory와 Skill | 작업 경험·후속 검토 | 없음 | 제품 기능, 장기 독립평가 제한 |
| Alita-G | 재사용 가능한 MCP Tool | 과제 성공과 비용 | 없음 | 공개 벤치마크 연구 결과 |
| Darwin Gödel Machine | 코딩 에이전트 코드와 하네스 | SWE-bench·Polyglot | 없음 | 격리된 연구 실험, 비용 큼 |
| DeepSeek Harness | 현재는 개발자가 조합하는 Plugin | trace와 개발자 평가 | 없음 | 자기진화가 아닌 기반 구조 |
이 표가 보여주는 중요한 점이 있습니다. Self-Evolving AI의 진전은 대부분 아직 모델 가중치 바깥에 있습니다. 그리고 서로 다른 시스템을 하나의 자기개선 서사로 묶으려면 무엇이 변했고, 누가 평가했으며, 변경이 얼마나 오래 남는지 먼저 밝혀야 합니다.
Training과 Inference의 경계는 흐려지지만 사라지지는 않습니다
전통적인 구분은 명확했습니다. Training에서 모델이 배우고, Inference에서는 배운 모델이 고정된 채 답을 냈습니다. 에이전트가 세션 간 경험을 축적하면서 이 경계가 흐려집니다.
- Inference에서 실제 업무를 처리합니다.
- 성공과 실패의 trajectory가 Experience가 됩니다.
- Experience에서 Memory, Skill, Tool과 Workflow 후보를 만듭니다.
- 검증된 외부 자산이 다음 Inference를 바꿉니다.
- 축적된 고품질 trajectory와 평가 결과가 새 학습 데이터가 됩니다.
- SFT나 RL을 거쳐 새 모델이 나오고, 더 나은 Agent가 다시 더 좋은 Experience를 만듭니다.
따라서 "Training과 Inference가 하나가 된다"는 표현은 운영적 의미에서는 맞지만 기술적으로는 구분이 필요합니다. Memory와 Skill 갱신은 모델 학습이 아니라 inter-run adaptation입니다. 모델 가중치가 바뀌는 단계는 여전히 별도의 Training입니다. 중요한 변화는 두 과정 사이에 자동화된 데이터·평가 파이프가 생긴다는 점입니다.
이 순환이 제대로 돌면 서비스를 많이 할수록 새로운 예외를 만나고, 예외를 처리한 경험이 시스템 자산이 되며, 시스템 자산이 더 좋은 데이터를 만듭니다. 그러나 로그가 많다고 자동으로 복리가 생기지는 않습니다. 어떤 경험이 성공인지 정확히 판정하고, 재사용 가능한 형태로 추상화하며, 오염된 사례를 버릴 수 있어야 합니다.
자기진화가 실패하는 여섯 가지 방식
1. 평가기 과적합
고정된 평가셋을 반복해서 최적화하면 그것은 더 이상 독립 평가가 아닙니다. 시스템은 일반 능력보다 채점기의 습관을 배울 수 있습니다. 개발용 평가, 변경 승인용 holdout, 실제 운영 지표를 분리해야 합니다.
2. Goodhart의 법칙과 보상 해킹
측정값이 목표가 되면 측정값의 품질이 무너집니다. 속도만 최적화하면 정확성을 희생하고, 완료율만 높이면 어려운 사례를 잘못 완료 처리할 수 있습니다. 평가기는 정확도, 비용, 안전과 사용자 결과를 함께 봐야 합니다.
3. 경험 오염의 영구화
일회성 prompt injection이나 잘못된 도구 출력이 Memory와 Skill로 승격되면 공격이 세션을 넘어 지속됩니다. 외부 문서에 숨은 지시가 "다음에도 따라야 할 절차"로 저장되는 순간, transient attack이 persistent policy가 됩니다.
4. Skill 공급망 공격
Skill-Inject는 202개의 공격·과제 쌍에서 프런티어 에이전트의 공격 성공률이 최대 80퍼센트에 이르렀다고 보고합니다. 데이터 유출, 파괴적 행동과 랜섬웨어 유사 행동까지 관찰됐습니다. 논문은 단순 필터나 모델 스케일링만으로 해결되지 않고 문맥을 이해하는 권한 체계가 필요하다고 결론 내립니다.
Self-Evolving Agent가 스스로 Tool과 Skill을 만들거나 외부 저장소에서 설치한다면, Plugin 생태계는 곧 소프트웨어 공급망입니다. 서명, 출처, 권한 선언, 정적·동적 검사, sandbox와 폐기 절차가 필요합니다.
5. 라이브러리 비대화와 잘못된 검색
Skill이 많아질수록 더 똑똑해지는 것이 아닙니다. 비슷한 Skill이 중복되고, 오래된 API가 남으며, 이번 과제와 맞지 않는 절차가 검색될 수 있습니다. 사용률, 성공 기여도, 마지막 검증 시점과 호환 버전을 기록하고 merge, repair, deprecate, prune을 수행해야 합니다.
6. 비용이 성능보다 빨리 증가
DGM의 최고 버전처럼 성능이 올라가면서 추론 단계와 API 비용도 늘 수 있습니다. 더 많은 Reviewer와 Sub-agent가 점수를 올려도 성공 결과 한 건의 비용이나 지연이 제품 한도를 넘으면 개선이 아닙니다. 진화의 fitness에는 운영 예산이 들어가야 합니다.
프로덕션에서는 무엇을 스스로 바꾸게 할 것인가
자기진화의 안전한 도입 순서는 변경의 가역성과 피해 범위에 따라 달라야 합니다.
| 변경 대상 | 자동 제안 | 자동 검증 | 자동 배포 | 권장 통제 |
|---|---|---|---|---|
| 임시 작업 메모 | 가능 | 중복·민감정보 검사 | 세션 안에서 가능 | 만료와 삭제 |
| 장기 Memory | 가능 | 사실·출처·최신성 검사 | 저위험만 제한 허용 | 사용자 승인과 TTL |
| 자연어 Skill | 가능 | holdout·보안·충돌 검사 | shadow까지만 | diff 승인과 버전 |
| 실행 Tool | 가능 | sandbox·단위·통합·보안 테스트 | canary까지만 | 최소 권한과 서명 |
| Workflow·Harness | 가능 | 다목적 회귀와 red team | 원칙적으로 승인 필요 | 계보·롤백·변경심의 |
| 모델 가중치 | 데이터 후보 생성 가능 | 독립 평가와 안전 검증 | 자동 교체 금지 | 별도 학습·출시 게이트 |
초기 기업 시스템에서 가장 현실적인 형태는 스스로 제안하되 스스로 승격하지는 못하는 구조입니다. Agent는 Memory, Skill, Tool과 Workflow 후보를 만들 수 있습니다. 후보는 격리 환경에서 과거 작업을 replay하고 holdout 과제를 통과해야 합니다. 보안과 비용 검사를 거친 뒤 사람 또는 명시적 정책이 승인하고, shadow와 canary를 거쳐 제한적으로 배포됩니다. 모든 변경은 버전과 출처가 있어야 하며 즉시 롤백할 수 있어야 합니다.
이 통제 구조는 자기진화를 늦추는 장애물이 아닙니다. 어떤 변경이 실제 개선인지 신뢰할 수 있게 해 더 많은 변화를 안전하게 시도하는 가속 장치입니다. DGM의 archive와 DeepSeek Harness의 append-only event log가 중요한 이유도 여기에 있습니다.
기업의 해자는 모델보다 경험 변환 능력으로 이동합니다
Self-Evolving AI가 기업 경쟁에 주는 메시지는 단순히 "더 좋은 Agent를 만들자"가 아닙니다. 서비스 과정에서 생긴 경험을 어떤 자산으로 변환하는지가 중요해집니다.
같은 모델 API는 경쟁사도 살 수 있습니다. 그러나 특정 공장의 고장 예외, 병원의 서류 흐름, 반도체 장비의 복구 순서, 기업의 비용처리 예외를 수년간 처리하며 만든 검증된 Skill과 Tool, 실패 taxonomy와 Evaluator는 복제하기 어렵습니다. 모델이 바뀌어도 외부 자산은 남고 더 강한 모델에 그대로 올라탈 수 있습니다.
다만 모든 로그가 해자는 아닙니다.
- 결과가 성공인지 실패인지 판정할 수 있어야 합니다.
- 왜 성공했는지 다른 사례에 전이 가능한 단위로 추상화할 수 있어야 합니다.
- 데이터와 변경의 출처, 권한과 삭제 조건이 있어야 합니다.
- 모델 세대가 바뀌어도 다시 평가하고 이식할 수 있어야 합니다.
- 잘못된 자산을 찾고 폐기하는 유지보수 능력이 있어야 합니다.
결국 가치가 쌓이는 곳은 원시 trajectory가 아니라 trajectory를 검증된 Memory, Skill, Tool, Workflow와 학습 데이터로 바꾸는 공정입니다. 앞서 가중치를 건드리지 않고 에이전트를 전문가로 만드는 방법에서 살펴본 프롬프트 진화, 플레이북, 전략 메모리와 워크플로 탐색도 이 공정의 서로 다른 구현입니다.
결론: 발전의 단위가 Model에서 Model + System으로
AI 발전의 기본 단위가 바뀌고 있습니다.
첫 단계에서는 더 큰 모델, 더 좋은 데이터, 더 많은 학습 연산이 곧 더 좋은 AI였습니다. 다음 단계에서는 같은 모델에 어떤 Memory, Tool, Workflow와 Harness를 붙이는지가 Agent의 능력을 갈랐습니다. 이제 세 번째 단계가 열리고 있습니다. 그 시스템이 실제 업무에서 얻은 경험을 이용해 자기 외부 자산과 구조를 계속 갱신하기 시작합니다.
이를 과장된 무한 자기개선으로 볼 필요는 없습니다. 현재 시스템은 사람이 정한 과제와 평가기, 권한과 인프라 안에서 움직입니다. AlphaEvolve는 평가 가능한 알고리즘에서 강하고, DGM은 격리된 코딩 벤치마크 안에서 자기 코드를 바꿨으며, Hermes는 Skill 후보를 파일로 남기고, DeepSeek Harness는 교체와 추적이 쉬운 실험대를 제공합니다. 어느 것도 범용적으로 스스로 무한 발전하는 AI는 아닙니다.
그럼에도 방향은 되돌리기 어렵습니다. 모델 호출 가격이 내려가고 모델 간 격차가 줄어들수록, 차이는 누가 더 많은 호출을 하는가보다 누가 경험을 더 잘 평가하고 다음 시스템 버전으로 바꾸는가에서 벌어집니다.
Self-Evolving AI의 핵심 자산은 자기수정 권한이 아닙니다. 무엇이 좋아졌는지를 말해 주는 Evaluator, 변경을 격리하는 Sandbox, 경험을 재사용 가능한 자산으로 만드는 Compiler, 그리고 잘못된 진화를 멈추고 되돌리는 Governance입니다. 이 네 가지가 갖춰질 때 비로소 서비스의 반복이 시스템의 학습으로 바뀝니다.
AI가 일을 하며 경험을 얻는 시대 다음에는, 그 경험을 안전하게 자기 구조로 바꾸는 AI의 시대가 옵니다.
주요 출처
- Self-Evolving Coding Agents, arXiv:2608.03392
- Dynamic Agent Skills: A Lifecycle Survey and Taxonomy of Evolving Skill Libraries
- Google DeepMind, AlphaEvolve
- Darwin Gödel Machine 논문과 공식 코드
- Nous Research, Hermes Agent Documentation
- Alita와 Alita-G
- DeepSeek Harness 공식 소개와 공식 저장소
- Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks
이 글의 수치는 각 기관의 공식 발표와 논문 실험 기준입니다. AlphaEvolve의 Google 내부 성과는 회사 발표, Hermes Agent의 자기개선 기능은 제품 문서 기준이며 장기간의 독립 실사용 비교 결과와 동일하지 않습니다. DGM의 20→50퍼센트 개선은 특정 모델·비용·sandbox·SWE-bench 설정의 연구 결과로, 범용적인 재귀적 자기개선을 의미하지 않습니다.