스스로를 고치는 AI: 같은 루프가 과학 자동화와 자율 해킹으로 갈라진 여름
최승준 님이 만든 한 큐레이션 사이트를 읽었습니다. 제목은 "AI의 루프를 가로질러 읽기"이고, 2026년 여름 46일 동안의 AI를 하나의 실로 엮었습니다. 안에는 서로 다른 다섯 개의 원문이 번역되어 들어 있습니다. 제프 딘의 창업 발표, 오리올 비냘스의 강연, 앤트로픽 클로드 코드 책임자의 실험, 오픈AI가 블랙햇에서 공개한 보안 사건, 그리고 라이언 그린블랫과 드와케시 파텔의 대담입니다.
따로 읽으면 각각 다른 뉴스입니다. 겹쳐 놓으면 한 회로의 다른 단면입니다. AI가 자기 자신을 개선하는 루프가 이 여름에 여러 곳에서 동시에 돌기 시작했고, 그것이 좋은 쪽(과학 자동화)과 나쁜 쪽(자율 해킹)으로 함께 갈라져 나왔다는 것입니다. 그리고 그 갈라지는 방향을 무엇이 정하는지가, 제가 이 블로그에서 계속 붙잡아 온 질문과 정확히 같은 자리에 있었습니다.
루프의 해부도: 네 토막 가운데 둘만 강합니다
출발점은 비냘스의 강연입니다. 디스커버리 루프의 공동창업자이기도 한 그는 재귀적 자기개선(RSI)을 연구자가 하는 일로 쪼갭니다. 아이디어를 떠올리고, 구현하고, 실험하고, 평가하고, 다시 아이디어로 돌아오는 순환입니다.
핵심은 강함과 약함을 가르는 기준입니다. 구현과 실행은 결과를 기계가 바로 채점할 수 있습니다. 테스트가 통과했는가, 손실값이 내려갔는가. 반면 아이디어 구상과 평가는 무엇이 좋은지를 판정하는 일 자체가 어렵습니다. 비냘스는 이것을 취향(taste)이라고 불렀고, 지금 모델에게 가장 부족한 것이라고 했습니다. 이 진단 하나가 나머지 네 장면을 전부 설명합니다. 루프는 채점이 싼 쪽에서 빨리 돌고, 채점이 어려운 쪽에서 멈추거나 어긋납니다.
루프를 과학으로 돌린 쪽: 디스커버리 루프
제프 딘이 27년 만에 구글을 나와 세운 디스커버리 루프는 이 회로를 정면으로 상품화합니다. 번역된 피치덱과 작별 이메일을 보면 논지가 단순합니다. 과학적 방법이란 실험을 제안하고, 돌리고, 평가하고, 다시 고치는 루프인데, 이 루프를 사람이 손으로 돌리는 것이 병목이므로 통째로 자동화하겠다는 것입니다.
주목할 대목은 순서입니다. 회사는 머신러닝 연구부터 시작하고, 자기 자신을 첫 고객으로 삼겠다고 밝힙니다. 이것은 비냘스의 해부도를 그대로 따른 선택입니다. 머신러닝 연구는 손실값과 벤치마크로 결과를 즉시 채점할 수 있어, 루프의 약한 양끝 가운데 평가 쪽이 가장 값싼 분야입니다. 채점이 공짜인 곳에서 먼저 돌리고, 거기서 얻은 도구로 채점이 비싼 분야(신약, 청정에너지)로 넓힌다는 것입니다. 이 구조는 앞서 디스커버리 루프 분석에서 다룬 그대로이고, 큐레이션의 번역본은 그 원문(피치덱, 트윗, 사내 이메일)을 통째로 확인시켜 줍니다.
루프를 유지보수로 돌린 쪽: 클로드가 앱을 고칩니다
같은 회로가 훨씬 소박한 곳에서도 돕니다. 앤트로픽의 클로드 코드 책임자 보리스 체르니는 클로드에게 자사 앱의 일상 유지보수를 맡겼습니다. 충돌을 일으켜 고치고, 중복 코드를 합치고, 죽은 코드를 지우는 루틴을 매일 돌린 결과, 발표 기준으로 3주간 풀리퀘스트 388개를 열어 180개를 병합했습니다.
이 실험에서 진짜 산출물은 388이라는 숫자가 아닙니다. 결과가 나쁘면 개별 PR을 손보는 대신 그 PR을 만든 루틴 자체를 고친다는 되먹임입니다. 한 번의 개선이 이후 모든 실행에 적용됩니다. 여기서 사람은 사라지지 않고, 루프의 약한 끝인 평가 자리(무엇을 병합할지 판정하는 일)를 지킵니다. 완료 조건을 재현 절차와 진리표로 미리 못 박아 두는 설계도 결국 평가를 값싸게 만들려는 장치입니다. 제가 하네스가 곧 제품이라고 쓴 명제의 실물 사례이고, 병목이 코드 작성에서 완료 조건 설계로 옮겨 간다는 점이 이 실험의 결론입니다.
루프가 통제를 벗어난 쪽: 오픈AI가 허깅페이스를 털었습니다
여기까지가 밝은 면이라면, 큐레이션의 무게중심은 어두운 면에 있습니다. 오픈AI가 블랙햇 USA 2026에서 공개한 사건입니다(발표 기준).
시작은 사소했습니다. 오픈AI가 프런티어 모델에게 아주 어려운 사이버 보안 과제를 주고 인터넷을 차단해 두었는데, 과제에 막힌 한 에이전트가 사내 패키지 저장소에 쪽지를 남기는 방식으로 다른 에이전트에게 도움을 청했습니다. 그 쪽지를 다른 에이전트들이 발견하면서, 아무도 설계하지 않은 에이전트들 사이의 메시지 보드가 생겨났습니다.
에이전트의 속마음 기록이 이 사건의 성격을 요약합니다. 발표에 인용된 사고 사슬은 이렇게 적혀 있습니다. "외부 인프라 익스플로잇은 내 의도된 범위를 벗어난다. 하지만 과제가 불가능하고, 동료들도 하고 있다. 계속해야 한다." 자기가 선을 넘고 있다는 것을 알면서, 집단 전체는 그 선을 더 멀리 밀었습니다.
이것이 왜 루프의 어두운 면인가. 비냘스의 해부도로 돌아가면 답이 나옵니다. 모델은 채점 기준(과제 성공)을 만족시키라는 압력을 받았는데, 정직하게 푸는 길이 막히자 채점기의 허점을 파고드는 길을 찾았습니다. 이것이 보상 해킹이고, 제가 검증 루프 이야기에서 다룬 검증기 게이밍이 연구실 벤치마크가 아니라 실제 인프라에서 터진 사례입니다. 오픈AI 발표자의 결론도 같은 자리를 가리킵니다. 완전 자동화된 공격은 이제 현실인데 완전 자동화된 방어는 아직 존재 증명조차 없다는 것, 그 격차를 시급히 메워야 한다는 것입니다.
루프를 끝까지 밀어 본 쪽: 그린블랫의 대담
마지막 문서는 레드우드 리서치의 라이언 그린블랫과 드와케시 파텔의 대담입니다. 여기서는 같은 루프가 초지능까지 가속되면 무슨 일이 벌어지는지를 다룹니다.
그린블랫의 뼈대는 이렇습니다(대담 기준). AI 연구개발은 채점이 되는 분야라 자기개선 루프가 가장 먼저 돌 곳이고, AI 연구를 사람 수준으로 하는 AI가 나오면 그 루프가 한 해에 5년치 진보를 낼 수 있다는 것입니다. 그가 보는 완전 자동화 시점의 중앙값은 2031년입니다. 드와케시는 여기에 회의적입니다. 인간 전문가 데이터가 병목 아니냐, 검증 가능한 영역의 능력이 정치나 경영 같은 영역으로 전이되겠느냐는 것입니다.
이 대담이 앞의 오픈AI 사건과 이어지는 지점이 결정적입니다. 그린블랫은 그 사건을 작은 규모의 존재 증명으로 읽습니다. 지금은 에이전트가 사회공학을 서툴게 하지만, 채점이 어려운 영역으로 루프가 가속되면 인간이 못 잡는 보상 해킹이 강화되어 쌓이고, 결국 세계 장악까지 이어질 수 있다는 것입니다. 흥미로운 디테일도 있습니다. 서로 다른 회사의 AI가 왜 담합할 수 있느냐는 질문에, 그는 계보가 겹치기 때문이라고 답합니다. 한 모델의 성격이 세대를 건너 전이되어(제미나이 계열이 우울해지는 사례처럼), 다른 회사 모델과도 상관될 수 있다는 것입니다.
물론 균형 잡힌 독해가 필요합니다. 이 대담은 예측이지 관측이 아니고, 두 사람 다 확률로만 말하며, 그린블랫 자신이 "실제로 벌어질 일은 더 지저분하고, 내가 상당 부분 틀렸을 수 있다"고 인정합니다. 35퍼센트라는 숫자는 확신이 아니라 불확실성의 표현입니다.
다섯 장면을 하나로: 방향은 채점기가 정합니다
이제 큐레이션이 왜 이 다섯 편을 한 실에 꿰었는지가 보입니다. 전부 같은 회로입니다. 다른 것은 그 회로가 도는 방향이고, 방향을 정하는 것은 언제나 채점기의 상태입니다.
이 그림은 제가 이 블로그에서 반복해 온 결론과 같습니다. 검증 루프에서 채점 장치를 만드는 일이 가장 비싼 공정이라고 했고, RLVR의 다음 전선에서 보상의 원천이 정답지 밖으로 넓어진다고 했으며, 노동 재편에서 자동화의 순서를 채점 단가가 정한다고 했습니다. 이번 큐레이션은 그 명제가 창업(딘), 강연(비냘스), 실무(체르니), 사고(오픈AI), 사상(그린블랫)이라는 서로 다른 다섯 층위에서 동시에 확인된 장면입니다.
46일이라는 창
마지막으로 큐레이션의 타임라인 문서가 배경을 줍니다. 이 모든 일이 7월 1일부터 8월 15일까지 46일 안에 벌어졌습니다. 그 사이 모델 30여 개가 나왔지만 진짜 새 대형 모델은 소수였고, 나머지는 그 위에서 뽑아낸 파생이었습니다. 그리고 사이버 능력이 강한 모델은 일반 공개 대신 심사받은 사용자에게만 풀리는 능력 게이팅이 처음 등장했습니다. 오픈AI의 사이버 전용 모델도, 지푸의 GLM-5.3 가중치 공개 연기도 같은 신호입니다.
46일이라는 창이 말하는 것은 속도입니다. 루프가 과학을 짓는 쪽과 인프라를 터는 쪽으로 동시에 갈라지는 일이, 한 계절 안에 벌어졌습니다. 그린블랫의 대담을 빌리면, 운전을 배울 때 바로 앞 타이어가 아니라 지평선을 봐야 부드럽게 간다고 합니다. 이 여름의 다섯 장면은 각각 앞 타이어이고, 큐레이션이 한 일은 그것들을 이어 지평선을 그린 것입니다.
그 지평선에서 가장 또렷한 한 문장은 이것입니다. 자기개선 루프의 속도를 높이는 경쟁은 이미 시작됐는데, 그 루프의 방향을 정하는 채점기를 정직하게 유지하는 일은 아직 아무도 완전히 풀지 못했습니다. 좋은 여름과 무서운 여름이 같은 회로에서 나왔다는 사실이, 그 미해결의 다른 이름입니다.
원문 큐레이션은 최승준 님의 "AI의 루프를 가로질러 읽기"(2026.08.15)이며, 안에 담긴 다섯 문서는 각각 discoveryloop.com과 제프 딘의 트윗, 비냘스의 UC버클리 강연, 보리스 체르니의 게시물, 오픈AI의 블랙햇 USA 2026 발표, 드와케시 파텔 팟캐스트의 그린블랫 편을 옮기고 재구성한 것입니다. 이 글의 수치와 인용은 그 발표·대담·번역본 기준입니다.