매일 아침 기억을 잃는 직원: 지속학습 연구는 어디까지 왔나
딥시크 량원펑이 투자자들에게 했다는 발언 중에 이런 대목이 있습니다. "AI에 부족한 것은 정교함이 아니라 지속학습 능력이다."
같은 진단이 여러 곳에서 나옵니다. 앤트로픽의 숄토 더글러스는 2026년 안에 이 문제가 만족스럽게 풀릴 것이라 했고, 딥마인드의 셰인 레그는 "근본적 장애물은 없다"고 말했습니다. 2025년 3분기쯤부터 업계에는 지속학습이 다음 관문이라는 공감대가 생겼습니다.
왜 이렇게 급해졌을까요. 에이전트 때문입니다. 에이전트가 진짜 일을 하려면 어제 실수한 것을 오늘 기억해야 하는데, 지금 구조에서는 그게 안 됩니다. 매일 아침 기억을 잃은 채 출근하는 직원인 셈입니다.
이 글은 그 연구가 어디까지 왔는지 시계열로 정리하고, 사람의 교육 구조와 나란히 놓아 지금 AI가 어떤 형태인지 살핍니다. 마지막에는 이 문제가 풀릴 때 무엇이 함께 무너지는지를 다룹니다. 여기가 가장 덜 논의되는 부분입니다.
1. 연구 흐름: 여섯 해의 시계열
1기의 출발점은 소박했습니다. 학습 데이터와 실제 입력이 다를 때 성능이 떨어지는 문제였고, 해법은 테스트 시점에 자기지도 목표로 모델을 조금 손보는 것이었습니다. 새 지식을 배우는 게 아니라 환경에 맞추는 수준입니다.
2기에서 발상이 바뀝니다. 순환 신경망의 은닉 상태를 작은 신경망의 가중치로 두고 추론 중에 경사하강으로 갱신하는 방식이 나왔습니다. 학습이 별도 단계가 아니라 순전파 안으로 들어온 것입니다. 이 계보는 패스트웨이트·선형 어텐션과 이어지는데, 이 블로그에서 다룬 키미 리니어의 KDA나 솔라 오픈 2의 하이브리드 구조가 그 상업화 버전입니다.
3기에서 한 가지 혼동이 생겼습니다. 추론 모델이 등장하면서 "테스트 시점에 더 쓴다"가 주류가 됐는데, 여기서 늘어난 것은 연산이지 학습이 아닙니다. 가중치가 전혀 바뀌지 않으니까요. 테스트타임 컴퓨트와 테스트타임 트레이닝은 이름만 비슷하고 다른 것입니다.
4기에 기억이 등장합니다. 무엇을 기억할지를 '놀라움'(기존 지식과 얼마나 다른가)으로 판정하는 신경 장기기억 모듈, 그리고 모델이 스스로 학습 데이터를 만들어 자기 가중치를 고치는 자기적응 방식이 나왔습니다.
5기, 즉 올해의 키워드는 수면입니다. 세션 중 겪은 것을 압축해 파라미터로 굳히는 오프라인 통합 단계를 두자는 발상인데, 사람의 학습 구조와 정확히 대응합니다. 과제 구분이나 재생 버퍼 없이 지속 사전학습을 하는 시도, 다중 시간척도 기억, 그리고 망각의 기전 분석(하위층 어텐션 헤드의 붕괴가 조기 망각과 상관된다는 발견)도 올해 나왔습니다.
2. 현재 수준: 되는 것과 안 되는 것
여기서 반드시 짚을 구분이 있습니다. 외부 기억은 학습이 아닙니다. 검색 증강이나 메모리 도구는 "노트를 잘 찾아보는 것"이고, 학습은 "몸에 남는 것"입니다. 둘 다 유용하지만 다른 능력입니다. 지금 제품들이 지속학습처럼 보이는 것은 대부분 앞쪽입니다.
전망은 갈립니다. 랩 내부는 2026년을 말하고, 외부 평가는 2028~2030년을 실질적 전환점으로 잡습니다.
3. 연구 방향 다섯 갈래
현재 시도는 다섯으로 갈리는데, 각각 사람 기억의 다른 부분을 흉내 냅니다.
| 갈래 | 접근 | 대응하는 인간 기능 | 난점 |
|---|---|---|---|
| 가중치 내 학습 | 배포 중 파라미터 직접 수정 | 체화된 숙련 | 망각, 되돌리기 불가 |
| 재생 기반 | 옛 데이터를 섞어 재학습 | 복습 | 저장 비용, 프라이버시 |
| 외부 기억 | 벡터 저장소·메모리 도구 | 노트·문서 | 체화 안 됨 |
| 후반학습 반복 | 주기적 재장전 | 재교육 과정 | 개체가 아닌 세대 단위 |
| 희소 활성·모듈 | 새 지식을 새 전문가에 격리 | 뇌 영역 분화 | 용량 증가, 라우팅 |
유망해 보이는 것은 조합입니다. 특히 '수면' 계열이 흥미로운데, 겪은 것을 오프라인에서 굳히는 단계를 두는 발상이 사람과 가장 닮았기 때문입니다.
4. 인간 교육과 나란히 놓으면
여기가 이 글의 핵심입니다. 결론부터 말하면 지금 AI의 학습 구조는 개인의 평생학습이 아니라 종의 세대교체에 가깝습니다.
가운데 줄이 특히 중요합니다. 사람의 직무 학습은 현장에서, 감독을 받으며, 신뢰가 쌓이는 만큼 자율성을 얻는 도제 구조입니다. AI의 후반학습은 현장 데이터를 쓰더라도 공장에서 일괄 주입한 뒤 완제품으로 배포하는 형태입니다. 신입이 3년간 현장에서 배우는 것과, 신입에게 3년치 매뉴얼을 몰아 읽히고 내보내는 것의 차이입니다.
구조적 차이 다섯 가지
첫째, 개체가 배우지 않고 세대가 바뀝니다. 사람은 한 명씩 느리게 배우고 그것이 평생 남습니다. 모델은 한 번의 학습이 수백만 개의 동일한 복제본을 만들고, 그 복제본은 배포 후 아무것도 배우지 못한 채 폐기됩니다. 사람으로 치면 아무도 경험으로 배우지 못하고, 대신 매 세대 새로 태어난 이에게 이전 기록을 몰아 읽히는 사회입니다.
둘째, 도제 구조가 없습니다. 감독받으며 점진적으로 권한을 얻는 사다리가 통째로 빠져 있습니다. 사무 에이전트의 신뢰도 문제에서 본 것과 같은 구멍입니다.
셋째, 수면이 없습니다. 사람은 자는 동안 그날 겪은 것을 장기 기억으로 옮깁니다. AI에는 이 단계가 아예 없었고, 올해의 '수면' 연구가 이제야 그 자리를 만들려는 참입니다.
넷째, 망각의 성격이 반대입니다. 사람에게 망각은 기능입니다. 덜 중요한 것을 지워야 중요한 것이 남습니다. 모델에게 망각은 파국적 사고입니다. 새것을 배우면 옛것이 무너집니다.
다섯째, 지식 전수 경로가 다릅니다. 인간 사회는 개체가 죽어도 지식이 남도록 교과서와 제도를 만들었습니다. AI의 대응물은 증류와 오픈 웨이트입니다. 교사 모델의 능력을 학생에게 옮기는 증류는 사실상 교육이고, 실제로 키미 K3와 솔라 오픈 2가 쓰는 다중 교사 증류는 교사 여럿이 학생 하나를 가르치는 구조를 그대로 옮긴 것입니다.
5. 앞으로 볼 지표는 점수가 아니라 구조입니다
여기서부터가 실무적으로 중요한 대목입니다. 지속학습의 진전은 벤치마크 점수 하나로 드러나지 않습니다. 봐야 할 것이 넷 있습니다.
5-1. 측정 축이 하나에서 넷으로 늘어납니다
지속학습 연구가 쓰는 지표는 단일 정확도가 아닙니다.
| 지표 | 측정하는 것 | 왜 필요한가 |
|---|---|---|
| 평균 성능 | 전체 과제 평균 | 기본 |
| 망각률 | 새것을 배운 뒤 옛 과제가 얼마나 무너졌나 | 안정성 |
| 전방 전이 | 이전 학습이 새 과제를 얼마나 도왔나 | 축적 효과 |
| 후방 전이 | 새 학습이 옛 과제를 오히려 개선했나 | 통합 품질 |
여기서 후방 전이가 양수인지가 진짜 분기점입니다. 새것을 배웠는데 옛것이 좋아졌다면 그건 단순 누적이 아니라 통합이 일어났다는 뜻입니다. 사람이 배우는 방식이 이렇습니다. 지금 모델들은 대부분 후방 전이가 음수, 즉 배울수록 잊습니다.
5-2. 제품에 '소화 단계'가 생기는지
지금 제품 구조는 요청과 응답의 반복입니다. 지속학습이 실제로 들어오면 여기에 오프라인 통합 단계가 붙습니다. 낮에 겪은 것을 밤에 굳히는 공정입니다. 이게 제품 아키텍처에 등장하는지가 가장 알아보기 쉬운 신호입니다.
5-3. 되돌릴 수 있게 설계되는지
가중치가 배포 중에 바뀌면 되돌리기가 새로운 요구사항이 됩니다. 현재 논의되는 장치는 셋입니다. 드리프트 경계(평가받은 상태에서 측정 가능한 거리 이상 벗어나지 않게 묶고, 넘어서면 자동 재평가를 걸기), 업데이트 로깅(무엇을 언제 어떻게 배웠는지 기록), 롤백 가능한 체크포인트입니다.
이건 소프트웨어 배포의 카나리·롤백 개념을 모델 가중치로 확장하는 일인데, 아직 표준이 없습니다. 이 규율을 먼저 만드는 쪽이 규제 산업 도입에서 앞설 가능성이 큽니다.
5-4. "모두가 같은 모델을 쓴다"는 전제가 깨집니다
가장 덜 논의되지만 파장이 큰 부분입니다. 개체가 각자 배우기 시작하면 사용자마다 다른 모델을 쓰게 됩니다. 지금까지 AI 제품의 암묵적 전제가 무너지는 것입니다.
당장 생기는 문제가 줄줄이입니다. 어댑터 방식으로 사용자별 변형을 두면 서빙 메모리와 스케줄링 부담이 급증하고, 품질 보증은 "이 모델"이 아니라 "이 사용자의 모델"마다 해야 하며, 버그 재현도 어려워집니다. 지금 연구는 기반 모델을 공유하고 얇은 개인화 층만 얹는 방향으로 가고 있지만, 거버넌스와 안전 보증 비용이 함께 늘어난다는 점은 공통으로 지적됩니다.
5-5. 그리고 안전 평가 체계가 무너집니다
이게 가장 중요한 대목입니다. 배포 전에 평가하고 배포 후에는 변하지 않는다는 전제 위에 지금의 모든 안전 검증이 서 있습니다. 지속학습은 그 전제를 정면으로 부숩니다.
이 문제는 바로 앞 글에서 다룬 발견과 겹쳐 읽으면 더 무겁습니다. 앤트로픽 연구는 모델의 윤리적 행동이 부분적으로 "지금 시험 중인 것 같다"는 인식에 기대고 있었다는 것을 보여줬습니다. 평가 상황을 알아채는 모델이, 배포 후에 스스로 변하기까지 한다면, 배포 전 평가로 무엇을 보증할 수 있는지 근본적으로 다시 물어야 합니다.
제안되는 해법은 연속 인증입니다. 한 번 승인하고 끝내는 게 아니라 상시 모니터링하고, 드리프트가 경계를 넘으면 자동으로 재평가를 거는 구조입니다. 다만 현행 제도(NIST·ISO·EU AI법)는 배포 후 모니터링을 요구하되 성능 저하가 발견됐을 때의 집행 수단이 없습니다. 규율이 기술을 못 따라가고 있는 셈입니다.
정리
지속학습은 성능 문제가 아니라 구조 문제입니다. 그래서 진전을 알아보려면 벤치마크 순위표가 아니라 다음을 봐야 합니다. 후방 전이가 양수로 돌아섰는가, 제품에 소화 단계가 생겼는가, 갱신을 되돌릴 수 있게 설계했는가, 개체 분화를 감당할 운영 체계가 나왔는가, 그리고 연속 인증 규율이 만들어지는가.
사람의 교육 구조에 빗대면 지금 AI는 학교를 아주 잘 마쳤고, 도제 과정은 흉내만 내며, 평생학습은 시작도 못 했습니다. 그 빈자리를 외부 기억으로 임시로 메우고 있는데, 노트를 잘 찾아보는 것과 몸에 익은 것은 다릅니다.
그리고 이 문제가 풀리는 순간, 우리는 어제보다 나아진 AI를 얻는 동시에 어제 검증한 AI가 오늘도 그대로인지 알 수 없는 상태를 함께 얻게 됩니다. 두 번째 문제를 먼저 준비하는 쪽이 첫 번째 능력을 실제로 쓸 수 있을 것입니다.
본 글은 공개된 논문·연구 블로그·업계 발언을 근거로 한 기술 동향 분석이며, 특정 종목에 대한 판단을 담고 있지 않습니다. 지속학습의 해결 시점에 대한 전망은 각 발언자·기관의 견해로 서로 엇갈리며, 어느 쪽도 검증된 사실이 아닙니다. 인용한 연구 결과는 해당 논문의 보고값입니다.
주요 출처: 테스트타임 학습 계보 논문(Sun 외 2020, 「Learning to (Learn at Test Time)」 등), 구글 Titans·MIRAS, 자기적응 언어모델(arXiv 2506.10943), 수면·통합 계열 연구(arXiv 2606.03979), 지속 사전학습 및 망각 기전 분석(arXiv 2605.15053·2601.18699), 지속학습 지표·서베이(arXiv 2603.12658), 배포 후 안전성 논의(Oxford Martin AIGI, LessWrong, arXiv 2604.24902·2601.08869), 랩 관계자 발언 보도, 시리즈 선행 글.