서튼의 지속학습, AI는 기억뿐 아니라 배울 능력도 잃습니다

AI가 오래 학습할수록 더 똑똑해진다는 보장은 없습니다. 과거에 배운 내용을 잊을 수도 있고, 새로운 것을 배우는 능력 자체가 약해질 수도 있습니다. 리처드 서튼과 공동연구진의 연속 역전파 연구가 직접 겨냥한 문제는 후자입니다. 일부 지속학습 실험에서 이 능력을 유지한 성과는 중요하지만, 모든 지식을 보존하는 범용 AI가 완성됐다는 뜻은 아닙니다. [1]

서튼과 쿠람 자베드가 설립한 Oak Lab은 가중치별 학습률 최적화와 새로운 특징을 만들고 시험하는 방법을 결합하려 합니다. 나아가 경험에서 추상적인 개념과 행동 단위를 배우고, 이를 계획에 쓰는 아키텍처를 구현하겠다는 목표를 내놓았습니다. 연구로 확인된 부분과 창업자의 전망은 나눠 읽어야 합니다. [5][6]

앞선 글에서 다룬 질문이 ‘왜 경험에서 계속 배워야 하는가’였다면, 남은 기술적 질문은 더 구체적입니다. 어느 연결을 바꾸고, 어느 특징을 교체하며, 그 변화가 다음 업무를 실제로 개선했는가.

과거 지식을 잃는 것과 새 지식을 못 배우는 것은 다릅니다

문제	관찰해야 할 현상	이해를 돕기 위한 가상 사례
파국적 망각, catastrophic forgetting	새 과제를 학습한 뒤 과거 과제의 성능이 떨어집니다.	새 계약서를 익힌 AI가 예전 계약서 조항을 잘못 해석합니다.
가소성 상실, loss of plasticity	오래 학습한 모델이 새로운 과제를 배우기 어려워집니다.	예전 계약서는 처리하지만 새 유형을 학습시켜도 좀처럼 개선되지 않습니다.

2024년 Nature 논문은 이 차이를 명시합니다. 이미지 분류 과제를 연속으로 바꾸거나, 모의 로봇의 바닥 마찰을 바꾸면서 새로운 환경에 적응하는 능력을 시험했습니다. 일부 실험에서는 망각과 혼동하지 않도록 과거 데이터도 계속 학습시켰습니다. 따라서 이 결과를 ‘옛 데이터를 다시 보지 않고도 모든 지식을 보존했다’고 읽으면 실험 설계를 벗어납니다. [1]

모델을 얼려 두면 가중치 업데이트 때문에 과거 능력이 훼손되는 일은 막을 수 있습니다. 하지만 업데이트를 통한 새 학습도 멈춥니다. 반대로 매번 크게 수정하면 새로운 환경을 빨리 따라갈 여지가 생기는 대신 기존 능력을 손상시킬 수 있습니다. 제품에 필요한 것은 어느 한쪽의 극대화가 아니라 업무상 필요한 기억을 지키면서 변화에 적응하는 것입니다.

연속 역전파는 네트워크를 무한히 키우지 않습니다

연속 역전파의 초기 논문은 시반시 도하레, 서튼, A. 루팜 마흐무드가 2021년에 공개했습니다. Oak의 최근 회사 발표보다 앞선 연구입니다. 출발점은 역전파 학습에 두 요소가 있다는 관찰입니다. 처음에는 작은 무작위 가중치로 서로 다른 특징을 만들고, 이후에는 오차를 줄이는 방향으로 가중치를 조정합니다. 초기의 다양성만으로는 장기간 새로운 문제를 배우기에 부족할 수 있다는 것이 연구진의 진단입니다. [2]

연속 역전파는 기존의 오차 기반 업데이트를 버리지 않습니다. 여기에 쓸모가 낮아진 특징을 새로 제안하고 시험하는 과정을 붙입니다. 유닛은 입력에서 특정 패턴에 반응하는 계산 단위입니다. 오래 쓰이지 않는 유닛 일부를 무작위 초기 상태로 바꾸고, 이후 학습을 통해 유용한 특징이 되는지 확인합니다. 기본 설계는 같은 크기의 네트워크 안에서 이루어지는 교체이지, 새 유닛을 끝없이 덧붙이는 확장이 아닙니다. [2]

Nature 논문의 구현에서는 유닛의 활성값과 다음 층으로 보내는 연결의 크기로 기여도를 추적합니다. 충분한 학습 기회를 받은 유닛 중 기여도가 낮은 소수만 고릅니다. 선택된 유닛의 들어오는 가중치는 다시 무작위로 초기화하고, 나가는 가중치는 0에서 시작합니다. 새 유닛은 일정 기간 재교체에서 보호합니다. 기존 기능의 교란을 줄이려는 설계이지, 제거한 특징에 담긴 모든 지식의 보존을 보장하는 장치는 아닙니다. [1]

실무적으로는 중요한 반례가 있습니다. 평소 거의 등장하지 않는 안전사고나 예외 조항에 필요한 특징은 최근 데이터에서 쓸모가 낮아 보일 수 있습니다. 현재 사용 빈도가 낮다는 이유만으로 삭제해도 된다고 판단해서는 안 됩니다. 이는 논문이 특정 안전사고를 관찰했다는 뜻이 아니라, 제품 평가에 추가해야 할 위험 시나리오입니다.

가중치별 학습률의 차이는 ‘몇 개냐’보다 ‘어떻게 정하느냐’입니다

학습률은 가중치를 한 번에 얼마나 바꿀지 정하는 조절값입니다. 같은 오차를 관찰해도 어떤 연결은 천천히, 어떤 연결은 빨리 수정하게 할 수 있습니다. 하지만 가중치마다 다른 학습률을 쓴다는 사실 자체가 새로운 발명은 아닙니다. Adam과 RMSProp도 가중치별로 실질적인 업데이트 크기를 조절합니다. [3]

서튼 계열의 IDBD는 그 조절값 자체를 오차를 줄이는 방향으로 학습합니다. 최근 업데이트와 현재 업데이트가 같은 방향으로 이어지면 수정 폭을 키우고, 반대로 오가면 줄이는 방식으로 이해할 수 있습니다. 실제 알고리즘은 과거 업데이트의 영향을 추적하는 값을 사용합니다. 학습률을 사람이 처음부터 ‘이 연결은 기억, 저 연결은 적응’으로 지정하는 방식은 아닙니다. [3]

2024년 「Step-size Optimization for Continual Learning」은 단순한 변화 추적 문제에서 이 접근의 장점을 보였습니다. 동시에 학습률을 조절하는 또 다른 조절값인 메타 학습률이 입력과 오차의 크기에 민감하다는 한계를 명시했습니다. 연구진도 기존 정규화 방식과의 결합을 후속 방향으로 제안합니다. IDBD가 Adam을 모든 과제에서 대체한다거나 조정할 값이 사라진다는 결론은 지지되지 않습니다. [3]

기존 지식을 보호할 수 있다는 설명도 조건부입니다. 업데이트를 줄이면 해당 연결의 변화는 작아집니다. 그러나 어떤 지식이 어느 연결들에 분산돼 있는지, 그 연결을 언제 다시 바꿔야 하는지는 여전히 학습과 평가의 문제입니다. 작은 학습률은 보존을 돕는 수단이지, 정확한 지식에 붙이는 영구 보관 인증서가 아닙니다.

Oak의 최근 공개 실험은 잡음에서 쓸모 있는 신호를 고르는 데 집중합니다

Oak이 2026년 7월 13일 공개한 실험은 이 방향을 보여줍니다. 입력 4,096개 중 하나만 예측 대상과 관련 있고, 나머지에는 무관한 신호를 넣었습니다. 목표값에도 잡음을 더했습니다. 연구진은 이 선형 예측 문제에서 IDBD가 학습 가능한 관계를 선택적으로 포착하는 모습을 제시했습니다. [4]

이어 손글씨 숫자를 64×64 입력의 중앙 28×28 영역에 놓고, 주변과 목표값에 잡음을 더한 NoisyMNIST를 사용했습니다. IDBD를 신경망에 확장한 NetworkIDBD가 관련 영역의 연결에 학습을 집중시키는 결과를 공개했습니다. 이는 분류된 정답만 잘 외우는가보다, 경험에서 무엇을 배울 가치가 있는지 구분하는가를 묻는 실험입니다. [4]

다만 회사가 설계한 과제와 공개 시각화입니다. 실제 고객 업무, 장기간의 변화, 다양한 모델 구조에서 독립적으로 재현됐다는 근거로 확장해서는 안 됩니다. 상세 설정과 코드, 비교 대상의 조정 범위, 계산량을 맞춘 재현이 다음 검증 자료가 돼야 합니다. [4]

연속 역전파와 학습률 최적화의 역할도 다릅니다. 전자는 새로운 특징 후보를 공급하고, 후자는 각 연결을 얼마나 수정할지 학습합니다. 둘이 서로 보완할 수 있다는 설계 논리는 타당하지만, 결합한 시스템 전체의 성능은 별도로 측정해야 합니다.

기존 LLM에 붙이는 플러그인과 새 학습 체계를 만드는 일은 다릅니다

자베드는 Sequoia 인터뷰에서 기존 모델에 새 알고리즘을 붙여 곧바로 업데이트를 시작하는 그림에 신중했습니다. 자신들의 접근은 지식뿐 아니라 이후에 배우는 방법도 함께 학습하므로, 새로운 기초모델을 처음부터 그 방식으로 학습하는 경로를 설명했습니다. 이는 회사가 제시한 연구 방향이지 모든 지속학습 기법의 필수 조건은 아닙니다. [5]

이 구분은 사업 형태를 바꿉니다. 기존 모델에 얹는 도구라면 도입 실험이 상대적으로 작을 수 있습니다. 학습 체계를 처음부터 설계해야 한다면 초기 학습비, 데이터 확보, 기존 제품 대비 성능 열세를 견딜 기간까지 필요합니다. 같은 ‘지속학습’이라는 이름 아래에서도 자본 요구와 상용화 경로가 달라집니다.

기술 실사에서는 기존 모델의 일부 연결만 바꿀 수 있는지, 처음부터 새로 학습해야 하는지부터 확인해야 합니다. 논문 속 알고리즘을 구현할 수 있다는 답과 고객이 쓰는 모델에 경제적으로 적용할 수 있다는 답은 같지 않습니다.

‘지능의 20%’와 초지능은 성능표가 아닙니다

서튼은 인터뷰에서 능숙한 언어 사용을 지능의 ‘20% 혹은 4분의 1’ 정도로 표현했습니다. 지능을 실험적으로 분해해 얻은 비율이 아니라, 언어 이외의 학습·추상화·계획이 중요하다는 견해입니다. 따라서 남은 80%가 정의된 기술 과제이고 이를 채우면 초지능이 완성된다는 계산은 성립하지 않습니다. [5]

Oak의 공식 목표는 경험에 근거한 추상적 행동 단위를 발견하고, 이를 검증하며 계획에 사용하는 아키텍처입니다. 매개변수 1조 개의 에이전트가 20W로 실시간 학습과 계획을 수행한다는 장기 목표도 제시합니다. 반면 관련 상세 연구 일부는 아직 공개 예정으로 표시돼 있습니다. 회사 목표와 독립 검증된 구현 성능은 구분해야 합니다. [6][7]

연속 역전파가 적응 능력을 유지하도록 돕더라도 그것만으로 좋은 목표, 정확한 세계 예측, 장기 계획, 안전한 행동이 따라오지는 않습니다. 부품의 효용이 입증됐다는 사실과 전체 아키텍처가 작동한다는 사실 사이에는 여러 단계의 검증이 남습니다.

사업 경쟁력은 ‘계속 바뀐다’가 아니라 ‘바뀌어서 더 싸게 잘한다’입니다

이하의 산업적 판단은 연구 결과에서 출발한 해석입니다. Oak의 고객 성과나 매출에 관한 주장이 아닙니다.

지속학습이 경제성을 가지려면 환경이 바뀌는 속도가 기존 대응 방식의 약점을 드러내야 합니다. 가령 설비의 마모에 따라 제어 조건이 달라지고 결과를 빠르게 관측할 수 있다면, 변화에 적응하는 모델의 가치를 시험하기 좋습니다. 반대로 가끔 바뀌는 업무 문서를 찾아 읽는 것만으로 정확한 답을 낼 수 있다면 가중치를 매번 바꿀 이유가 약합니다.

접근	바뀌는 대상	지속학습 제품이 이겨야 할 비교 기준
고정 모델과 검색·외부 메모리	모델 밖의 문서, 기록, 문맥	지식을 찾아주는 방식만으로 같은 업무 성과가 나오는가
주기적 재학습	모은 데이터를 이용한 모델 업데이트	일정 주기로 모아서 바꾸는 편이 더 싸고 안정적인가
온라인 지속학습	들어오는 경험에 따른 모델 업데이트	더 빠른 적응의 가치가 추가 학습·검증·복구 비용보다 큰가

이 표는 어느 방식이 우월하다는 순위가 아닙니다. 같은 제품 과제를 풀기 위한 비교 설계입니다. ‘고객을 오래 상대할수록 성능이 좋아졌다’는 관찰만으로 가중치 학습의 효과를 입증할 수는 없습니다. 고객 데이터가 많아졌거나, 검색이 좋아졌거나, 사람이 설정을 고쳤을 수도 있기 때문입니다.

투자 검토에서 요구할 시연은 화려한 단일 사례보다 조건을 맞춘 시간순 비교입니다. 가능한 한 같은 출발 모델과 도구, 같은 데이터 접근권을 주고 위 접근을 비교해야 합니다. 미래 데이터를 미리 섞지 않은 상태에서 먼저 예측하고, 결과가 도착한 뒤 학습시키는 순서가 필요합니다. 기존 능력의 유지, 새로운 환경에 적응하는 시간, 드물지만 중요한 예외의 오류를 함께 봐야 합니다.

비용의 분모도 토큰 수보다 업무 결과에 두는 편이 타당합니다.

검증된 업무 1건당 비용 = (추론비 + 추가 학습비 + 평가비 + 인간 수정비 + 복구비) ÷ 검증을 통과한 업무 건수

이는 실제 회사 수치를 대입한 산식이 아니라 실사에 사용할 비용 정의입니다. 적응이 빨라져도 실패한 업데이트를 찾고 되돌리는 비용이 더 커지면 사업성은 나빠집니다. 반대로 약간의 추가 계산으로 반복 수정과 재학습을 크게 줄일 수 있다면, 초기 모델 점수보다 고객 가치가 더 높을 수 있습니다.

공개 알고리즘보다 독점적 경험과 검증 체계가 더 오래 남을 수 있습니다

알고리즘의 우수성이 곧 회사의 지속적인 경쟁우위는 아닙니다. 같은 원리를 경쟁사가 채택할 수 있기 때문입니다. 차이가 남으려면 고객 업무에서 어떤 행동을 했고 결과가 어땠는지 관찰할 권리, 그 결과를 학습에 재사용할 권리, 개선 여부를 판정하는 체계가 함께 있어야 합니다.

업무 기록만 쌓는 것으로도 부족합니다. 실패 원인이 잘못된 지식인지, 도구 오류인지, 바뀐 고객 요구인지 구분하지 못하면 잘못된 방향으로 학습할 수 있습니다. 결과가 늦게 돌아오거나 다른 행위자의 영향이 크면 ‘이번 행동이 좋았다’는 평가 자체가 어려워집니다. 지속학습은 이 문제를 자동으로 해결하지 않습니다.

실제 도입에서는 검증되지 않은 업데이트를 바로 전체 고객에게 적용하기보다, 제한된 환경에서 비교하고 승인된 상태만 넓혀 가는 경로가 합리적입니다. 고객별 학습 상태의 격리, 변경 이력, 이전 상태 복구도 제품 설계에 포함돼야 합니다. 실시간으로 배운다는 기술적 가능성이 무제한으로 스스로 바뀌어도 된다는 운영 권한을 뜻하지는 않습니다.

이 기회에 대한 판단을 낮춰야 할 조건도 명확합니다. 계산량을 맞추면 적응 이점이 사라지거나, 드문 중요 과제를 계속 잊거나, 고정 모델과 검색이 같은 성과를 더 낮은 총비용으로 낸다면 해당 업무에서 지속학습을 택할 이유는 약해집니다.

서튼의 연구가 제시한 투자 관점의 질문은 ‘AI가 영원히 기억하는가’보다 구체적입니다. 필요한 능력을 지키고, 환경의 변화를 배우며, 그 과정의 비용을 고객 가치보다 낮게 유지할 수 있는가. 이 조건을 충족하는 장기간의 업무 기록이 나올 때, 지속학습은 연구의 가능성에서 사업의 경쟁력으로 넘어갑니다.

---

출처와 검증 범위

2026년 9월 7일 확인한 공개 자료를 사용했습니다. 논문 실험을 직접 재현하지 않았으며, 회사의 미공개 구현·성능·고객 지표를 확인했다는 뜻이 아닙니다. 개념 설명에 사용한 계약서·설비 사례와 사업성 판단 기준은 필자의 예시·제안입니다. 특정 기업의 기업가치나 증권 거래 판단은 다루지 않습니다.

[1] Dohare 외, Loss of plasticity in deep continual learning, Nature, 2024년 8월 21일. 가소성 상실과 망각의 구분, 실험 범위, 연속 역전파 구현.

[2] Dohare·Sutton·Mahmood, Continual Backprop: Stochastic Gradient Descent with Persistent Randomness, 2021년 최초 공개. 무작위 특징의 지속적 공급과 생성·시험 접근.

[3] Degris 외, Step-size Optimization for Continual Learning, 2024년 1월 30일. 학습률 정규화와 최적화의 차이, IDBD의 작동 원리와 한계.

[4] Oak Lab, Learning from experience instead of curated datasets, 2026년 7월 13일. IDBD·NetworkIDBD의 회사 공개 실험.

[5] Sequoia Capital, Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again, 2026년 공개 인터뷰. 알고리즘 결합, 새 모델 학습 방향, 언어 능력에 관한 견해. 발언은 실증 결과와 구분했습니다.

[6] Oak Lab, Mission. 경험에 근거한 추상화와 계획, 전력·규모 목표에 관한 회사 설명.

[7] Oak Lab, Research. 공개 연구 목록과 공개 예정 자료의 상태.