텍스트만으로는 넘을 수 없는 천장이 있습니다: 형태·의미 정보한계와 컨텍스트 확보 경쟁
중국어는 대명사를 생략할 수 있는 언어입니다. "껌 있어?"라고 물을 때 '너'에 해당하는 你를 빼도 문장이 성립합니다. Emily Cheng(Universitat Pompeu Fabra)과 Ryan Cotterell(ETH Zürich)이 8월 28일 공개한 논문은 이 생략된 대명사를 문장만 보고 복원하는 과제로 LLM을 시험했습니다. TV 자막 90만 4,996건 중 20.3%인 18만 4,092건이 대명사를 생략한 데이터입니다.
결과는 2B에서 14B 사이 모델 6종(Qwen-2.5 14B, Llama-3 8B, Gemma 2 2B와 VLM 3종) 전부가 정확도 0.85 근처에서 멈췄습니다. 이 0.85는 "문장에 대명사가 있으면 그걸 쓰고, 없으면 가장 흔한 我를 찍는" 규칙 베이스라인의 성적입니다. 웹 스케일 학습도, 시각 지도학습이 들어간 VLM도 이 벽을 의미 있게 넘지 못했습니다.
논문의 기여는 이 실패를 관측한 것이 아니라, 실패할 수밖에 없는 상한을 미리 계산할 수 있음을 보인 데 있습니다.
벽의 위치를 계산할 수 있습니다
논문은 의사소통을 네 변수의 결합분포로 놓습니다. 화자가 의도한 의미 M, 그 의미가 발생한 맥락 C, 화자가 실제로 낸 발화 U, 그리고 시스템이 U에서 뽑아낸 표현 Z입니다. LLM의 내부 활성값은 U를 Z로 바꾸는 함수에 해당하고, 의미 복원은 Z를 다시 M으로 되돌리는 문제가 됩니다.
핵심 항등식은 단순합니다. 맥락과 발화가 함께 의미에 대해 알려주는 총량은, 발화가 알려주는 몫과 발화로는 알 수 없고 맥락만 아는 몫으로 쪼개집니다. 논문은 Fano 부등식을 써서 어떤 표현·어떤 디코더를 쓰더라도 정답을 맞힐 확률이 앞의 몫에 지배당한다는 것을 보입니다. 뒤의 몫, 즉 발화 밖에만 있는 정보가 클수록 텍스트 기반 시스템의 천장은 그만큼 내려갑니다.
두 정리는 의미 공간이 유한한 경우(정확 복원)와 연속인 경우(오차 ε 이내 근사 복원)를 각각 다룹니다. 연속 공간에서는 의미 공간을 2ε 간격으로 성기게 뿌린 대표점 문제로 바꿔 같은 부등식을 적용합니다. 색상처럼 값이 연속적인 의미 공간에도 같은 논리가 붙는다는 뜻입니다.
이 상한이 무거운 이유는 조건이 거의 없기 때문입니다. 특정 아키텍처, 특정 학습량, 특정 손실함수를 가정하지 않습니다. 무한한 데이터로 학습한 완벽한 학습기의 내부 표현에도 그대로 적용됩니다. 논문 표현대로 표현할 수 없는 것은 학습할 수도 없습니다.
세 가지 실험이 같은 방향을 가리킵니다
첫째, 인공언어입니다. 의미·맥락·발화의 결합분포를 직접 설계해 발화와 의미의 상호정보량만 0에서 log₂10까지 체계적으로 바꾼 언어 6종(이산)과 8종(연속)을 만들었습니다. 모든 언어에서 MLP의 최고 테스트 성능이 이론 상한 아래에 머물렀고, 상호정보량이 커질수록 상한과 실측이 함께 올라갔습니다.
둘째, 앞서 본 중국어 무주어 대명사 복원입니다. 대명사 클래스 12종, 가능한 형태 13종에서 이론 천장은 0.93으로 계산됐습니다. 모델 6종의 최고 성능은 하이퍼파라미터·시드 전수 탐색에서도 이 선을 넘지 않았고, 실질적으로는 규칙 베이스라인 0.85 부근에 갇혔습니다. 저자들은 이 데이터셋에서 발화 자체가 생략된 대명사에 대해 거의 정보를 담고 있지 않다고 해석합니다. TV 화면의 시각·사회적 단서, 즉 데이터셋에 아예 없는 맥락이 그 정보를 갖고 있습니다.
셋째, Monroe 외(2017)의 색상 지시 게임입니다. 화자와 청자가 색칩 세 개를 함께 보고 화자가 "darkish red" 같은 말로 목표 색을 지시합니다. 의사소통에 성공한 3만 8,975라운드만 남기고, CIELab 좌표를 의미로 두어 ε을 0.01에서 0.75까지 훑었습니다. 모든 구간에서 상한이 지켜졌습니다.
저자들이 스스로 남긴 한계
과잉 해석을 막기 위해 논문이 명시한 제약을 그대로 옮깁니다.
- 2026년 8월 28일 공개된 arXiv v1 초안입니다. 동료평가를 거친 확정 논문이 아니며 저자들도 의견을 받는 초안이라고 명시했습니다.
- 계산 자원 제약으로 14B를 넘는 모델은 시험하지 못했습니다. 최신 대형 모델은 천장에 더 가까이 올라갈 여지가 있습니다. 다만 현재 발화에 담긴 정보로 계산한 천장 자체가 모델 크기 때문에 올라가는 것은 아닙니다.
- 추론 시점에 맥락을 넣어주는 경우는 분석하지 않았습니다. 시스템 프롬프트나 검색 결과로 맥락을 공급하면 상한은 다시 계산해야 합니다. 저자들은 이를 후속 과제로 남겼습니다.
- 여기서 말하는 의미 표현은 통계적 해독 가능성이라는 약한 뜻입니다. 모델이 그 표현을 실제로 사용하는지, 인과적으로 개입 가능한지는 별도 문제입니다.
- 화자와 청자가 같은 맥락을 공유하고 채널에 잡음이 없는 단발 대화를 가정합니다. 여러 턴에 걸친 오해와 수정 과정은 모델 밖입니다.
실무로 옮기면: 토큰을 늘리는 문제가 아닙니다
현장에서 에이전트가 실패하는 지점과 겹칩니다. 사내 메신저 대화를 아무리 많이 학습시켜도 "그거 어제 말한 대로 처리해 주세요"의 '그거'는 발화에 없습니다. 그건 회의실에서 오간 눈짓, 직전 결재 화면, 상대의 직무 권한에 있습니다. 이 논문은 그런 실패가 데이터 부족이 아니라 채널 자체의 구조라고 말합니다.
이전에 긴 문맥은 State가 아닙니다에서 컨텍스트 윈도를 늘리는 것과 상태를 갖는 것은 다른 문제라고 정리한 바 있습니다. 이번 논문은 그보다 한 층 아래에서 같은 결론을 지지합니다. 일반 텍스트를 더 많이 넣거나 현재 발화를 길게 만드는 것만으로는 입력에서 빠진 맥락을 회수할 수 없습니다. 다만 논문의 C에는 시각·사회적 단서뿐 아니라 이전 대화 같은 언어적 맥락도 포함됩니다. 필요한 대화 이력이나 업무 상태를 실제 입력으로 공급하면 문제의 정보 구조와 상한이 달라집니다.
여기서 갈림길이 생깁니다. 첫째 길은 현재 발화 밖의 신호를 실제로 배관하는 것입니다. 이전 대화, 화면 상태, 캘린더, 권한, 이전 작업 결과, 센서, 사용자 정정 이력입니다. 둘째 길은 모호성을 남기지 않는 인터페이스를 설계해 애초에 맥락 전용 몫을 줄이는 것입니다. 구조화된 폼, 명시적 확인, 좁은 도구 스키마가 여기 해당합니다. 셋째 길은 실패를 감지하고 되묻는 것입니다. 상한이 낮은 상황임을 인식해 추측 대신 질문을 던지는 설계입니다.
세 길 모두 모델 교체로는 얻어지지 않습니다. 제품과 데이터 파이프라인의 문제입니다.
VC 관점: 컨텍스트 접근권이 진입장벽입니다
투자 관점에서 이 논문이 바꾸는 것은 실사 질문의 순서입니다. 모델 성능 비교표보다 앞에 놓아야 할 질문이 생깁니다.
- 맥락을 어디서 얻는가: 발화 밖 신호를 합법적·기술적으로 확보하는 경로가 있는가. 그 경로가 계약·API 권한·현장 설치 중 무엇에 묶여 있는가.
- 그 접근권을 남이 복제할 수 있는가: 공개 문서로 대체 가능한 맥락이라면 해자가 아닙니다. 업무 시스템 쓰기 권한, 현장 장비 로그, 조직 내 권한 그래프는 복제가 어렵습니다.
- 모호성 자체를 줄이는 설계가 있는가: 자유서술 입력에만 의존하는 제품은 구조적으로 낮은 천장 아래에서 싸웁니다.
- 모르는 것을 아는가: 맥락 부족 구간을 감지해 확인 질문으로 전환하는 장치가 있는가. 없다면 오답이 자신 있게 나가고, 그 비용은 고객이 냅니다.
- 정정이 데이터로 돌아오는가: 사용자가 고친 결과가 다음 판단을 바꾸는 루프가 닫혀 있는가. 데이터가 해자가 아니라 데이터를 만드는 루프가 해자라는 논지와 같은 지점입니다.
반대로 경계해야 할 서사도 분명해집니다. "더 큰 모델이 나오면 해결된다"는 답변은 이 논문 앞에서 근거가 약합니다. 천장은 모델 크기가 아니라 그 업무의 언어 사용 방식이 정합니다. 고맥락 업종, 예컨대 의료 현장 구두 지시나 제조 라인 인수인계처럼 말이 짧고 생략이 많은 영역일수록 텍스트 전용 접근의 상한이 낮습니다. 이 영역에서 성과를 내는 회사는 대개 모델이 좋은 게 아니라 맥락을 확보하는 배관을 깔아둔 회사입니다.
개인 AGI의 해자는 모델이 아니라 기억의 소유권에서 짚은 방향과도 이어집니다. 개인이든 조직이든 자기 맥락을 축적하고 소유한 쪽이 같은 모델로 더 높은 성능을 냅니다. 이번 논문은 그 차이가 취향이 아니라 정보이론적 상한 차이라는 근거를 제공합니다.
남는 질문
이 논문이 아직 답하지 않은 것 중 투자 판단에 중요한 항목이 하나 있습니다. 맥락을 얼마나 넣으면 상한이 얼마나 올라가는지에 대한 정량입니다. 저자들도 후속 과제로 남겼습니다. 실무에서는 이 값이 곧 컨텍스트 확보 투자 대비 성능 개선의 기울기이고, 어느 지점에서 추가 배관이 수지가 맞지 않는지를 정하는 숫자입니다.
당장은 대리 지표로 접근할 수밖에 없습니다. 같은 업무를 맥락 없이·부분 맥락으로·완전 맥락으로 나눠 성능을 재는 사내 실험이 그것입니다. 확인이 코드 작성보다 어려워진 상황에서 이런 계단식 측정은 검증 설계이기도 합니다.
결론은 짧습니다. 현재 발화만 보는 시스템에는 계산 가능한 천장이 있고, 그 천장은 학습량으로 올라가지 않습니다. 다음 경쟁은 더 많은 일반 텍스트가 아니라 대화 이력과 발화 밖 세계에 대한 접근권에서 갈립니다.
출처 노트: Emily Cheng and Ryan Cotterell, “A Formal Limitation on Learning Human Language From Textual Corpora”, arXiv:2608.28560v1, 2026년 8월 28일 공개. 본문의 정리·실험·한계 수치는 논문 v1 기준입니다.