AI 소설의 진짜 시험은 마지막 장에서 시작됩니다

아버지의 장례식이 끝난 뒤, 딸은 금이 간 찻잔을 버리려다 서랍에 넣습니다. 300쪽 뒤, 딸은 그 잔에 차를 따릅니다.

이 장면은 설명을 위한 가상의 소설입니다. 두 문장만 놓고 보면 별일이 아닙니다. 그러나 그 사이에 아버지에 대한 오해가 풀리고, 용서할 수 없는 사실이 새로 드러나고, 딸이 자신도 비슷한 잘못을 저질렀다는 것을 인정했다면 마지막 행동의 무게가 달라집니다.

AI에게 마지막 장면을 써 달라고 하면 찻잔의 금, 식어가는 차, 창문으로 들어오는 빛을 그럴듯하게 묘사할 수 있습니다. 여기서 확인해야 할 능력은 묘사의 아름다움보다 그 잔에 차를 따르는 선택을 앞선 300쪽이 납득시켰는가입니다.

장편소설을 둘러싼 AI 논쟁이 흥미로운 이유도 여기에 있습니다. 문장을 만드는 능력, 오래 일관성을 유지하는 능력, 자기 결과물을 평가하고 고치는 능력이 한 작품 안에서 동시에 시험받습니다. 창작 도구에 투자하는 VC라면 첫 장의 시연보다 마지막 장이 만들어진 과정을 봐야 합니다.

이미 책 한 권 분량은 씁니다. 끝까지 읽을 이유가 문제입니다

“AI는 장편을 못 쓴다”는 말부터 범위를 좁혀야 합니다. 2026년 공개된 GhostWriteBench 연구는 여러 언어모델이 생성한 책당 5만 단어 이상의 텍스트를 수집했습니다. 연구 목적은 저자 모델의 식별입니다. 높은 문학적 완성도를 입증한 연구는 아니지만, 책 한 권 분량의 출력 자체가 불가능하다는 설명은 맞지 않습니다. [1]

반대 방향의 근거도 있습니다. 2025년 ACL에 실린 문학 평가 연구는 평가 대상 AI 작품에서 시작은 좋지만 후반으로 갈수록 완성도가 떨어지는 경향을 보고했습니다. 연구진은 문장뿐 아니라 작품 전체와 중간 구조를 나누어 평가했습니다. 다만 특정 작품과 모델에서 관찰한 결과이며, 이후 모든 모델의 영구적 한계를 증명하지는 않습니다. [2]

짧은 이야기에서는 인간 작품보다 좋은 평가를 받은 AI 사례도 있습니다. 2026년 발표된 독자 실험에서 성인 1,682명은 비교 대상 AI 단편을 인간 단편보다 품질과 몰입도에서 높게 평가했습니다. 그러나 작품은 각각 약 1,000단어인 인간 단편 3편과 AI 단편 3편이었습니다. 참여자가 많다고 작품 표본까지 많아지는 것은 아닙니다. [3]

이 결과들을 모으면 “AI는 글을 못 쓴다”보다 구체적인 질문이 남습니다. 특정 장르와 분량에서, 편집을 거친 인간 작품에 견줄 만한 완성도를 얼마나 안정적으로 재현하는가. 사람도 누구나 좋은 장편을 쓰는 것은 아닙니다. 비교 대상은 막연한 ‘인간’이 아니라 명시된 품질 기준과 제작 과정이어야 합니다.

기억해야 할 것은 인물의 이름보다 ‘누가 무엇을 아는가’입니다

아버지가 딸에게 편지를 보냈지만 중간에 사라졌다고 가정하겠습니다. 아버지는 자신이 편지를 보냈다는 사실을 압니다. 딸은 편지가 오지 않았으니 자신을 버렸다고 믿습니다. 독자는 우체국 장면을 통해 다른 가능성을 의심합니다.

작품에는 하나의 사실만 있지만, 서로 다른 믿음이 공존합니다. 이 차이가 갈등을 만듭니다.

“아버지가 편지를 보냈다”는 사실을 정확히 저장해도 부족합니다. 그 사실을 아직 모르는 딸이 다음 장에서 갑자기 편지의 내용에 관해 말하면 이야기는 깨집니다. 반대로 모순 탐지기가 딸의 오해를 사실 오류로 판단해 바로잡아도 이야기는 깨집니다. 소설에서는 어떤 정보의 불일치가 결함이고, 어떤 불일치가 의도된 장치인지 구별해야 합니다.

따라서 집필 시스템에 필요한 기억은 인물 소개와 줄거리 요약을 넘어섭니다. 사건이 실제로 일어난 순서, 각 인물이 당시 알았던 사실과 잘못된 믿음, 독자에게 공개된 정보, 아직 해결되지 않은 갈등을 구분해 보관해야 합니다. 같은 사건이라도 등장인물마다 다르게 해석할 수 있어야 합니다.

요약에도 비용이 있습니다. “딸은 아버지를 원망한다”는 기록은 짧고 편리합니다. 하지만 아버지의 말을 흉내 내며 웃다가 갑자기 입을 다무는 버릇은 사라질 수 있습니다. 바로 그런 세부가 후반부의 행동에 설득력을 주기도 합니다. 원고를 요약해 저장하는 것에 더해, 필요한 순간 원문과 그 장면의 맥락을 다시 찾는 능력이 필요합니다.

이것은 시스템 설계상의 과제입니다. 2025년 StoryWriter 연구도 사건 관계와 개요를 설계하고, 현재 집필할 사건에 맞추어 과거 맥락을 압축하는 구조를 제안했습니다. 다만 관계도와 요약을 갖춘다는 사실만으로 인물의 심리가 설득력 있게 이어진다는 보장은 없습니다. [4]

결말의 문제를 해결하려면 첫 장을 고칠 수 있어야 합니다

딸이 마지막에 찻잔을 꺼내는 장면이 갑작스럽게 느껴집니다. 가장 쉬운 수정은 바로 앞에 “그제야 아버지의 마음을 이해했다”는 문장을 넣는 것입니다. 그러나 감정의 변화를 설명하는 문장과, 독자가 그 변화를 받아들이게 만드는 사건은 다릅니다.

더 나은 수정은 70쪽의 대화를 바꾸는 일일 수 있습니다. 혹은 160쪽에서 딸이 아버지와 같은 잘못을 저지르게 해야 할 수도 있습니다. 그렇게 고치면 200쪽의 관계, 240쪽의 갈등도 다시 점검해야 합니다. 결말의 결함이 발견된 위치와 결함을 고쳐야 할 위치가 다릅니다.

AI가 다음 토큰, 즉 다음 글 조각을 순서대로 생성한다는 사실은 이런 작업이 불가능하다는 뜻이 아닙니다. 문장이 출력되는 순서와 작품을 설계하는 순서는 같을 필요가 없습니다. 결말 후보를 먼저 만들고, 필요한 사건을 배치하고, 초고를 쓴 뒤 앞부분을 수정할 수 있습니다.

실제로 Re3는 2022년에 이미 전체 계획, 이야기 상태의 반복 제공, 후보 문장 선별, 사실관계 수정을 결합했습니다. 다룬 분량은 2,000단어를 넘는 이야기였으므로 장편의 완성도를 입증한 것은 아닙니다. 그러나 ‘순차 생성이라 계획과 수정 자체가 불가능하다’는 설명을 반박하기에는 충분합니다. [5]

어려운 과제는 무엇을 고치면 전체가 좋아질지 판단하는 것입니다. 마지막 장이 마음에 들지 않을 때 앞부분의 어느 선택에 책임이 있는지 찾아야 합니다. 수정 과정에서 이미 잘 작동하던 복선을 없애거나 인물의 말투를 바꾸어 버리지도 않아야 합니다.

여기에는 수정의 영향 범위를 추적하는 장치가 필요합니다. 편지를 보낸 시점을 바꾸면 어떤 대화가 영향을 받는지, 화해의 계기를 삭제하면 어떤 행동이 더 이상 납득되지 않는지 확인해야 합니다. 원고 버전과 인과관계를 함께 관리하는 이유입니다.

코드 수정의 회귀 테스트, 즉 다른 기능이 망가지지 않았는지 다시 검사하는 작업과 비슷합니다. 다만 소설에서는 사건의 정합성 외에 감정과 문체까지 확인해야 합니다. 이 비유가 두 작업의 난도가 같다는 뜻은 아닙니다. 국소적인 수정을 전체 결과물과 다시 대조해야 한다는 구조가 닮았다는 뜻입니다.

낯선 전개를 만드는 것보다, 낯선 선택을 납득시키는 것이 어렵습니다

딸이 마지막에 찻잔을 깨뜨리면 더 참신할까요. 잔을 팔고 떠나면 어떨까요. 알고 보니 아버지가 살아 있었다면요.

예측을 벗어나는 방법은 많습니다. 그중 상당수는 이야기의 완성도를 떨어뜨립니다. 좋은 반전은 독자를 놀라게 하면서도, 다시 읽었을 때 앞선 사건들이 다른 의미로 연결되게 합니다. 단어 선택의 무작위성을 높이는 것으로 해결할 문제가 아닙니다.

AI 활용이 작품을 비슷하게 만들 수 있다는 우려에는 실험 근거가 있습니다. Doshi와 Hauser의 2024년 연구에서 293명의 작성자는 AI 아이디어를 활용하거나 활용하지 않고 8문장짜리 이야기를 썼습니다. AI 도움은 개별 작품의 평가를 높였지만, 작품들 사이의 유사성도 높였습니다. 인간이 AI의 아이디어를 참고한 짧은 글 실험이지, 모든 AI 창작이 필연적으로 평범해진다는 증거는 아닙니다. [6]

집필 도구의 탐색 단위도 달라져야 합니다. 같은 장면의 표현을 열 번 바꾸는 것과, 주인공이 용서하는 결말·용서를 유보하는 결말·상대의 사과를 거절하는 결말을 각각 설계하는 것은 다른 작업입니다. 후자는 작품이 어떤 질문을 끝까지 밀고 갈 것인지 선택하게 합니다.

필요한 개선은 다양한 후보를 만드는 능력과 그중 무엇을 남길지 판단하는 능력 양쪽에 있습니다. 작가가 허용하지 않는 타협, 작품의 관점, 특정 인물이 절대 하지 않을 행동을 분명하게 두는 방법을 시험할 수 있습니다. 그러나 이를 경직된 규칙으로 고정하면 인물의 성장이나 의도된 모순을 막습니다. 제약을 유지할 때와 깨뜨릴 때를 구분하는 판단도 필요합니다.

인간 작가의 경험이 AI에 없는 이유를 곧바로 기술적 불가능성으로 바꿀 필요는 없습니다. 제품 관점에서 먼저 시험할 것은 작가의 취재 자료, 고유한 관찰, 수정 취향을 시스템이 얼마나 충실하게 반영하는가입니다. 인간의 창작 과정을 똑같이 복제했는지와, 인간 독자에게 의미 있는 작품을 만드는지는 별도로 검증할 질문입니다.

만능 채점표가 없어서, 평가 설계가 더 중요해집니다

주인공이 죽은 뒤 별다른 설명 없이 다시 등장하는 오류는 비교적 분명합니다. 마지막 화해가 너무 쉽게 느껴지는지는 독자에 따라 다릅니다. 어떤 독자는 느린 묘사에서 깊이를 느끼고, 다른 독자는 이야기가 멈췄다고 느낍니다.

그렇다고 평가를 포기할 수는 없습니다. 2025년 LongStoryEval 연구는 책 600권과 독자 평가를 바탕으로 책 길이의 이야기를 평가하는 방법을 연구했습니다. 연구진이 훈련한 전용 평가 모델은 해당 실험에서 범용 모델보다 인간 평가에 더 잘 맞았지만, 일관성과 인간 취향 반영에는 한계가 남았습니다. 600권의 훌륭한 AI 소설을 만들었다는 연구가 아니라, 긴 작품을 평가하는 연구입니다. [7]

투자 검토에서는 다음과 같은 시험을 요구할 만합니다. 설정 오류는 시간순 기록과 인물별 지식으로 점검합니다. 인물 변화와 결말의 설득력은 해당 장르의 독자가 작품 전체를 읽고 평가합니다. 문체와 독창성은 비슷한 분량·장르의 대조 작품과 비교합니다. 평가자가 인간 작품이라고 들었는지, AI 작품이라고 들었는지도 분리합니다.

마지막 구분은 중요합니다. 앞서 소개한 2026년 단편 실험에서는 실제 작성 주체와 별개로, 인간이 썼다고 안내받은 작품이 더 좋은 평가를 받았습니다. 따라서 텍스트 자체의 품질과 인간 저자에 대한 선호를 하나의 점수로 합치면 무엇이 개선됐는지 알기 어렵습니다. 이 결과 역시 제한된 단편 실험의 범위에서 해석해야 합니다. [3]

자동 평가에는 별도의 위험도 예상됩니다. 매 장의 흥미로움만 점수화하면 불필요한 반전과 위기가 늘 수 있습니다. 일관성만 강조하면 의도적인 오해나 신뢰할 수 없는 화자의 진술까지 지워 버릴 수 있습니다. 이는 특정 연구의 확정된 결과가 아니라, 그런 목표를 제품에 적용할 때 검증해야 할 실패 가설입니다.

같은 모델에게 “잘 썼니?”라고 묻는 것은 평가의 출발점일 수는 있어도 끝이 될 수는 없습니다. 문제가 없는 글과 읽고 싶은 글을 구분하고, 장면의 매력과 작품 전체의 만족도를 따로 확인해야 합니다.

더 긴 입력창과 더 많은 에이전트만으로는 부족합니다

기존 모델을 여러 번 호출하면 계획·집필·비평을 나눌 수 있습니다. 그러나 ‘기획자’, ‘작가’, ‘편집자’라는 이름을 붙였다고 각각의 판단이 독립적이거나 정확해지지는 않습니다. 잘못된 개요를 모든 역할이 공유하면 오류가 더 길고 정교하게 이어질 수도 있습니다.

모델 자체의 훈련도 중요합니다. 2024년 LongWriter 연구는 긴 입력을 처리하는 능력과 긴 출력을 만드는 능력이 다르다는 점에 주목했습니다. 긴 출력 예시를 학습에 추가하고 작업을 나누어 생성하는 방법으로 출력 길이를 늘렸습니다. 이는 당시 모델과 실험에서 확인한 결과이며, 출력 길이가 늘어난 만큼 문학적 완성도가 높아졌다는 의미는 아닙니다. [8]

장편 창작에 필요한 학습 자료를 생각해 보면 완성된 책만으로는 빠지는 정보가 있습니다. 무엇을 지웠는지, 어떤 결말을 버렸는지, 왜 사건의 순서를 바꾸었는지는 최종 원고에 남지 않습니다.

따라서 초고·수정본·수정 이유·독자 반응이 연결된 자료가 유용할 것이라는 가설을 세울 수 있습니다. 국소적인 문장 교정을 넘어, 앞부분의 변경이 후반부에 미친 영향을 학습시키려는 접근입니다. 실제 효과는 이런 자료 없이 같은 비용을 쓴 모델이나 시스템과 비교해야 합니다. 자료의 존재만으로 경쟁력이 입증되지는 않습니다.

기반 모델의 훈련과 집필 시스템의 설계는 어느 하나만 선택할 문제가 아닙니다. 모델은 더 좋은 계획과 평가를 수행해야 하고, 시스템은 원고와 상태를 보존하면서 그 판단을 실제 수정으로 연결해야 합니다. 외부의 기록 관리로 보완할 수 있는 부분과 모델의 판단 능력이 필요한 부분을 나누어야 개발 자원을 제대로 배분할 수 있습니다.

VC가 볼 숫자는 초당 글자 수보다 채택된 원고의 비용입니다

창작 도구를 평가하는 경제적 질문은 “AI가 인간을 완전히 대체했는가”보다 먼저 찾아옵니다. 동일한 품질의 최종 원고를 만드는 데 사람의 시간이 얼마나 줄었는가.

계산을 위한 가상의 장편 제작 사례를 놓겠습니다. 방식 A의 생성·재생성 비용은 20만 원이고, 인간 검토·수정에는 80시간이 필요합니다. 방식 B는 생성에 50만 원을 쓰지만 인간 작업을 40시간으로 줄입니다. 인간 작업의 시간당 비용을 5만 원으로 가정하면 결과는 다음과 같습니다.

방식 A의 총비용은 20만 원 + 80시간 × 5만 원 = 420만 원입니다. 방식 B는 50만 원 + 40시간 × 5만 원 = 250만 원입니다. 감소액 170만 원을 기존 420만 원으로 나누면 약 40.5% 절감입니다. 비율은 소수점 둘째 자리에서 반올림해 표시했습니다. 이 수치는 시장 조사나 실제 제품 성과가 아닌 계산 예시입니다.

더 비싼 추론을 사용해도 최종 제작비는 낮아질 수 있습니다. 반대로 거의 무료로 초고를 만들어도 사람이 전부 읽고 다시 써야 한다면 가치가 작을 수 있습니다. 여기서 사람의 작업 시간에는 수정뿐 아니라 후보 선별, 원고 읽기, 오류 확인, 재작업 요청도 포함해야 합니다.

사업 지표의 분모는 생성한 글자 수보다 최종 채택된 작품 수가 적절합니다. 채택된 한 편의 뒤에 버린 원고가 아홉 편 있다면 열 편을 만드는 비용을 모두 넣어야 합니다. 권리 확보, 유통, 마케팅 등 위 예시에서 제외한 비용은 실제 사업 계산에서 별도로 더해야 합니다.

이 관점에서 검토할 사업 가설은 장편 자동 집필에만 한정되지 않습니다. 편집자가 인과관계의 구멍을 찾고 수정 범위를 정하는 도구, 시리즈 전체의 설정과 인물 변화를 관리하는 작업 환경, 독자 반응과 수정 이력을 연결하는 제작 소프트웨어에도 가치가 생길 수 있습니다.

다만 ‘여러 AI가 협업한다’는 구조만으로 진입장벽을 주장하기는 어렵습니다. 기반 모델이 발전하면 지금은 복잡한 장치로 보완하는 기능이 기본 제공될 수 있습니다. 차별화가 유지되려면 사용 권한을 확보한 편집 자료, 고객의 실제 제작 과정에 깊이 들어간 기능, 더 낮은 납품 비용이나 더 높은 채택률 같은 결과가 필요합니다. 소규모 시연이 아니라 여러 작품에서 반복되어야 합니다.

출력 공급이 크게 늘어난다는 가정 아래에서는 작품을 발견하게 하는 유통, 신뢰할 수 있는 저자 이름, 기존 독자 관계의 상대적 가치가 높아질 가능성도 있습니다. 그러나 그 수혜가 새로운 창작 도구 회사에 돌아갈지, 기존 플랫폼과 작가에게 돌아갈지는 별도의 경쟁 분석이 필요합니다.

첫 장의 시연 대신 마지막 장과 수정 이력을 보여 달라고 해야 합니다

AI 창작 기업의 시연에서 확인할 것은 멋진 문장만이 아닙니다. 같은 장르와 분량, 같은 비용·인간 개입 조건에서 여러 작품을 완성했을 때 결과가 유지되는지 봐야 합니다. 전체 원고를 읽은 독자의 평가와 사람이 고친 시간을 함께 확인해야 합니다.

중간에 중요한 조건을 바꾸는 시험도 유용할 수 있습니다. “아버지가 편지를 보냈다는 사실을 주인공이 마지막까지 모르게 해 달라.” 이런 요청 뒤에 시스템이 마지막 장만 고치는지, 앞선 대화와 사건까지 찾아 바꾸는지 보면 관리 능력의 차이가 드러납니다. 시험 조건과 성공 기준을 사전에 정해야 잘 나온 사례만 고르는 일을 피할 수 있습니다.

장편소설의 어려움이 초지능 이전의 불가능성을 뜻하지는 않습니다. 책 한 권을 잘 쓰는 능력이 인간의 의식이나 모든 지적 업무의 해결을 증명하지도 않습니다. 검증할 것은 계획, 인물별 지식, 긴 인과관계, 취향에 맞는 탐색, 작품 전체의 평가와 수정입니다.

마지막 장에서 딸이 찻잔을 꺼냈습니다. 독자는 그 행동을 받아들였을까요. 받아들이지 못했다면, 집필 시스템은 어느 장면을 찾아 무엇을 바꾸었을까요.

AI가 작가의 시간을 얼마나 덜어 줄 수 있는지는, 마지막 장을 위해 첫 장을 어떻게 고쳤는지에서 더 잘 드러납니다.

---

근거와 해석의 범위

공개 연구는 아래의 실험 범위 안에서 인용했습니다. 찻잔과 편지의 이야기는 설명을 위한 창작이며 실제 모델 평가 사례가 아닙니다. 시스템 설계안, 사업 기회, 검증 방법은 연구를 바탕으로 한 필자의 제안입니다. 비용 비교는 가정에 따른 예시이며 시장 가격이나 실제 기업 성과를 뜻하지 않습니다. 자료 확인 기준은 2026년 9월 12일입니다.

[1] Shetty 외, Who Wrote the Book? Detecting and Attributing LLM Ghostwriters, 2026. 책 길이 텍스트의 저자 식별 연구이며 문학적 우수성 검증이 아닙니다.

[2] Wang 외, Towards A “Novel” Benchmark: Evaluating Literary Fiction with Large Language Models, Findings of ACL 2025. 평가 대상 작품에서 관찰된 후반부 완성도 저하를 인용했습니다.

[3] Sears·Weisberg, Bot or not: Can people tell the difference between stories written by a human or by an AI system?, Judgment and Decision Making, 2026. 짧은 작품 6편을 사용한 실험입니다. AI에는 사람이 구체적인 집필 조건을 제시했고, 작성 주체 안내의 효과도 별도로 실험했습니다.

[4] Xia 외, StoryWriter: A Multi-Agent Framework for Long Story Generation, 2025. 개요·사건·맥락 관리를 분담하는 설계를 인용했습니다. 작품 전체의 인간 동등성을 입증한 것으로 해석하지 않았습니다.

[5] Yang 외, Re3: Generating Longer Stories With Recursive Reprompting and Revision, EMNLP 2022. 2,000단어를 넘는 이야기의 계획·생성·수정 연구입니다.

[6] Doshi·Hauser, Generative AI enhances individual creativity but reduces the collective diversity of novel content, Science Advances, 2024. 저자들이 공개한 실험 자료와 연구 설명입니다. 8문장 이야기 과제의 결과를 장편 전체에 일반화하지 않았습니다.

[7] Yang·Jin, What Matters in Evaluating Book-Length Stories? A Systematic Study of Long Story Evaluation, ACL 2025. 책 600권을 활용한 평가 연구입니다.

[8] Bai 외, LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs, 2024. 긴 출력의 생성과 학습을 다루며 문학적 성취와는 구별했습니다.