펠리컨 한 마리로 살펴본 AI의 완성도와 생각의 비용

자전거를 타는 펠리컨에게 무엇을 물을 수 있을까요

AI(인공지능) 모델의 새 버전이 나오면 여러 성능 수치가 함께 발표됩니다. 시험 이름도 많고, 점수도 정교합니다. 그런데 처음 접하는 사람에게는 그 숫자가 실제로 어떤 차이를 만드는지 잘 와닿지 않을 때가 있습니다.

Simon Willison은 조금 다른 질문을 던집니다. 자전거를 타는 펠리컨을 얼마나 잘 그릴 수 있을까요?

이번에 읽은 글은 Simon Willison’s Weblog에 2026년 9월 1일 게시된 「Claude Fable 5.1 made me a really nice animated pelican」입니다. Willison은 Claude Fable 5.1에 같은 그림을 요청하면서 추론 수준을 바꾸고, 결과물과 소요 시간, 사용량, 비용을 기록합니다. 마지막에는 가장 마음에 든 그림을 움직이게 만듭니다.

가벼운 실험처럼 보이지만, 저는 이 글에서 AI 제품을 만드는 사람이 자주 마주할 선택을 봅니다. 더 공들인 결과를 얻으려면 얼마나 더 기다리고, 얼마나 더 지불할 것인가라는 질문입니다.

다만 이 글은 한 사람이 특정 그림 과제로 남긴 사용 기록입니다. 여러 업무에 걸친 반복 실험이나 고객의 구매 의사를 확인한 자료는 아닙니다. 이 범위를 지키면서 읽을 때, 작은 사례가 오히려 구체적인 생각거리를 줍니다.

과학 시험 점수에서 펠리컨으로 시선을 돌린 이유

글의 출발점은 Anthropic의 모델 발표입니다. Willison이 소개한 발표에 따르면, Fable 5.1은 코딩, 지식 업무, 장시간 문제 해결 능력을 강조했습니다. 특히 과학 연구 관련 성능에 상당한 비중을 두었다고 합니다.

눈에 띄는 숫자는 Terminal-Bench-Science 0.1이라는 벤치마크, 즉 정해진 과제를 풀게 해 성능을 비교하는 시험의 점수입니다. 글에 인용된 수치는 Fable 5.1이 52.6%, Fable 5가 24.7%, Opus 5가 29.0%, GPT-5.6 Sol이 22.4%입니다. 해당 시험은 같은 해 8월 27일 처음 발표됐다고 적혀 있습니다.

이 숫자는 Willison이 전달한 Anthropic 발표 내용입니다. 제공된 원문에는 시험의 상세 구성이나 비교 조건이 나오지 않습니다. 이를 곧바로 실제 과학 연구의 성공률이나 연구자 생산성으로 읽기는 어렵습니다. Willison도 다른 시험의 개선은 이 과학 시험만큼 두드러지지 않았다고 설명합니다.

그는 곧바로 자신이 오래 사용한 펠리컨 과제로 돌아옵니다. 그 자신도 이 과제를 만능 성능 지표로 보지는 않습니다.

Willison은 7월에 이미 펠리컨 시험을 향한 믿음이 약해지고 있다고 썼다고 합니다. 펠리컨을 잘 그리는 능력과 다른 업무를 잘하는 능력 사이의 연결이 2025년만큼 강하게 느껴지지 않았기 때문입니다. 이제 그는 이 과제에서 주로 같은 모델 계열 내부의 차이, 특히 동일한 요청에서 추론 수준을 바꿨을 때의 차이를 살펴봅니다.

저는 이 대목이 글 전체를 읽는 기준이라고 생각합니다. 펠리컨 한 마리로 모델의 모든 능력을 설명하려 하지 않습니다. 대신 요청을 고정하고 설정을 바꿔, 무엇이 달라지는지 살펴봅니다.

같은 요청에 다섯 가지 생각의 강도

요청은 단순합니다. 자전거를 타는 펠리컨을 SVG로 만들어 달라는 것입니다.

SVG는 선, 도형, 색, 위치를 코드로 적어 그림을 표현하는 형식입니다. 종이에 직접 색칠하는 대신, 어느 위치에 원을 놓고 어떤 선을 연결할지 설명서를 작성한다고 생각하면 이해하기 쉽습니다. 펠리컨을 그리려면 몸과 부리뿐 아니라 자전거 바퀴, 페달, 다리, 날개의 위치까지 서로 맞아야 합니다.

이 글에서 Fable 5.1은 low, medium, high, xhigh, max라는 다섯 추론 수준을 제공합니다. 추론은 답을 내기 전에 문제를 풀고 결과를 점검하는 과정으로 이해하면 됩니다. 설정 이름은 그 과정에 들일 노력의 수준을 나타내지만, 정확한 작업 시간이나 결과 품질을 보장하는 값은 아닙니다. 원문에 따르면 추론을 완전히 끄는 선택지는 없습니다.

Willison은 실험에 앞서 자신이 사용하는 llm-anthropic 도구에서 추론 기록이 제대로 저장되지 않던 문제를 수정했다고 밝힙니다. 이후 각 수준에서 실행한 결과와 추론 기록을 공개합니다.

아래는 원문에 기재된 개별 실행 기록입니다. 비용은 저자가 당시 실행에 썼다고 보고한 미국 달러 또는 센트 단위의 금액이며, 평균값이나 일반적인 이용 요금으로 읽어서는 안 됩니다.

추론 수준	소요 시간	출력 토큰 수	보고된 실행 비용
low	23.8초	1,998	10.017센트
medium	23초	1,977	9.912센트
high	29.6초	2,612	13.087센트
xhigh	7분 51초	36,767	1.83달러
max	13분 54초	65,927	3.30달러

토큰은 모델이 글이나 코드를 처리할 때 사용하는 작은 단위입니다. 글자 수와 정확히 같지는 않습니다. 특히 Willison은 Claude의 출력 토큰 수에 추론 토큰도 포함된다고 설명합니다. 위 숫자가 모두 최종 그림 코드의 길이를 뜻하지는 않습니다.

표를 보면 설정 이름 사이의 간격과 실제 자원 사용량 사이의 간격이 같지 않습니다. low에서 high까지는 수십 초의 작업이지만, xhigh와 max에서는 여러 분을 기다리게 됩니다. 같은 모델에서 설정을 한 단계 올리는 일이 사용자에게는 전혀 다른 경험이 될 수 있습니다.

기록이 없다는 것과 생각하지 않았다는 것은 다릅니다

low와 medium 결과에는 작은 수수께끼가 있습니다. 두 실행 모두 요약된 추론 내용이 표시되지 않았습니다. medium의 출력 토큰은 오히려 low보다 21개 적었고, 소요 시간도 조금 짧았습니다.

Willison은 이 특정 요청에서는 두 설정 모두 추론을 건너뛴 것처럼 보였다고 적습니다. 여기서 ‘것처럼 보였다’는 표현이 중요합니다. 보이는 추론 기록이 없다는 관찰만으로 내부 과정 전체를 확정할 수는 없습니다. 이 글에서 확인되는 사실은 요약된 추론이 표시되지 않았고, 보고된 사용량과 시간이 그와 같았다는 데까지입니다.

high에서는 짧은 추론 요약이 나타납니다. 하늘과 지면을 배경으로 두고, 바퀴와 자전거 프레임, 안장, 손잡이를 배치하며, 흰 몸과 긴 목, 주황색 부리를 가진 펠리컨을 올리겠다는 구상입니다.

하지만 Willison은 그림이 low나 medium과 크게 다르지 않다고 봅니다. 추론 기록이 생겼다는 사실과 사람이 느끼는 결과의 개선은 별개의 문제인 셈입니다.

제품을 만드는 입장에서는 이 구분이 필요해 보입니다. 사용자는 모델이 내부에서 얼마나 많은 문장을 만들었는지보다 결과가 자신의 목적에 맞는지를 봅니다. 추론 사용량을 보여주는 수치만으로 고객이 체감할 가치를 설명하기는 어렵습니다.

더 오래 생각한 모델은 어디에 시간을 썼을까요

xhigh부터는 양상이 크게 달라집니다. 출력 토큰은 36,767개, 시간은 7분 51초, 비용은 1.83달러입니다. 추론 기록에는 눈과 날개, 손잡이, 페달에 닿는 다리, 꼬리 깃털을 배치하는 내용이 나옵니다. 자전거에 비해 펠리컨을 일부러 크게 그려 익살스러운 느낌을 주려는 의도도 드러납니다.

기록에는 끝없이 고치기만 하는 모습이 담겨 있지는 않습니다. 일부 두께는 지나치게 다듬기보다 그림의 매력으로 받아들이겠다는 판단도 등장합니다. 물론 이 문장이 실제 자원 사용을 얼마나 줄였는지는 알 수 없습니다. 다만 공개된 추론 요약에는 무엇을 개선할지뿐 아니라 무엇을 그대로 둘지도 담겨 있습니다.

max에서는 13분 54초 동안 65,927개의 출력 토큰을 사용했고, 비용은 3.30달러였습니다. Willison은 이를 자신이 본 Anthropic 모델의 펠리컨 가운데 가장 좋은 결과라고 표현합니다. 이는 저자의 주관적인 감상입니다.

그가 좋아한 부분은 구체적입니다. 배경이 보기 좋고, 두 다리가 자전거 프레임의 양쪽에 놓여 있으며, 발은 페달에, 날개는 손잡이에 닿아 있습니다. 파란 모자가 있고, 바구니에는 물고기도 있습니다.

저는 여기서 장식보다 사물 사이의 관계가 맞아가는 모습을 눈여겨봅니다. 자전거 타는 펠리컨은 펠리컨 그림과 자전거 그림을 나란히 놓는 것만으로 완성되지 않습니다. 발이 페달에 닿고, 몸이 안장 위에 놓이며, 날개가 손잡이로 이어져야 행동이 자연스럽게 읽힙니다.

추론 기록에도 이런 관계를 조정하는 내용이 보입니다. 반대쪽 발이 프레임 뒤로 일부 가려지도록 배치하고, 부리와 헬멧이 겹치지 않도록 헬멧의 크기를 줄입니다. 깃털의 가장자리를 더 자연스럽게 다듬고, 헬멧의 통풍구가 경계 밖으로 나가지 않는지도 살핍니다. 자전거 앞바퀴를 지탱하는 부분의 곡선이 잘못된 방향으로 기울어져 있다고 보고 수정하기도 합니다.

반면 손잡이의 벨이나 타이어의 반짝임은 불필요한 추가 요소로 판단해 생략합니다. 이 기록을 읽으면, 완성도를 높이는 일이 요소를 계속 더하는 것과 같지는 않다는 생각이 듭니다. 요소들이 서로 충돌하지 않도록 맞추고, 도움이 적은 장식은 덜어내는 작업도 포함됩니다.

다만 추론 요약이 모델 내부의 모든 과정을 그대로 보여준다고 볼 수는 없습니다. 이 기록만으로 각 수정이 실제로 얼마만큼 품질 향상에 기여했는지 분리해 설명하기도 어렵습니다. 확인되는 것은 저자가 소개한 결과의 특징과 공개된 작업 기록입니다.

가장 마음에 드는 그림과 요청에 맞는 그림

Willison은 max 결과를 높이 보면서도 Gemini 3.7 Flash만큼의 멋이나 개성이 느껴지는 것은 아니라고 덧붙입니다. 그러면서 자신이 요청한 것은 그런 멋이 아니라 SVG였고, 요청한 결과를 받았다고 정리합니다.

저는 이 대목을 읽으며 결과의 좋고 나쁨을 하나의 축으로만 볼 수 없다고 생각했습니다. 눈길을 끄는 표현, 세부 요소의 정합성, 요청한 형식을 지키는 능력은 서로 다른 항목입니다.

가령 사용자가 발표 자료의 작은 삽화를 원한다면 빠르게 얻는 결과로도 충분할 수 있습니다. 반대로 그림의 세부를 크게 확대해 쓰려 한다면 발과 페달의 위치가 더 중요해질 수 있습니다. 이는 원문에서 검증된 사용 사례가 아니라, 해당 실험을 제품 상황으로 옮겨 본 저의 해석입니다.

max가 가장 좋은 결과였다는 저자의 감상을 모든 사용자에게 max가 가장 적합하다는 결론으로 바꾸기는 어렵습니다. 어떤 차이를 사용자가 중요하게 여기는지, 그 차이에 얼마의 시간과 비용을 허용하는지까지 알아야 합니다.

애니메이션을 부탁하자 high도 가벼운 작업이 아니었습니다

글의 후반부에서는 Hacker News 이용자 swalsh가 그림을 움직이게 해보자는 제안을 합니다. Willison은 다시 3달러가량을 쓰고 싶지 않았다고 밝힙니다. 그래서 max로 만든 그림을 가져와 기본 추론 수준인 high에 넣고, 움직이게 해달라고 요청합니다.

여기서는 이미 만든 결과물을 다음 작업의 출발점으로 삼았습니다. 정적인 그림을 만드는 단계와 움직임을 추가하는 단계에 서로 다른 추론 설정을 적용했습니다.

움직임을 추가한 실행에는 입력 6,121토큰과 출력 26,201토큰이 사용됐고, 비용은 1.37달러였습니다. 원문에는 이 단계의 소요 시간이 적혀 있지 않습니다.

이 결과를 보면 ‘high는 저렴하다’고 단순하게 이해하기 어렵습니다. 앞서 high로 정적인 그림을 만들 때는 출력 2,612토큰과 13.087센트가 보고됐습니다. 같은 high라는 이름을 썼지만, 애니메이션 작업에서는 입력과 요청 내용이 달라졌고 사용량도 크게 달랐습니다.

추론 설정만으로 작업 비용을 예상하기는 어렵습니다. 무엇을 입력했고, 무엇을 만들어 달라고 했는지도 함께 봐야 합니다.

이 사례만으로 max 다음에 high를 쓰는 순서가 가장 경제적이라고 단정할 수는 없습니다. 처음부터 다른 설정으로 전체 작업을 했을 때의 결과나, 여러 번 반복했을 때의 비용 분포가 없기 때문입니다. 다만 작업을 나누고 각 단계에 다른 설정을 적용하는 구체적인 예는 보여줍니다.

바퀴가 거꾸로 돌 때, 어디를 살펴봐야 할까요

완성된 애니메이션에도 작은 문제가 있습니다. Willison은 일부 독자가 움직이는 SVG를 보기 어려워해 이를 MP4 동영상 형식으로 변환해 게시했다고 설명합니다. 그런데 영상에서는 바퀴가 반대 방향으로 도는 것처럼 보입니다.

그는 원래 SVG에서는 올바른 방향으로 도는 것 같으므로, MP4 변환 과정에서 생긴 현상이라고 추정합니다. 원문만으로 정확한 원인을 확정할 수는 없습니다.

이 짧은 대목은 실제 AI 제품의 품질을 생각할 때 유용합니다. 사용자가 보는 최종 결과에는 모델이 만든 내용뿐 아니라, 파일 변환과 표시 과정도 관여합니다. 화면에서 문제가 보인다고 해서 곧바로 모델이 잘못 만들었다고 판단하면 원인을 놓칠 수 있습니다.

반대로 원본이 괜찮다는 설명만으로 사용자의 경험이 해결되는 것도 아닙니다. 사용자는 자신이 열어본 영상에서 바퀴가 어떻게 도는지를 봅니다. 제품을 만드는 사람은 생성된 원본과 실제 전달된 결과를 함께 확인해야 한다고 생각합니다.

이 글이 변환 오류의 원인을 증명한 것은 아닙니다. 다만 결과물을 만드는 단계와 사용자가 보는 단계 사이에도 확인할 일이 남아 있음을 보여줍니다.

투자자로서 보고 싶은 것은 더 많은 생각의 쓰임입니다

이 실험을 기업의 사업성으로 곧장 연결할 수는 없습니다. 고객 수, 매출, 반복 사용, 지불 의사에 관한 자료가 없기 때문입니다. 펠리컨이 더 정교해졌다는 사실만으로 어떤 기업의 경쟁력이나 수익성을 말하기는 어렵습니다.

그럼에도 저는 창업자와 대화할 때 가져갈 질문을 얻었습니다.

우선, 고객이 실제로 알아보는 개선은 무엇일까요? 이 글에서는 다리와 프레임의 관계, 발과 페달의 접촉, 날개와 손잡이의 연결처럼 구체적인 차이가 제시됩니다. 제품에서도 ‘더 똑똑해졌다’는 설명을 넘어, 사용자가 중요하게 보는 결과가 어떻게 달라졌는지 짚을 수 있어야 한다고 생각합니다.

다음으로, 그 개선을 얻으려면 얼마나 기다려도 괜찮을까요? 23초와 13분 54초는 같은 화면에서 비슷하게 취급하기 어려운 시간입니다. 바로 답이 필요한 작업인지, 맡겨두고 나중에 받아도 되는 작업인지에 따라 적절한 선택이 달라질 가능성이 높습니다.

마지막으로, 어느 단계에 더 많은 추론을 써야 할까요? Willison은 가장 공들인 정적 그림을 다음 단계에 재사용했습니다. 이런 분리가 다른 업무에서도 도움이 될지는 확인이 필요하지만, 모든 단계에 동일한 설정을 적용해야 한다는 전제는 다시 생각해 볼 만합니다.

여기에는 강한 반론도 있습니다. 저자가 좋아한 세부 묘사를 고객은 중요하게 여기지 않을 수 있습니다. 특정 그림에서의 개선이 문서 작성이나 코딩으로 이어지지 않을 수도 있습니다. 더 오래 기다린 결과가 반복해서 좋아진다는 보장도 이 자료에는 없습니다.

이런 접근을 제품의 강점으로 설명하려면, 실제 고객 과제에서 설정별 결과와 재작업 필요성, 전체 비용을 함께 확인해야 할 것 같습니다. 추가 비용을 들여도 고객이 결과의 차이를 알아보지 못하거나 수정해야 할 일이 줄지 않는다면, 더 많은 추론을 기본값으로 삼을 이유는 약해집니다. 이는 원문이 입증한 결론이 아니라, 제가 이 실험에서 이어서 확인하고 싶은 조건입니다.

펠리컨 한 마리를 보고 남은 질문은 분명합니다. AI가 얼마나 오래 생각할 수 있는지와, 그 생각이 사용자에게 얼마나 필요한지는 함께 살펴봐야 합니다. 좋은 결과를 만드는 능력에 더해, 필요한 곳에 시간을 쓰고, 이미 만든 결과를 이어 활용하며, 마지막 표시 상태까지 확인하는 능력이 중요해 보입니다. 저는 그 구체적인 선택 속에서 AI 제품의 가치를 찾아보고 싶습니다.