LLM 리더보드, Anthropic의 선두와 새로 들어온 두 모델

선두는 바뀌었지만, 상위권의 중심은 같습니다

이번 LMArena(Chatbot Arena) 자료에서 제가 먼저 눈여겨본 것은 두 가지입니다. Anthropic 모델들이 상위권을 차지하고 있고, 그 안에서도 선두 자리가 바뀌었습니다.

2026년 9월 13일 기준 1위는 Anthropic의 claude-fable-5.1-max입니다. ELO 1508을 기록하며 직전 대비 한 계단 올라섰습니다. 기존 선두였던 claude-opus-5-max는 ELO 1505로 한 계단 내려와 2위가 됐습니다. 같은 제공사의 모델끼리 자리를 바꿨습니다.

그 아래도 Anthropic 모델들이 이어집니다. 3위 claude-opus-5-high는 ELO 1505, 4위 claude-opus-4-6-high는 1503, 5위 claude-opus-4-6은 1498입니다. 공개된 자료에서는 Anthropic이 선두뿐 아니라 그 바로 아래 여러 자리에서도 강한 모습을 보입니다.

다만 이 글에서 말하는 ‘이번 주’는 제공된 자료의 기준일인 9월 13일을 뜻합니다. ‘직전 대비’는 9월 2일과 비교한 변화입니다. 이후의 순위까지 설명하는 자료는 아닙니다.

ELO는 사람들이 고른 답변을 누적한 점수입니다

LLM(대규모 언어 모델, 많은 언어 자료를 학습해 질문에 답하고 글을 만드는 AI)의 능력을 하나의 숫자로 설명하기는 어렵습니다. LMArena의 ELO는 그중에서도 사람들이 어떤 답변을 더 선호하는지를 보여주는 점수입니다.

쉽게 말하면, 두 모델의 답변을 나란히 놓고 ‘어느 쪽이 더 마음에 드는가’를 고른 투표가 쌓여 점수가 만들어집니다. 같은 질문에 대한 두 설명을 읽고, 자신에게 더 도움이 되는 쪽을 선택하는 모습을 떠올리면 됩니다.

이 방식에는 답변을 받아보는 사람의 판단이 담깁니다. 다만 선호하는 이유는 사람마다 다를 수 있습니다. 설명이 이해하기 쉬워서일 수도 있고, 표현이나 답변의 구성이 마음에 들어서일 수도 있습니다. 이번 자료에는 투표의 선택 이유까지 제시돼 있지 않습니다. 높은 점수를 특정 능력 하나의 우위로 곧바로 해석하기는 어렵습니다.

ELO 1508은 정답률이나 매출을 뜻하지 않습니다. 인간 선호를 바탕으로 한 상대적 점수입니다. 투자자에게는 유용한 출발점이지만, 이 숫자만으로 사업의 성과까지 알 수는 없습니다.

현재 Top 20, 순서와 점수를 함께 봅니다

아래 표는 제공된 순위와 점수를 그대로 옮겼습니다. ‘변동 없음’은 순위가 같다는 뜻입니다. 이전 ELO가 제공되지 않았으므로 점수까지 그대로였다는 의미는 아닙니다.

순위	모델	제공사	ELO	9월 2일 대비 순위
1	claude-fable-5.1-max	anthropic	1508	▲1
2	claude-opus-5-max	anthropic	1505	▼1
3	claude-opus-5-high	anthropic	1505	변동 없음
4	claude-opus-4-6-high	anthropic	1503	변동 없음
5	claude-opus-4-6	anthropic	1498	변동 없음
6	gemini-3.8-flash-high	google	1495	변동 없음
7	claude-fable-5	anthropic	1493	변동 없음
8	gemini-3.7-flash-high	google	1490	변동 없음
9	claude-opus-4-7-high	anthropic	1490	변동 없음
10	muse-spark-1.3-max	meta	1490	신규 진입
11	muse-spark-1.2 (xHigh)	meta	1489	▼1
12	claude-opus-4-7	anthropic	1483	변동 없음
13	gemini-3.5-flash-high	google	1482	▼2
14	qwen3.8-max	alibaba	1481	변동 없음
15	muse-spark-1.1	meta	1480	▲1
16	gemini-3.1-pro-preview	google	1480	▼3
17	gemini-3-pro	google	1479	▼2
18	gemini-3.6-flash-high	google	1476	변동 없음
19	gemini-3.5-flash-medium	google	1476	▼2
20	glm-5.3-max	zai	1475	신규 진입

Anthropic 다음으로 높은 위치에 있는 모델은 Google의 gemini-3.8-flash-high입니다. 6위, ELO 1495이며 직전 순위를 유지했습니다. gemini-3.7-flash-high도 8위를 지켰습니다. Google 모델 일부가 아래로 이동했지만, 이를 두고 Google 전체가 일제히 밀렸다고 표현하면 상위 모델들의 움직임을 놓치게 됩니다.

같은 점수에 여러 모델이 모여 있는 모습도 눈에 들어옵니다. 8위 gemini-3.7-flash-high, 9위 claude-opus-4-7-high, 10위 muse-spark-1.3-max는 모두 표시된 ELO가 1490입니다. 2위와 3위도 각각 1505로 같습니다.

표에 나온 순서는 전달하되, 그 순서만으로 모델 간 차이가 뚜렷하다고 단정하지 않는 편이 좋겠습니다. 제공된 자료에는 투표 수나 점수의 불확실성 범위, 같은 표시 점수에서 순서를 정한 기준이 없습니다. 순위는 서로 달라도, 공개된 점수만으로 우열을 분명히 말하기 어려운 구간이 있습니다.

이번 변화의 중심은 선두 교체와 신규 진입입니다

claude-fable-5.1-max의 1위 등극은 이번 비교에서 가장 명확한 변화입니다. 다만 여기서 확인되는 사실은 해당 모델의 순위 상승입니다. Anthropic이라는 제공사의 선두 자리는 유지됐습니다.

투자 관점에서는 한 회사가 여러 모델로 상위권에 자리하고 있다는 데 관심이 갑니다. 특정 모델 하나의 성적뿐 아니라 여러 모델에서 인간 선호가 어떻게 나타나는지 살펴볼 이유가 있습니다. 그러나 이 자료만으로 모델들의 기술적 관계나 개발 방식, 성과의 지속성을 설명할 수는 없습니다.

Meta의 muse-spark-1.3-max는 10위, ELO 1490으로 Top 20에 새로 들어왔습니다. 기존 muse-spark-1.2 (xHigh)는 11위, ELO 1489로 한 계단 내려왔고, muse-spark-1.1은 15위, ELO 1480으로 한 계단 올랐습니다.

저는 이를 Meta 모델들이 모두 같은 방향으로 움직였다기보다, 새 모델의 진입과 기존 모델들의 서로 다른 순위 변화가 함께 나타난 것으로 봅니다. 특히 신규 진입 모델이 Google과 Anthropic 모델이 있는 ELO 1490 구간에 자리한 만큼 다음 자료에서도 살펴보려 합니다.

다만 Top 20 신규 진입은 모델의 신규 출시와 같은 뜻이 아닙니다. 자료에는 출시일이나 최초 등록일이 없습니다. 이번에 확인되는 것은 직전 Top 20과 비교해 새로 이름을 올렸다는 사실입니다.

zai의 glm-5.3-max도 20위, ELO 1475로 신규 진입했습니다. Meta는 표의 중간에, zai는 Top 20의 경계에 들어왔습니다. 두 모델 모두 새로운 관찰 대상이지만, 현재 자리와 점수는 구분해서 읽어야 합니다. 이번 자료에는 직전 Top 20 전체 명단이 없으므로 어떤 모델이 빠졌는지는 특정할 수 없습니다.

Google의 일부 하락을 어떻게 읽어야 할까요

제공된 순위 변동 가운데 Google의 gemini-3.1-pro-preview는 세 계단 하락해 16위가 됐습니다. gemini-3.5-flash-high는 두 계단 내려 13위, gemini-3-pro는 두 계단 내려 17위, gemini-3.5-flash-medium은 두 계단 내려 19위입니다.

반면 gemini-3.8-flash-high는 6위, gemini-3.7-flash-high는 8위, gemini-3.6-flash-high는 18위를 유지했습니다. Google 안에서도 순위를 지킨 모델과 내려간 모델이 함께 있습니다.

여기서는 순위 하락과 점수 하락을 구분해야 합니다. 달리기에서 자신의 기록이 같아도 다른 선수가 앞에 들어오면 등수는 내려갑니다. 리더보드 역시 자신의 점수 변화와 다른 모델의 이동, 신규 진입이 함께 순서에 영향을 줄 수 있습니다.

이번 자료에는 이전 ELO가 없으므로 각 모델의 점수가 올랐는지, 내려갔는지, 그대로였는지 알 수 없습니다. 신규 진입이 있었다는 사실만으로 특정 모델의 순위 하락 원인을 모두 설명할 수도 없습니다. 확인되는 것은 상대적 자리의 변화이며, 답변 품질이 나빠졌다는 결론은 아닙니다.

같은 이유로 순위를 유지한 Alibaba의 qwen3.8-max를 두고 개선이 없었다고 말할 수도 없습니다. 확인되는 것은 14위, ELO 1481, 직전 대비 순위 유지까지입니다.

투자자는 선호의 우위와 사업의 우위를 연결할 근거를 찾습니다

제가 투자자로서 이 표를 보는 이유는 사람들이 더 선호하는 답변을 만드는 능력이 제품 경쟁력과 연결될 수 있기 때문입니다. 다만 그 연결은 가설입니다. 리더보드에서 높은 자리를 차지했다는 사실만으로 고객이 더 많이 지불하거나, 더 오래 사용하거나, 제공사가 더 많은 이익을 남긴다고 결론 내릴 수는 없습니다.

Anthropic의 상위권 분포는 답변 선호 측면에서 눈여겨볼 신호입니다. 가장 강한 반론은 이 선호가 실제 고객의 구매 기준과 얼마나 겹치는지 아직 모른다는 점입니다. 고객이 중요하게 여기는 업무에서 같은 장점이 나타나는지, 그 장점을 얻기 위해 부담하는 비용은 어느 정도인지 더 확인해야 합니다.

Meta와 zai의 신규 진입을 보면 비교할 후보도 고정돼 있지 않습니다. AI를 활용하는 기업이라면 특정 시점의 순위를 영구적인 선택 기준으로 삼기보다, 새 후보가 자신의 업무에서도 도움이 되는지 다시 살펴볼 이유가 생깁니다. 그러나 이번 진입만으로 고객 이동이나 시장점유율 변화를 추정할 근거는 없습니다.

모델 이름도 주의해서 읽어야 합니다. 이번 표에는 max, high, medium, Flash, Pro 등 여러 표기가 등장합니다. 하지만 자료에는 이 표기별 가격이나 응답 시간, 연산 자원 사용량이 없습니다. 이름만 보고 ‘이 모델은 더 저렴하다’거나 ‘이 모델은 비용이 더 많이 든다’고 판단할 수 없습니다.

실제 투자 검토에서는 질문을 한 단계 더 구체화하고 싶습니다. 높은 선호 점수가 고객의 반복 사용으로 이어지는지, 고객이 그 차이에 비용을 지불하는지, 제공사가 서비스를 운영하고도 이익을 남길 수 있는지를 확인하려 합니다. 이 질문들의 답은 이번 순위표 밖에서 찾아야 합니다.

저는 특히 상위권 모델을 보유했다는 사실과 지속적인 사업 우위를 확보했다는 판단 사이의 거리를 의식하려고 합니다. 이번 표는 전자를 관찰하는 데 도움이 됩니다. 후자를 판단하려면 다른 시점의 반복 관찰과 고객·비용 자료가 필요합니다.

이번 표에서 가져갈 것은 결론보다 다음 관찰 기준입니다

9월 13일 자료에서는 Anthropic이 상위권의 중심을 유지했고, claude-fable-5.1-max가 선두로 올라섰습니다. Meta의 muse-spark-1.3-max와 zai의 glm-5.3-max는 Top 20에 새로 들어왔습니다. Google은 상위 모델들이 자리를 지킨 가운데 일부 모델의 순위가 하락했습니다.

다음 자료를 볼 때 저는 새 선두가 자리를 유지하는지, 신규 진입 모델들이 어떤 위치에 남는지, 같은 ELO에 모인 모델들의 순서가 어떻게 달라지는지 살펴보려 합니다. 가능하다면 이전 점수와 투표 수까지 함께 확인하고 싶습니다. 그래야 순서의 이동과 선호 점수 자체의 변화를 구분할 수 있습니다.

이번 자료가 보여주는 것은 인간 선호 경쟁의 한 장면입니다. 그 장면을 충실하게 읽되, 아직 보이지 않는 사업 성과까지 채워 넣지는 않으려 합니다. 투자자로서 제가 더 궁금한 것은 ‘누가 이번에 앞섰는가’에 이어, 그 선호가 고객이 계속 선택할 이유로 남는가입니다.

출처: 제공된 LMArena(Chatbot Arena) 인간 선호 투표 기반 ELO Top 20 자료. 기준일 2026년 9월 13일, 비교 기준일 2026년 9월 2일. 제공 자료에 리더보드 URL이 없어 링크는 기재하지 않았습니다.