ForecastBench가 보여준 AI 예측력: 상위권 성적과 투자 가치는 다릅니다
2026년 9월 18일 ForecastBench 공식 자료에서 Google DeepMind의 fire hedgehog는 69.1점, 인간 전문 예측가들의 중앙값은 68.8점입니다. AI가 숫자로는 앞섰습니다. 그러나 두 점수의 95% 신뢰구간은 상당히 겹칩니다. 이 결과를 곧바로 “AI가 인간보다 미래를 잘 맞힌다”로 읽으면 한 걸음 더 나간 주장입니다.1
더 흥미로운 점은 상위권의 이름입니다. 소비자가 익숙하게 쓰는 대화형 모델명보다 DeepMind의 코드명, Cassi AI, Torchcast 같은 예측 시스템이 눈에 띕니다. 여기서 경쟁하는 것은 기본 언어모델만이 아닙니다. 자료 수집, 수치 분석, 여러 판단의 결합, 확률 보정까지 포함한 전체 시스템입니다.15
ForecastBench는 AI 예측력을 검증하는 중요한 시험대입니다. 다만 높은 순위만으로 새로운 모델 구조, 범용 지능, 투자 수익, 사업 경쟁력이 입증되지는 않습니다. VC가 볼 것은 순위를 만들어낸 요소와, 그 요소가 고객의 실제 손익으로 이어지는 경로입니다.
자료 확인일: 2026년 9월 19일. 순위는 공식 데이터 저장소의 2026년 9월 18일 06:53:31 UTC 갱신본, 커밋 da48cfb37db3e674fd57030266c92009873be4b6에 고정했습니다. 이하 점수는 별도 표시가 없으면 Brier Index입니다. 기사나 회사 홈페이지의 과거 순위와 섞지 않았습니다. 벤치마크를 직접 실행한 결과는 아닙니다.123
이미 아는 답이 아니라 아직 정해지지 않은 결과를 묻습니다
ForecastBench는 최근 처음 생긴 벤치마크가 아닙니다. 원 논문은 2024년 9월 공개됐고, 비영리 연구기관 Forecasting Research Institute가 운영합니다. 최근의 변화는 벤치마크의 탄생보다 전문 예측 시스템들의 성과입니다. 운영진은 2026년 7월 일부 AI가 인간 전문가 기준에 근접했다고 평가했습니다.469
일반적인 지식 시험에서는 정답이 이미 존재합니다. 좋은 답변이 추론의 결과인지, 학습 중 보았던 답을 기억한 것인지 구분하기 어려울 때가 있습니다. ForecastBench는 예측을 제출할 때 아직 결과가 나오지 않은 질문을 사용합니다. 나중에 현실에서 확인된 결과가 채점 기준이 됩니다.4
예를 들어 “이 경제지표가 다음 달에 현재 수준을 넘을까?”, “연말까지 특정 법안이 통과될까?”처럼 묻고, 예·아니오 대신 발생 확률을 제출합니다. 앞의 예시는 형식을 설명하기 위한 가상 질문입니다. 실제 질문은 아래 두 갈래로 들어옵니다.6
| 질문 종류 | 실제 자료원 | 주로 시험하는 능력 |
|---|---|---|
| 데이터형 | FRED, DBnomics, Yahoo Finance, ACLED, Wikipedia의 시계열을 정해진 양식에 적용 | 과거 추세·계절성·기초 발생률을 파악하고 미래 수치의 범위를 추정하는 능력 |
| 시장·사건형 | Kalshi, Manifold, Metaculus, Polymarket의 예측 질문 | 공개 정보와 상황 변화를 읽고 특정 사건의 발생 가능성을 판단하는 능력 |
현재는 2주마다 500개 질문을 만들며 두 종류를 절반씩 구성합니다. 데이터형 질문에는 7일 뒤부터 10년 뒤까지 8개 결과 확인 시점이 붙습니다. 새로운 결과가 확인되면 순위를 매일 갱신합니다.6
여기서 ‘시장형’은 주식 투자 문제라는 뜻이 아닙니다. 예측 플랫폼에서 가져왔다는 출처 구분입니다. 정치·경제·과학·스포츠 등 서로 다른 사건이 포함될 수 있습니다. 반대로 주가에 관한 질문도 데이터형에 들어갈 수 있습니다.
이 설계가 강한 이유는 평가자의 취향보다 현실의 결과를 앞세우기 때문입니다. 유창한 설명이나 설득력 있는 문장만으로는 높은 점수를 받기 어렵습니다. 동시에 결과를 기다려야 한다는 비용이 생깁니다. 오늘 출시한 모델의 1년 예측력을 내일 검증할 방법은 없습니다. 가장 최신 모델과 가장 충분히 검증된 모델이 같지 않을 수밖에 없습니다.
69점은 정답률 69%가 아닙니다
기초 채점은 브라이어 점수(Brier score)입니다. 예측 확률을 p, 실제 결과를 y라고 할 때 개별 점수는 (p − y)²입니다. 사건이 일어나면 y는 1, 일어나지 않으면 0입니다. 이 값을 여러 예측에 걸쳐 평균하며 낮을수록 좋습니다.7
아래는 실제 벤치마크 결과가 아닌 계산 예시입니다.
| 제출한 발생 확률 | 실제로 발생했을 때 | 발생하지 않았을 때 |
|---|---|---|
| 50% | (0.5 − 1)² = 0.25 | (0.5 − 0)² = 0.25 |
| 60% | (0.6 − 1)² = 0.16 | (0.6 − 0)² = 0.36 |
| 80% | (0.8 − 1)² = 0.04 | (0.8 − 0)² = 0.64 |
확신을 갖고 맞히면 보상을 받지만, 확신을 갖고 틀리면 더 큰 벌점을 받습니다. 사건이 발생했는지뿐 아니라 얼마나 자신 있게 예측했는지도 평가합니다.
그렇다고 항상 50%로 답하는 것이 좋은 전략은 아닙니다. 반복적으로 80%쯤 발생하는 사건을 잘 식별했다면 80%를 제출하는 편이 유리합니다. 가상 사례 100개 중 실제로 80개가 발생했고 모두 80%라고 예측했다면 평균 점수는 (80 × 0.04 + 20 × 0.64) ÷ 100 = 0.16입니다. 모두 50%라고 답했을 때의 0.25보다 좋습니다.
이는 확률 보정의 의미와도 연결됩니다. 80%라고 판단한 사례를 충분히 모았을 때 실제 발생 비율도 80% 안팎이어야 그 숫자를 믿을 수 있습니다. 다만 점수 하나가 확률 보정만을 측정하는 것은 아닙니다. 발생 가능성이 높은 사건과 낮은 사건을 구별하는 능력도 함께 반영됩니다.
공식 순위는 질문 난이도를 보정한 브라이어 점수를 계산한 뒤 다음과 같이 변환합니다.57
Brier Index = 100 × (1 − √Brier score)
그래서 높은 지수가 좋은 성적입니다. 항상 50%를 내면 50점이고, 완벽한 예측은 100점에 해당합니다. 앞의 가상 사례는 브라이어 점수 0.16이므로 지수는 60점입니다. 이때 발생 여부를 50% 기준으로 나눠 세면 정답률은 80%지만, 지수는 60점입니다. 두 숫자는 다른 것을 뜻합니다.
두 가지 계산상 주의점도 있습니다. 종합 지수는 데이터형과 시장형의 보정 브라이어 점수를 같은 비중으로 평균한 다음 변환합니다. 두 지수의 단순 평균이 아닙니다. 또한 원래 브라이어 점수는 자신의 확률 판단을 솔직하게 제출하도록 유도하는 성질이 있지만, 비선형 변환된 지수까지 일반적으로 같은 성질을 갖는 것은 아닙니다. 운영진도 2026년 3월 이 부분을 정정했습니다. 이미 계산된 평균 점수를 변환하는 현재 순위의 순서는 바뀌지 않습니다.57
현재 상위권은 어느 표를 보느냐에 따라 달라집니다
ForecastBench에는 목적이 다른 세 순위표가 있습니다.5
| 순위표 | 평가 대상 | 해석할 수 있는 것 |
|---|---|---|
| 기본 모델: Baseline | 추가 검색·도구·외부 맥락 없이 운영진이 실행한 모델 | 정해진 무도구 조건에서의 예측력 |
| 종합 시스템: Tournament | 검색, 추가 정보, 별도 학습, 여러 모델 결합 등을 허용한 제출물 | 허용된 자원을 활용한 전체 예측 시스템의 성과 |
| 예비: Preliminary | 결과가 확인된 데이터형 질문만 먼저 평가 | 새 제출물의 초기 데이터형 성과. 종합 예측력은 아님 |
예비 결과는 보통 제출 약 10일 뒤부터 나타나고, 공식 종합 순위에는 제출 후 50일을 기다린 뒤 포함됩니다. 초기 순위를 빠르게 공개하는 것과 충분히 기다려 비교하는 것 사이의 절충입니다.5
종합 시스템에서는 DeepMind가 앞서고 전문 업체가 뒤따릅니다
아래는 9월 18일 공식 CSV에서 읽은 상위권과 주요 참가자입니다. 순위에 인간 비교군도 포함돼 있습니다. 점수는 공식 표시값 그대로 소수 첫째 자리까지 제시했습니다.1
| 공식 순위 | 제출 팀·시스템 | 데이터형 | 시장형 | 종합 | 종합 95% 신뢰구간 |
|---|---|---|---|---|---|
| 1 | Google DeepMind · fire hedgehog | 64.9 | 74.0 | 69.1 | 67.9–70.4 |
| 2 | Google DeepMind · ceramic-kettle | 63.5 | 75.5 | 68.9 | 67.1–70.9 |
| 3 | 인간 전문 예측가 중앙값 | 63.7 | 75.0 | 68.8 | 67.3–70.5 |
| 4 | Google DeepMind · blue croc | 65.0 | 73.0 | 68.7 | 67.4–70.1 |
| 공동 5 | Cassi-AI · Cassi-2026-05-10 | 62.3 | 76.4 | 68.5 | 67.2–70.1 |
| 공동 5 | Torchcast AI · captain-jack | 64.4 | 73.2 | 68.5 | 66.9–70.1 |
| 공동 7 | Google DeepMind · big green leaf | 65.0 | 72.3 | 68.4 | 67.0–69.8 |
| 공동 7 | Torchcast AI · rice-demon | 64.7 | 72.7 | 68.4 | 66.8–70.1 |
| 공동 12 | Voicetree · voicetree-axiom-0 | 64.8 | 71.5 | 68.0 | 66.7–69.1 |
| 15 | xAI · Grok 4.20 (Beta, C) | 63.2 | 73.0 | 67.7 | 66.5–68.9 |
표가 말해주는 것은 서로 다른 강점입니다. fire hedgehog는 이 기준일의 종합 1위이고, Cassi는 표에 제시한 시스템들 가운데 시장형 점수가 가장 높습니다. “어떤 AI가 제일 똑똑한가”보다 “어떤 정보와 유형에서 강한가”를 묻는 편이 유용합니다.
DeepMind의 코드명을 곧바로 일반 Gemini 제품의 성능으로 바꾸어 읽어서는 안 됩니다. 공개 순위에서 확인되는 것은 해당 이름으로 제출된 시스템의 결과입니다. 내부 기반 모델, 검색 예산, 반복 실행 횟수, 사용자에게 제공되는 제품과의 동일성은 별도로 확인해야 합니다.
기본 모델 표에서는 인간 일반 참여자의 중앙값도 강합니다
추가 도구가 없는 별도 조건에서는 결과가 다릅니다. 모델명은 공식 제출명을 유지했습니다.2
| 공식 순위 | 기본 모델 또는 비교군 | 종합 지수 |
|---|---|---|
| 1 | 인간 전문 예측가 중앙값 | 67.8 |
| 2 | 일반 참여자 중앙값 | 62.7 |
| 3 | claude-sonnet-4-6-adaptive-thinking-16000 | 62.4 |
| 4 | o3-2025-04-16-scratchpad | 61.7 |
| 5 | claude-sonnet-5-adaptive-thinking-16000 | 61.4 |
| 공동 6 | minimax-m3-adaptive-thinking-12000 | 61.1 |
| 공동 6 | grok-4.20-0309-reasoning | 61.1 |
| 공동 9 | gpt-5.5-2026-04-23 | 60.9 |
이 표에서 상위 기본 모델은 일반 참여자의 중앙값보다도 점 추정치가 낮습니다. 이것이 모든 상황에서 인간이 AI보다 낫다는 뜻은 아닙니다. 최신 자료를 찾을 수 없는 조건의 성과를, 검색 가능한 일반 서비스 전체로 확대할 수 없기 때문입니다.
역으로 종합 시스템 69.1점에서 기본 모델 62.4점을 빼고 “도구가 6.7점을 더했다”고 주장해서도 안 됩니다. 같은 모델을 같은 질문·정보·비용으로 비교한 통제 실험이 아닙니다. 인간 기준점부터 두 표에서 다르고, 비교 구성과 보정도 다릅니다. 도구의 기여분은 한 시스템에서 도구만 빼는 실험으로 측정해야 합니다.28
예비 순위의 새 이름은 관찰 대상이지 확정된 승자가 아닙니다
공식 원자료에서 익명 제출물까지 포함하면 예비 상위권은 다음과 같습니다.3
| 예비 순위 | 제출물 | 데이터형 지수 | 평가된 데이터형 예측 수 |
|---|---|---|---|
| 1 | Anonymous 24 · model-6 | 67.5 | 241 |
| 2 | Anonymous 22 · ant-batch | 67.3 | 241 |
| 3 | NeuroFusion · ensemble 1 | 67.1 | 241 |
| 5 | haoxin1998 · CloudForecasting-0830-3 | 65.9 | 241 |
| 공동 6 | Torchcast AI · labubu-nano | 65.8 | 241 |
여기에는 시장형 성적이 없습니다. 익명 제출물을 숨기는 화면 설정에 따라 눈에 보이는 순위도 달라질 수 있습니다. “세계 1위”라는 소개를 받으면 표 이름, 기준일, 익명 참가자 포함 여부부터 물어봐야 합니다.
인간 수준에 접근했다는 평가는 의미 있지만, 인간을 넘어섰다는 증명은 아닙니다
전문 예측가를 뜻하는 슈퍼포캐스터는 기존 예측 대회에서 높은 성과를 보인 사람들입니다. 현재 비교 기준은 각 질문에 대한 전문가들의 예측 확률 중앙값을 모아 만든 것입니다. 성적이 중간인 전문가 한 명의 점수가 아닙니다. 가장 뛰어난 개인, 협업하는 전문팀, AI 도구를 사용하는 인간팀의 가능한 최고 성과를 모두 대표하는 것은 아닙니다.712
운영진은 7월 발표에서 몇몇 시스템이 인간 전문가와 통계적으로 구분되지 않는 수준에 이르렀다고 평가했습니다. 9월 자료에서 숫자로 앞서는 시스템이 나타난 것은 긍정적인 후속 신호입니다. 그러나 “차이가 있음을 입증하지 못했다”와 “동일한 능력이 입증됐다”는 다른 명제입니다.19
현재 1위와 인간 기준의 차이는 0.3점입니다. 단순한 신뢰구간 겹침만으로 유의성을 판정할 수는 없지만, 공식 비교와 재표본 결과까지 함께 보면 확실한 우위를 선언할 근거는 부족합니다. 같은 자료를 다시 뽑아 순위를 계산하는 공식 재표본 절차에서 fire hedgehog가 1위였던 비율도 약 21.3%였습니다. 이것은 ‘진짜 세계 1위일 확률’이 아니라 해당 재표본 절차에서의 순위 변동성입니다.1
더 중요한 한계는 인간 비교 자료가 마지막으로 수집된 시점이 2024년 7월이라는 점입니다. 지금의 AI와 지금의 인간이 같은 날 같은 질문으로 겨룬 결과가 아닙니다.5
운영진은 서로 다른 질문의 난이도를 보정해 비교합니다. 데이터형은 예측가와 질문의 효과를 나누는 통계모형을 사용하고, 기술보고서상 시장형 난이도 보정은 시장 예측의 오차를 기준으로 합니다. 서로 다른 시험지를 받은 응시자를 비교하기 위한 합리적인 장치입니다. 다만 특정 모형과 연결 자료에 의존하는 비교라는 한계까지 사라지지는 않습니다.8
따라서 현재 가장 보수적이면서도 유의미한 해석은 이렇습니다. 일부 AI 시스템은 이 벤치마크의 인간 전문가 참고 기준에 근접했고, 점 추정치에서는 앞서기도 합니다. 새로운 동시 비교와 더 많은 사건의 결과가 누적돼야 우위의 크기와 지속성을 판단할 수 있습니다.
상위권이 보여주는 변화는 모델의 크기보다 예측 과정의 설계입니다
검색 결과를 많이 읽는다고 예측이 자동으로 좋아지는 것은 아닙니다. 같은 기사를 재인용한 문서 열 개를 독립적인 근거 열 개로 세면 과신하게 됩니다. 오래된 정보를 새 정보와 같은 비중으로 다루거나, 반대 근거를 놓쳐도 문제가 생깁니다.
좋은 예측 시스템은 질문을 분해하고, 필요한 정보를 찾고, 서로 관련된 근거를 정리하고, 새 증거가 기존 판단을 얼마나 바꿔야 하는지 결정해야 합니다. 마지막에 내놓는 확률은 그 전체 과정의 결과입니다.
Cassi의 공개 설명이 한 예입니다. 운영진에 따르면 Cassi는 하위 질문과 검색어를 만들고, 최신 자료를 수집한 뒤 관련성과 시점을 기준으로 걸러냅니다. 여러 모델이 예측을 만들고, 다른 언어모델이 판단 근거를 종합해 최종 예측을 만듭니다. 단일 모델의 한 번짜리 답변과는 다릅니다.9
연구에서도 비슷한 방향이 나옵니다. BLF라는 예측 에이전트는 확률과 찬반 근거, 아직 모르는 점을 구조화해 유지하고 새 자료가 들어올 때마다 갱신합니다. 여러 실행 결과를 결합하고 확률을 다시 보정합니다. 논문은 ForecastBench에서 가져온 400개 과거 질문의 재검증 실험에서 구조화된 판단 상태의 기여를 보고했습니다.11
다만 BLF 논문의 결과를 현재 공식 종합 순위에 그대로 끼워 넣으면 안 됩니다. 이는 과거 시점으로 돌아가 예측하는 재검증 실험이며, 아직 결과가 나오지 않았을 때 제출한 공식 예측과 조건이 다릅니다. 논문도 검색을 통한 미래 정보 유입을 막기 위한 별도 장치와 잔여 위험을 다룹니다.11
투자 관점에서 읽을 변화는 분명합니다. 기반 모델의 능력이 같아도 어떤 자료를 가져오고, 중복을 제거하고, 판단 상태를 유지하고, 과신을 줄이는지에 따라 제품 성능이 달라질 수 있습니다. 그러나 이것이 영구적인 진입장벽이라는 뜻은 아닙니다. 공개된 기법을 경쟁사나 기반 모델 사업자가 흡수하면 차이가 줄어들 수 있습니다.
‘LLM을 넘어선 모델’의 성과인지 별도로 확인해야 합니다
ForecastBench는 확률이라는 공통 출력으로 서로 다른 예측 시스템을 비교할 수 있는 틀입니다. 개념적으로는 언어모델, 시계열 모델, 통계모형, 이들을 결합한 시스템 모두 같은 질문의 발생 확률을 낼 수 있습니다. 그러나 출력 형식이 같다는 사실은 내부 구조가 같거나 새롭다는 증거가 아닙니다.
Torchcast의 발표는 이 구분을 잘 보여줍니다. 회사는 예측용으로 학습한 언어모델에 검색, 수치모형, 결합·보정 기법을 붙이는 방식으로 출발했다고 설명합니다. 이후 서로 다른 종류의 증거를 고유한 형태로 유지하며 함께 학습하는 FFM, 즉 예측용 기반 모델 연구를 발표했습니다.10
여기에는 타당한 문제의식이 있습니다. 가격 시계열, 공급망 관계, 정책 문서, 시장 확률을 모두 문장으로 바꿔 넣는 것이 항상 최선일 이유는 없습니다. 수치의 시간 구조와 사건 간 관계를 유지한 채 미래 결과를 학습하는 모델이 유리할 수 있습니다. 이는 연구 가설이지 현재 순위만으로 확정되는 결론은 아닙니다.
실제로 Torchcast는 FFM을 초기 연구라고 명시합니다. 회사가 언급한 7월 16일 1·2·3위도 데이터형 순위였습니다. 기존 예측 시스템의 벤치마크 성과를 아직 연구 중인 새 기반 모델의 검증 결과로 바꾸어서는 안 됩니다.10
최근 등장한 판단 전용 모델에도 같은 기준을 적용해야 합니다. 허용된 선택지에서 확률을 반환한다는 것과 미래 사건의 확률을 잘 맞힌다는 것은 다릅니다. 제품이 “새로운 AI 구조”라고 주장하면 구조의 공개 근거, 실제 결과로 채점한 성과, 기존 방식 대비 비용을 각각 확인해야 합니다.
또한 현실의 다음 결과를 잘 예측하는 능력과 “내가 어떤 행동을 하면 결과가 어떻게 달라지는가”를 이해하는 능력도 다릅니다. 할인 없이 구매할 가능성과 할인을 제공했을 때 추가로 구매할 가능성은 다릅니다. 전자를 잘 맞히는 모델에 후자의 의사결정을 바로 맡길 수는 없습니다. 예측 벤치마크 상위권을 인과 추론이나 자율 에이전트 전반의 성능 인증으로 읽지 않는 이유입니다.
예측시장과 잘 맞는 것만으로 독자적인 판단력이 입증되지는 않습니다
종합 순위는 외부 정보를 허용합니다. 운영진이 실행하는 해당 모델에는 시장형 질문에 대해 제출 마감 10일 전의 집단 예측값이 제공됩니다. 외부 제출 시스템의 정보 획득 방식은 별도로 확인해야 합니다.5
이런 정보 이용 자체를 부정행위라고 볼 수는 없습니다. 실제로 좋은 예측을 만드는 것이 목적이라면 시장의 정보를 쓰는 것은 합리적입니다. 다만 “시스템이 좋은 확률을 냈다”와 “모델이 시장에 없는 정보를 추가했다”는 구분해야 합니다.
이미 시장이 72%로 평가하는 사건에 모델이 73%를 내고 좋은 점수를 받았다면, 모델이 만든 추가 가치는 작을 수 있습니다. 반대로 사람이 흩어진 여러 시장과 문서를 확인하는 비용을 크게 줄였다면 예측 오차를 줄이지 않고도 유용한 제품이 될 수 있습니다. 정보 우위와 업무 효율은 다른 가치입니다.
이를 검증하려면 동일한 시점의 시장 확률만 사용한 기준선, 시장 확률 없이 실행한 모델, 시장 확률과 모델을 결합한 결과를 나란히 비교해야 합니다. 뒤늦은 시장 정보가 반영된 시스템을 더 오래된 정보만 가진 상대와 비교하면 정보의 신선도를 모델의 지능으로 오인할 수 있습니다.
AIA Forecaster의 기술보고서는 중요한 사례를 제공합니다. 연구진은 ForecastBench에서 인간 전문가 수준의 결과를 보고했지만, 별도로 만든 유동성 높은 예측시장 평가에서는 시스템 단독 성과가 시장 합의에 못 미쳤습니다. 대신 시장 합의와 시스템을 결합하면 시장 합의만 쓸 때보다 나아졌다고 보고했습니다.13
이 결과의 투자상 의미는 ‘AI가 시장을 대체한다’보다 ‘AI가 시장에 없는 일부 정보를 더할 수 있다’에 가깝습니다. 단독 1위보다 기존 업무·시장 판단과 결합했을 때의 개선 폭이 중요한 사업도 많습니다.
높은 예측 점수와 높은 투자 수익 사이에는 빠진 단계가 있습니다
사건 발생 확률이 맞아도 가격이 이미 그것을 반영했다면 돈을 벌지 못합니다. 거래 비용, 실행 시점, 유동성, 손실이 몰리는 상황, 투자 규모도 별도 문제입니다. 벤치마크의 평균 예측 오차는 이런 요소를 대신 측정하지 않습니다.
이를 분리한 가상의 계산을 보겠습니다. 어떤 사건이 발생하면 1, 발생하지 않으면 0을 지급하는 계약이 0.60에 거래된다고 가정합니다. 실제 발생 확률을 정확히 0.70으로 알고 있다면 비용 전 기대이익은 계약당 0.70 − 0.60 = 0.10입니다. 같은 확률을 예측해도 가격이 0.72라면 0.70 − 0.72 = −0.02입니다. 이는 거래 가능성이나 실제 상품 조건을 반영하지 않은 설명용 모형입니다.
기업 의사결정에도 같은 문제가 있습니다. 재고 부족 가능성을 잘 예측해도 재고 확보 비용이 너무 크면 행동하지 않는 편이 낫습니다. 고객 이탈 가능성을 잘 맞혀도 그 고객에게 제공한 할인 비용이 회수되지 않으면 이익이 늘지 않습니다.
따라서 사업 가치는 다음 순서로 확인해야 합니다.
예측 오차 감소 → 더 나은 행동 선택 → 비용·손실을 반영한 성과 개선 → 고객의 지불 의사 → 공급자의 이익
각 화살표는 검증이 필요한 단계입니다. ForecastBench가 주로 검증하는 것은 첫 단계입니다. 나머지 단계를 통과하지 않은 채 시장 규모나 기업가치를 계산하면 기술 성과를 매출로 과도하게 번역하게 됩니다.
아직 남은 한계는 벤치마크를 버릴 이유가 아니라 적용 범위를 정할 이유입니다
인간 전문 예측 서비스를 제공하는 Good Judgment는 인간 비교의 시차, 공개된 문제 양식에 대한 최적화, 인간팀 협업의 부재, 실제 고객이 필요로 하는 질문 설계가 평가되지 않는다는 점을 지적합니다. 상업적 이해관계가 있는 평가라는 점도 고려해야 하지만, 질문의 유용성과 비교 조건에 대한 비판은 중요합니다.12
다만 이 글의 4월 순위를 9월에도 적용해서 “인간이 여전히 크게 앞선다”고 주장하면 또 다른 오류입니다. 자료의 한계를 지적하는 것과 이후에 나온 성과를 인정하지 않는 것은 다릅니다.112
실무에서는 특히 다음을 경계합니다.
아직 확인되지 않은 장기 결과. 문제에 10년 뒤가 포함된다고 해서 현재 상위권이 10년 예측력을 증명한 것은 아닙니다. 먼저 확인되는 단기 결과가 초기 평가를 구성합니다. 새 참가자의 성적을 장기 전략 판단에 바로 일반화해서는 안 됩니다.6
독립적인 사건보다 커 보이는 표본 수. 동일한 시계열에 여러 확인 시점이 붙습니다. 같은 경제 충격이 여러 질문에 영향을 줄 수도 있습니다. 현재 종합 1위의 평가 내역은 데이터형 720건과 시장형 123건이며, 인간 비교군은 각각 521건과 57건입니다. 표에 예측이 수백 개 있다고 해도 독립적인 현실 상황 수백 개를 검증한 것과 같지 않을 수 있습니다.1 실사에서는 사건·시계열·시기별 묶음을 고려한 불확실성 분석을 요구해야 합니다.
평균에 가려지는 손실. 전체 점수가 좋아도 사업에 중요한 희귀 사고나 특정 국가, 장기 예측에서 크게 틀릴 수 있습니다. 점수 개선이 고객의 손실이 큰 구간에서도 나타나는지 분리해야 합니다. 낮은 발생 확률을 잘 맞히는 일과 발생했을 때의 피해 규모를 추정하는 일도 다릅니다.
문제 선택과 결과 판정. 정해진 질문에 답하는 능력만큼 어떤 질문이 의사결정에 유용한지 정하는 능력이 중요합니다. 고객에게 의미 없는 질문을 정확하게 예측하는 제품은 좋은 점수를 받아도 팔리지 않을 수 있습니다. 실제 업무에서는 결과가 모호하거나 뒤늦게 정정되는 경우의 처리 규칙도 필요합니다.
비용과 재현성. 이번 순위표만으로는 상위 시스템들의 검색·모델·데이터·사람 검토를 포함한 총비용을 동일 조건으로 비교할 수 없습니다. 여러 에이전트가 여러 번 추론해 만든 고득점이 고객이 감당할 가격에서도 유지되는지 확인해야 합니다. 비공개 코드명의 결과는 성적표이지 재현 가능한 설계도는 아닙니다.
VC는 범용 예언 서비스보다 반복 의사결정의 개선을 먼저 봐야 합니다
제 투자 판단은 예측 AI라는 이름 자체보다 고객의 반복 업무에 주목하는 쪽입니다. 일회성 장기 전망은 결과 확인이 느리고 책임 소재가 모호합니다. 반면 반복되는 짧은 의사결정은 결과를 축적하고 제품의 효과를 검증하기 상대적으로 쉽습니다. 아래는 시장 규모 추정이 아니라 사업 검토를 위한 가설입니다.
| 사업 형태 | 고객에게 팔 수 있는 가치 | 반드시 검증할 것 |
|---|---|---|
| 공급망·조달 의사결정 | 납기 지연과 품절 위험을 반영한 발주 개선 | 기존 방식 대비 재고·긴급조달·품절 손실의 순감소 |
| 기업 영업·고객 유지 | 성사·이탈 가능성에 따른 담당자 시간 배분 | 예측 정확도보다 개입 후 추가 이익과 고객 경험 |
| 위험 감시·보험 보조 | 많은 사건을 상시 관찰하고 중요한 변화만 전달 | 희귀 손실, 잘못된 경보, 데이터 권리, 전문가 검토 비용 |
| 리서치·예측 업무 도구 | 근거 수집과 확률 갱신에 드는 시간 절감 | 같은 품질에서 절약되는 시간과 지속 이용률 |
| 범용 예측 API·기반 모델 | 다른 서비스에 재사용 가능한 확률 제공 | 범용 모델 대비 성능·가격 우위, 교체 비용, 차별화 지속성 |
방어력은 공개 자료를 요약하는 화면만으로 생기지 않습니다. 고객이 사용할 수 있는 고유 데이터, 예측 당시의 근거와 확률, 실제 결과, 취한 행동, 그 행동의 손익이 연결돼야 합니다. 이 기록이 쌓이면 어디서 틀리는지, 어떤 상황에서 사람에게 넘겨야 하는지, 어느 고객에게 효과가 있는지 점검할 수 있습니다.
이 기록이 자동으로 좋은 학습 데이터가 되는 것은 아닙니다. 모델이 위험한 고객을 골라 담당자가 개입했다면 관측 결과에는 개입 효과가 섞입니다. 원래 예측한 자연 경과와 실제 조치 후 결과를 구분하지 않으면 학습이 왜곡될 수 있습니다. 데이터 접근권뿐 아니라 결과를 해석할 권한과 평가 설계도 중요합니다.
가장 강한 반론은 기반 모델의 발전이 전문 예측 업체의 차이를 흡수할 수 있다는 점입니다. 특정 검색 조합과 프롬프트가 성과의 대부분이라면 그 우위는 짧을 수 있습니다. 반대로 동일한 데이터와 비용을 준 간단한 비교 시스템보다 지속적으로 나은 결과를 내고, 고객 업무의 결과가 다시 제품 개선으로 돌아온다면 별도 기업이 존재할 이유가 생깁니다.
‘상위권’이라는 소개를 받았을 때 요구할 자료
다음 항목은 ForecastBench 참가 기업에 대한 공식 인증 기준이 아니라 투자 실사에서 사용할 검증 기준입니다.
| 확인할 주장 | 요구할 증거 | 판단을 보류할 신호 |
|---|---|---|
| 현재 상위권이다 | 순위표 종류, 기준일, 제출명, 공식 원자료 | 예비 데이터형 순위를 종합 순위처럼 설명 |
| 독자적인 예측력이 있다 | 동일 시점·질문·정보에서 시장, 통계모형, 기반 모델+검색과 비교 | 시장값을 제거하면 우위가 사라지는데 독자 모델 성과라고 주장 |
| 자체 기술이 차이를 만든다 | 검색·결합·보정·자체 모델을 하나씩 뺀 비교 실험 | 구성요소별 기여를 분리하지 못함 |
| 효과가 반복된다 | 새 사건군의 사전 기록 예측, 분야·기간별 오차와 신뢰구간 | 같은 공개 문제에서만 좋거나 실패 사례를 제외 |
| 경제성이 있다 | 데이터·도구·재시도·사람 검토를 포함한 예측당 총비용 | 모델 토큰 요금만 제시하거나 지연·실패 비용을 누락 |
| 고객이 돈을 번다 | 기존 업무 대비 추가 이익, 손실 감소, 고객 유지·확장 계약 | 정확도 향상을 고객 수익 증가로 바로 환산 |
고객 시험 도입에서는 과거 자료 재검증과 미래 예측의 사전 기록을 분리해야 합니다. 예측 시점에 접근할 수 있었던 자료, 모델 버전, 확률, 결과 확인 규칙을 먼저 고정하고 나중에 실제 결과와 대조합니다. 사람의 승인과 손실 한도를 유지한 상태에서 기존 방식과 비교하는 편이 합리적입니다.
저라면 높은 순위를 후속 실사에 들어갈 이유로 사용하겠습니다. 그러나 같은 정보와 총비용으로 실행한 간단한 대안이 성과 차이를 없애거나, 새 사건에서 우위가 유지되지 않거나, 고객의 행동과 손익이 바뀌지 않는다면 벤치마크 성과에 별도의 기업가치 프리미엄을 주지 않겠습니다.
출처와 검증 범위
순위는 동적 화면의 홍보 문구 대신 공식 CSV의 고정 커밋으로 확인했습니다. 방법론은 운영기관 문서와 논문을 우선했고, 업체 설명은 업체 주장으로 구분했습니다. 아래 점수표를 직접 재현하거나 각 회사의 내부 모델·비용·고객 성과를 검증한 것은 아닙니다. BLF와 AIA의 실험 결과는 연구진이 보고한 결과입니다.
[1] ForecastBench, Tournament 공식 CSV, 2026-09-18 고정본. 갱신 커밋.
[2] ForecastBench, Baseline 공식 CSV, 같은 고정본.
[3] ForecastBench, Preliminary 공식 CSV, 같은 고정본. 익명 제출물을 포함합니다.
[4] Karger 외, ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities, 최초 공개 2024-09. 초기 논문의 라운드 규모를 현재 운영 규칙과 혼동하지 않았습니다.
[5] ForecastBench, 순위표 설명과 Notes, 확인 2026-09-19. 무도구 기준, 예비·종합 구분, 50일 대기, 인간 자료 시점, 시장 정보 시차.
[6] ForecastBench, 운영 방식, 확인 2026-09-19. 현재 질문 자료원, 2주 500문항, 두 유형의 동일 비중, 예측 기간.
[7] Forecasting Research Institute, Introducing the Brier Index, 2026-03-04 및 03-05 정정. 점수와 지수, 정답률과의 차이, properness 정정.
[8] Kučinskas·Bastani·Karger, ForecastBench: Updated Ranking Methodology, 특히 2.3절과 5절. 데이터형과 시장형의 난이도 보정, 대기 기간.
[9] Forecasting Research Institute, AI models have likely reached parity with superforecasters on ForecastBench, 2026-07-16. 당시 성과 해석과 Cassi·Torchcast 시스템 설명. 당시 순위를 현재 순위로 사용하지 않았습니다.
[10] Torchcast, Introducing FFM: A Foundation Model for Forecasting, 2026-07-16. 회사의 연구 계획이며 독립적인 신규 모델 검증 자료가 아닙니다.
[11] Kevin Murphy, Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs. BLF의 구조 및 400개 과거 질문 재검증. 현재 공식 종합 순위와 구분했습니다.
[12] Good Judgment, What ForecastBench Doesn't Measure (Yet), 2026년 4월 기준 논평. 인간 예측 서비스 제공자의 평가이며 본문의 당시 순위는 현재와 다릅니다.
[13] Alur 외, AIA Forecaster: Technical Report, 2025-11-10. 인간 전문가 비교, 유동성 높은 시장의 합의와 모델 결합 실험.