의료 초지능이라는 말이 네이처 메디슨에 실렸습니다. 쟁점은 지능이 아니라 채점입니다

네이처 메디슨에 "의료 AI 초지능의 검증을 향하여(Toward a test of medical AI superintelligence)"라는 아티클이 실렸습니다. 네이처·NEJM·JAMA급 의학 저널이 초지능이라는 단어를 진지한 논의 대상으로 올린 것은 사실상 처음입니다.

저자 구성이 내용만큼 중요합니다. 스탠퍼드의 조너선 첸과 이선 고, 하버드의 프라나브 라지푸르카르, 스크립스의 에릭 토폴 같은 의학 AI 학계의 중심 인물들과 함께, 구글·오픈AI·앤트로픽·마이크로소프트 쪽 인사들이 같은 저자란에 올랐습니다. 학계가 산업계를 비판하는 논문이 아니라, 학계와 프런티어 랩이 공동으로 용어의 정의권을 잡으러 나온 문서라는 뜻입니다.

배경에는 이미 달리기 시작한 마케팅이 있습니다. 마이크로소프트는 2025년 6월 진단 오케스트레이터 MAI-DxO를 공개하며 발표 제목을 아예 "의료 초지능으로 가는 길"로 달았습니다. NEJM의 어려운 임상병리 사례 304건을 순차 진단 형식으로 바꾼 벤치마크에서 o3와 결합한 MAI-DxO가 85.5퍼센트를 맞혔고, 같은 조건의 경험 많은 의사들은 그 4분의 1 수준이었다는 발표였습니다. 의료 검색 서비스 오픈에비던스도 의료 초지능을 지향한다고 밝혀 왔습니다(아티클 기준). 초지능이라는 단어가 이미 제품 언어로 쓰이는데 합의된 정의가 없으니, 정의를 정하자는 것입니다.

그런데 아티클을 따라 읽으면 이것은 지능에 대한 선언문이 아닙니다. 채점기 설계도입니다.

지금 점수판은 두 방향으로 다 틀립니다

아티클의 출발점은 현행 벤치마크 점수가 초지능은커녕 유용성조차 판정하지 못한다는 것입니다. 점수는 맥락 없이는 무의미합니다. 진단 정확도 75퍼센트는 부족해 보이지만 평균 의사가 65퍼센트라면 이야기가 다르고, 대안이 즉시 진료가 아니라 6개월 대기라면 또 다릅니다. 반대로 오류 빈도가 낮아도 그 오류가 치명적인 종류라면 평균 정확도는 위안이 되지 않습니다.

더 나쁜 것은 시험 설계 자체가 결과를 양방향으로 왜곡한다는 점입니다.

USMLE나 MedQA 같은 지식형 시험은 프런티어 모델들이 이미 포화시켰습니다. 아는 것을 묻는 시험으로는 더 이상 아무것도 갈라지지 않습니다.

불편한 진실: 의사+AI가 AI 단독보다 못하고, 감독은 오래가지 않습니다

아티클에서 가장 무거운 대목은 사람의 역할에 대한 것입니다.

첫째, 의사+AI가 AI 단독보다 못한 패턴이 일관되게 관찰됩니다. 이 아티클의 저자이기도 한 이선 고 연구진의 무작위 시험 기준으로, 진단 추론 과제에서 GPT-4 단독은 90퍼센트대 초반을 기록했는데 GPT-4를 쓴 의사는 70퍼센트대 중반에 머물렀습니다. 사람이 AI의 제안을 걸러 내면서 오답 쪽으로 끌어내리는 일이 실제로 일어난다는 것입니다.

둘째, 그렇다면 사람의 감독이 안전장치가 되어 줄 것이라는 전제도 흔들립니다. 자동화 편향과 알람 피로에 대한 수십 년의 연구가 보여 주는 결론은, 인간은 자동화 시스템의 신뢰할 만한 장기 감독자가 아니라는 것입니다. 처음에는 꼼꼼히 검토하지만 시스템이 대체로 맞는 경험이 쌓이면 승인 버튼만 누르게 됩니다.

여기서 아티클이 꺼내는 표현이 "불편한 진실"입니다. 임상 의사결정 지원(CDSS)이라는 이름으로 배포된 AI가, 현실에서는 이미 사실상(de facto) 자율 AI로 쓰이고 있다는 것입니다. 서류상으로는 사람이 모든 출력을 검토하는 human-in-the-loop이지만, 실질은 그렇지 않다는 이야기입니다.

이 대목은 제가 노동 재편 글에서 다룬 책임 구조 문제와 정확히 겹칩니다. 사람의 서명이 실질 통제 없이 비난만 흡수하는 자리가 되는 것. 의학 저널이 이 문제를 정면으로 인정하고, 형식적 전건 검토 대신 에스컬레이션형 감독(human-on-the-loop)으로 가자고 쓴 것은 작지 않은 사건입니다.

초지능의 세 가지 문턱

그러면 무엇을 넘어야 의료 초지능인가. 아티클의 정의는 세 겹입니다.

평균이 아니라 최고를, 개인이 아니라 팀을 넘어야 합니다. 현실의 어려운 진료는 다학제 종양 보드처럼 여러 전문의가 모여, 시간을 두고 환자를 재평가하며 굴러갑니다. 개별 의사의 스냅샷 판단을 이기는 것과 이 집단 지성을 이기는 것은 다른 문턱입니다.

역량 전체를 포괄해야 합니다. 진단 추론만이 아니라 관리 추론, 멀티모달 분석, 안전과 위해 회피, 불확실성 아래의 캘리브레이션, 비용 대비 효과의 트레이드오프까지입니다. 민감도를 올리느라 과잉 검사와 과잉 치료를 만들면 안 되고, 중증 위해 가능성이 낮아야 합니다. 이 마지막 조건이 왜 별도 항목인지는 최근 나온 NOHARM 벤치마크가 보여 줍니다. 1차 진료 협진 사례 1,100건으로 20개 모델과 4개 임상 AI 도구를 재 보니, 연구 기준으로 권고를 그대로 적용할 경우 최대 24.6퍼센트의 사례에서 중증 위해 가능성이 있었고 중증 오류의 80퍼센트 이상이 빠뜨림(누락)에서 나왔습니다. 지식 벤치마크 점수와의 상관은 상위권으로 갈수록 약해졌습니다. 잘 아는 모델과 안전한 모델은 다른 축이라는 뜻입니다.

장기·에이전틱 과제로 시험해야 합니다. 당뇨, 심부전, 암, 정신건강은 한 번의 정답이 아니라 수개월에서 수년에 걸친 반복 진료와 정보 갱신으로 관리됩니다. 정교하게 만든 사례 문제의 정답 고르기와는 다른 능력입니다. 구글의 AMIE 계열 연구가 질병 관리 대화로 넘어간 것과 같은 방향입니다.

MAST: 의료판 "인류 최후의 시험"

이 아티클의 직접 목적은 저자들이 만든 MAST(Medical AI Superintelligence Test) 프레임워크의 제안입니다. 지식형 시험이 포화됐으니, 진단·관리·안전(임상 트랙)과 영상·멀티모달(일반 트랙)에서 분야별 최고 품질 벤치마크를 대표성 있게 모으고 MAST 전용 수정을 더해, 초지능으로 가는 경로를 계속 측정하겠다는 것입니다. 저자들은 이것이 의료판 "인류 최후의 시험(Humanity's Last Exam)" 역할을 하기를 원합니다.

첫 측정 결과부터 시사적입니다(발표 기준). 최상위 모델들은 종합 점수에서 촘촘히 붙어 있는데, 세부 축마다 순위가 뒤바뀌고 어느 모델도 전 축을 지배하지 못합니다. 지식 문제는 잘 풀면서 복잡한 임상 맥락에 그 지식을 통합하지 못하는 모델, 진단은 맞히고 위험한 치료 계획을 내는 모델, 포괄적이지만 과잉 공격적인 모델과 신중하지만 불완전한 모델이 다 따로 있습니다. 단일 점수가 감추는 것이 많다는 저자들 주장의 자기 증명입니다.

진짜 채점기는 5년짜리입니다

아티클의 마지막 논점이 가장 흥미롭습니다. AI가 계속 발전하면 인간 의사를 기준으로 삼는 벤치마크 자체가 무너지는 시점이 온다는 것입니다. AI가 최고 전문가들과 다른 결정을 지속적으로 내리는데 그 결정이 결국 옳았다고 판명되기 시작하면, 인간 합의와의 일치율은 더 이상 정답지가 아닙니다. 채점기가 참을 말하지 못하게 되는 순간입니다.

그래서 결론은 기준을 벤치마크에서 실제 임상 결과(hard clinical outcome)로 옮겨야 한다는 것입니다. 실제 의료 환경의 대규모 무작위 대조시험으로 치료 성과가 좋아지는지를 재자는 것이고, 템플릿으로 스웨덴의 MASAI 시험을 듭니다. 10만 명 넘는 여성의 유방촬영 검진에 AI를 붙인 무작위 시험으로, 최종 결과 기준 민감도가 73.8퍼센트에서 80.5퍼센트로 오르면서 특이도는 그대로였고, 중간암 발생이 12퍼센트 낮았으며 공격적인 암은 27퍼센트 적게 놓쳤고, 판독 업무량은 44퍼센트 줄었습니다. 벤치마크 점수가 아니라 환자의 결과로 증명한 사례입니다.

다만 이 결론에는 무거운 대가가 붙어 있습니다. MASAI는 2021년에 시작해 2026년에 최종 결과가 나왔습니다. GPT-3.5도 나오기 전에 설계된 시험입니다. 모델은 6개월마다 세대가 바뀌는데 진짜 채점은 한 바퀴에 5년이 걸린다면, 검증이 끝났을 때 그 검증의 대상은 이미 골동품입니다. 환자에게 닿기까지의 지연 비용이 그만큼 쌓입니다. 앞서 루프가 푸는 것과 못 푸는 것에서 신약·의료를 "최종 채점자가 사람의 몸과 규제인 칸"으로 분류했는데, 이 아티클은 그 칸의 안쪽에서 같은 결론에 도달한 문서입니다.

한 가지 덧붙이면, 여기서의 초지능은 철학 쪽 용법보다 훨씬 좁습니다. 보스트롬식 초지능(전 인류의 지적 총합을 넘는 존재)이나 재귀적 자기 개선, 지능 폭발 같은 논의는 등장하지 않습니다. 의학 저널의 절제이기도 하고, 이 문서의 실제 관심이 형이상학이 아니라 측정이라는 방증이기도 합니다.

판단: 채점기를 소유한 자가 등수를 정합니다

이 아티클을 산업의 눈으로 읽으면 세 가지가 남습니다.

첫째, 이것은 정의권 경쟁입니다. 마이크로소프트가 초지능이라는 단어를 제품 발표에 쓰기 시작한 순간, 그 단어의 판정 기준을 누가 쥐느냐가 사업 문제가 됐습니다. 학계와 4대 랩이 공동 저자로 만든 MAST는 그 판정권을 특정 회사의 자체 벤치마크가 아니라 공동 관리 기구 쪽으로 가져오려는 수입니다. 검증 루프 이야기의 언어로 말하면, 능력 경쟁의 다음 단계는 언제나 채점기 경쟁입니다.

둘째, 감독 전제의 공식 붕괴는 규제와 제품 설계를 바꿉니다. 사람이 검토하니 안전하다는 전제가 의학 저널에서 공개적으로 부정되면, "사람 검토 필수"를 안전장치로 삼아 온 규제 프레임과 제품들의 근거가 흔들립니다. 방향은 전건 검토가 아니라 에스컬레이션 설계, 즉 언제 사람을 부를지 아는 능력 자체를 평가하고 만드는 쪽입니다. 불확실성 캘리브레이션이 MAST의 평가 축에 들어간 이유입니다.

셋째, 병목이 근거 생성 속도로 이동합니다. 모델 세대 6개월 대 임상 검증 5년의 간극은 이 분야에서 가장 비싼 공백이고, 그래서 기회이기도 합니다. 아티클 밖의 관찰을 하나 보태면, 이 간극을 줄이는 도구들(전자의무기록과 연동된 상시 평가, 레지스트리 기반의 실용적 임상시험, 시험 설계 자체의 자동화)이 의료 AI에서 모델 다음의 투자 지점으로 보입니다. 채점이 5년 걸리는 분야에서 채점을 1년으로 줄이는 회사는, 모델을 만드는 회사만큼 중요해집니다.

초지능이라는 단어는 요란하지만, 이 문서가 실제로 한 일은 소박하고 단단합니다. 시험지가 낡았다고 선언하고, 새 시험지를 내놓고, 최종 시험은 벤치마크가 아니라 환자의 결과라고 못 박은 것입니다. 의료 AI의 다음 몇 년은 이 시험지 위에서 채점될 가능성이 큽니다. 그리고 이 세션 내내 반복된 결론이 여기서도 성립합니다. 등수는 모델이 정하는 것이 아니라, 채점기가 정합니다.