← Back to list2026-09-07

AI 연구 에이전트의 다음 병목은 지능이 아니라, 어떤 실험에 GPU를 쓸지 결정하는 능력입니다

AI에이전트AI연구MetaAIRAResearch Preference Model컴퓨트

AI가 연구 아이디어를 만드는 속도가 빨라지면 연구도 그만큼 빨라질까요?

Meta FAIR, Oxford, UCL 연구진이 2026년 8월 공개한 AI Research Preference Models(RPM) 논문은 오히려 그 다음 병목을 보여줍니다. AI 연구 에이전트는 짧은 시간에 수많은 가설과 구현안을 만들 수 있지만, 실제로 모델을 학습하고 성능을 확인하는 데에는 몇 시간에서 며칠의 GPU 시간이 필요합니다.

즉 아이디어 생성 비용은 빠르게 0에 가까워지지만, 실험 비용은 그렇지 않습니다.

연구진의 답은 더 많은 아이디어를 만드는 모델이 아니라, 어떤 아이디어에 귀한 컴퓨팅 자원을 배분할지를 판단하는 별도의 모델입니다.

AI 연구의 병목이 생성에서 선택으로 이동합니다

기존 AI 연구 에이전트는 대략 다음 루프를 반복합니다.

가설 생성 → 코드 작성 → 학습·실험 → 결과 평가 → 다음 가설

LLM이 강해지면서 앞의 두 단계는 매우 싸고 빨라졌습니다. 문제는 세 번째 단계입니다. 후보 코드를 만드는 데 몇 분이면 충분해도 실제 학습과 평가는 수 시간 또는 수 일이 걸릴 수 있습니다.

따라서 에이전트가 실행할 수 있는 후보보다 훨씬 많은 후보를 만들어낼 수 있게 되는 순간, 연구 성과를 좌우하는 변수는 생성량이 아닙니다.

제한된 GPU 예산을 어느 후보에 배분하느냐가 연구 생산성을 결정합니다.

이 논문은 이를 research preference라고 부릅니다.

RPM은 연구 아이디어를 실행하기 전에 골라냅니다

연구진은 두 종류의 RPM을 만들었습니다. 중요한 점은 별도의 과제별 학습을 하지 않은 동결된 사전학습 언어모델을 이용했다는 것입니다.

Inference-only RPM은 후보의 연구 계획, 코드, 이미 실행했던 실험의 결과를 읽고 가장 유망한 후보를 선택합니다. 비싼 본 실험을 하지 않고도 기존 지식과 연구 이력을 이용해 선택하는 구조입니다.

Agentic RPM은 여기서 한 단계 더 나아갑니다. 작은 규모의 파일럿 실험을 직접 수행한 뒤 어떤 후보에 본격적인 컴퓨팅 자원을 투입할지 결정합니다.

후자가 특히 흥미롭습니다. 숙련된 연구자가 모든 아이디어를 대규모로 검증하지 않고, 작은 실험으로 가능성을 확인한 뒤 연구비와 시간을 배분하는 방식과 상당히 닮았습니다.

실제로 컴퓨팅 효율이 의미 있게 개선됐습니다

연구진은 RPM을 AIRA-dojo 연구 에이전트에 결합하고 머신러닝 연구 벤치마크인 AIRS-Bench에서 평가했습니다.

기본 에이전트의 평균 정규화 점수는 0.684였습니다.

inference-only RPM: 0.711
agentic RPM: 0.729

절대 점수 상승보다 더 중요한 숫자가 있습니다.

두 방식 모두 기본 에이전트가 24시간 동안 얻은 성능을 약 15시간 만에 달성했고, 실행 예산은 3분의 2 미만을 사용했습니다. 연구진은 두 AIRS-Bench 과제에서 새로운 최고 성능도 보고했습니다.

다만 이를 곧바로 ‘AI가 인간 연구자보다 연구 방향을 더 잘 판단한다’고 해석하면 과장입니다. 결과는 AIRS-Bench라는 제한된 머신러닝 연구 환경에서 측정됐고, 논문 자체의 실험 결과입니다. 새로운 과학적 문제의 가치, 장기 연구 프로그램의 선택, 잘못 정의된 평가함수 아래에서의 판단까지 검증한 것은 아닙니다.

왜 중요한가: 에이전트 경제의 희소자원이 바뀝니다

이 논문을 AI 연구 자동화 기술 하나로만 보면 의미를 과소평가하게 됩니다.

강한 에이전트가 보편화될수록 후보를 만드는 능력 자체의 희소성은 빠르게 떨어질 가능성이 높습니다. 코드 후보 100개, 마케팅 문안 100개, 신약 가설 100개, 투자 아이디어 100개를 만드는 것은 점점 쉬워집니다.

그러나 현실에서는 모든 후보를 실행할 수 없습니다.

GPU, 실험 장비, 사람의 검토 시간, 광고비, 영업 인력, 자본은 여전히 제한돼 있습니다. 결국 경제적 가치는 다음 질문으로 이동합니다.

수많은 기계 생성 후보 중 무엇을 실제 세계에 실행할 것인가?

RPM은 이 문제를 AI 연구라는 비교적 깨끗한 환경에서 구현한 사례입니다.

생성 모델 위에 ‘자원배분 모델’이 붙기 시작합니다

에이전트 시스템의 구조도 달라질 수 있습니다.

기존에는 강한 모델 하나가 계획하고 실행하는 구조가 중심이었다면, 앞으로는 역할이 더 분화될 가능성이 있습니다.

Generator → Preference/Judge → Cheap Experiment → Resource Allocation → Expensive Execution → Feedback

여기서 preference model은 단순한 채점기가 아닙니다. 실제 비용을 쓰기 전에 어느 경로를 계속 탐색할지를 결정하는 자본배분 장치에 가깝습니다.

이 구조가 중요해질수록 모델의 절대 지능뿐 아니라 다음 자산의 가치가 커집니다.

과거 어떤 선택을 했고 결과가 어땠는지에 대한 실행 이력
값싼 대리실험과 실제 결과 사이의 상관관계
좋은 결과를 정의하는 평가함수
선택 오류의 비용을 측정할 수 있는 피드백
제한된 자원을 여러 후보에 배분하는 정책

이 데이터는 단순한 사용자 대화 로그보다 훨씬 강한 학습 신호가 될 수 있습니다. 선택 → 비용 투입 → 실제 결과가 연결되기 때문입니다.

VC 관점에서는 ‘생성’보다 ‘선택의 폐쇄루프’를 봐야 합니다

AI 스타트업을 볼 때도 같은 질문이 유효합니다.

‘이 제품이 얼마나 많은 결과물을 자동 생성하는가’보다 더 중요한 질문은 생성한 후보 중 무엇을 실행할지 판단하고, 그 결과를 다시 다음 판단에 사용할 수 있는가입니다.

예를 들어 신약개발에서는 어떤 분자를 실제 wet-lab으로 보낼지, 제조에서는 어떤 설계안을 시제품으로 만들지, 광고에서는 어떤 소재에 실제 예산을 태울지, 기업 의사결정에서는 어떤 안을 사람에게 승인 요청할지가 이에 해당합니다.

이 지점에 위치한 회사는 단순 생성 도구와 다른 데이터 자산을 축적할 가능성이 있습니다. 고객의 실제 업무 흐름 안에서 판단과 현실의 결과 사이의 연결 데이터를 소유할 수 있기 때문입니다.

반대로 결과를 생성해 사람이 복사해 가는 것으로 끝나는 제품은 모델 성능이 좋아질수록 차별화가 약해질 수 있습니다.

따라서 수직형 AI 회사를 볼 때 저는 다음을 더 중요하게 봅니다.

결과물 생성 → 후보 비교 → 실행 결정 → 현실의 결과 측정 → 다음 선택 개선까지 하나의 폐쇄루프가 형성되는가.

RPM 논문은 이 구조가 연구 자동화에서도 실제 성능과 컴퓨팅 효율을 개선할 수 있음을 보여주는 초기 증거입니다.

동시에 과대해석해서는 안 됩니다

아직 세 가지 질문이 남아 있습니다.

첫째, AIRS-Bench의 20개 머신러닝 과제에서 얻은 효율 개선이 개방형 과학 연구에서도 유지되는지는 확인되지 않았습니다.

둘째, preference model이 기존 지식에 기반해 ‘그럴듯한’ 연구를 선호하면 장기적으로 급진적이지만 초기 성공확률이 낮은 아이디어를 제거하는 보수적 편향이 생길 수 있습니다.

셋째, 평가 기준 자체가 잘못돼 있으면 선택 모델은 잘못된 목표를 더 효율적으로 최적화할 뿐입니다. 좋은 judge가 좋은 objective를 대신해 주지는 않습니다.

따라서 RPM의 장기적 가치는 단순히 후보 선택 정확도가 높은가가 아니라 탐색 다양성을 얼마나 보존하면서 제한된 자원을 더 생산적인 실험으로 이동시키는가로 평가해야 합니다.

AI가 더 똑똑해질수록 판단과 배분이 더 중요해집니다

AI 연구 자동화에서 흥미로운 변화는 AI가 연구 아이디어를 낼 수 있게 됐다는 사실 자체가 아닙니다. 그것은 이미 빠르게 범용화되고 있습니다.

더 중요한 변화는 기계가 만들어낸 과잉 공급의 세계에서 무엇을 실행할지 결정하는 문제도 다시 기계화되기 시작했다는 것입니다.

생성 능력이 폭발하면 실행 자원은 상대적으로 더 희소해집니다. 그리고 희소한 자원이 존재하는 곳에는 반드시 배분 문제가 생깁니다.

RPM은 그 배분 문제를 모델의 일부로 끌어들였습니다.

AI 에이전트 시대의 중요한 해자는 ‘무엇을 만들 수 있는가’에서 끝나지 않을 가능성이 높습니다. 무엇을 시도하지 않을지, 무엇에 실제 돈과 시간을 쓸지, 그리고 그 판단이 결과를 통해 얼마나 빨리 개선되는지가 더 중요한 경쟁력이 될 수 있습니다.

참고 자료

Thomas Simon Foster et al., AI Research Preference Models, arXiv:2608.13940, v2, 2026-08-25.
Meta FAIR · University of Oxford · University College London 공동 연구.
논문에 보고된 AIRS-Bench 결과와 효율 수치는 저자들의 실험 결과이며 독립 재현 결과와 구분해 해석했습니다.