데이터 라벨링은 판단을 설계하는 일입니다
10월 6일 한 AI 연구자와 식사하다가 ‘data pill’이라는 표현을 들었습니다. 샌프란시스코의 AI 연구자들이 서로 ‘data pill을 먹었느냐’고 묻기도 한다는 이야기였습니다. 그 자리에서 들은 뜻은, 데이터로 모든 문제를 풀 수 있다고 믿느냐는 것이었습니다.
이 표현이 연구자 사회에 얼마나 널리 통용되는지는 별개입니다. 제게는 데이터의 역할을 다시 생각하게 하는 질문으로 남았습니다. 특히 대화를 나누며 공감한 것은, 데이터 라벨링 자체가 종합예술에 가깝다는 점이었습니다.
어떤 사례를 모으고, 무엇을 같은 문제로 묶고, 어떤 답을 더 좋다고 판단할 것인가. 그 결정에는 전문 지식과 현장 경험, 예외를 다루는 감각이 들어갑니다. 모델에 붙일 정답을 만드는 동안, 우리는 모델이 배울 판단의 기준도 함께 설계하고 있습니다.
라벨 하나에도 문제를 바라보는 방식이 들어갑니다
라벨링이라고 하면 사진에 사각형을 그리고, 문장을 분류하고, 정답을 입력하는 장면이 먼저 떠오릅니다. 그런 작업은 여전히 중요합니다. 다만 작업 화면에 보이는 클릭 수만으로 데이터의 가치를 설명하기는 어렵습니다.
가령 제조 현장의 결함 사진에 ‘불량’이라는 라벨을 붙인다고 해보겠습니다. 외관에 흠집이 있다는 사실과 출하하면 안 된다는 판단은 같지 않을 수 있습니다. 제품의 용도, 고객이 허용하는 오차, 후속 공정에서 복구할 수 있는지에 따라 판단이 달라집니다. 라벨을 제대로 붙이려면 무엇을 불량으로 볼지부터 합의해야 합니다.
문서에서도 비슷합니다. 질문에 답이 있는 문단을 표시하는 일과, 그 문단만으로 결론을 내려도 되는지 판단하는 일은 다릅니다. 필요한 근거가 빠졌다면 ‘모르겠다’거나 ‘추가 확인이 필요하다’는 응답이 더 좋을 수 있습니다. 좋은 답의 기준을 정확성 하나로 정할지, 근거와 불확실성까지 포함할지에 따라 학습되는 행동이 바뀝니다.
이 과정에서 전문가의 암묵지가 모습을 드러냅니다. 전문가는 때로 무엇이 이상한지 곧바로 알아차리지만, 그 이유를 완전한 규칙으로 설명하기는 어렵습니다. 경계 사례를 비교하고, 의견이 갈리는 이유를 기록하고, 예외를 다시 검토하면서 일부 판단을 재사용 가능한 형태로 옮길 수 있습니다. 라벨링의 어려움은 그 판단을 얼마나 일관되게 담아내느냐에 있습니다.
알고리듬을 쓰는 자리가 데이터 쪽으로 넓어집니다
기존 프로그래밍에서는 사람이 조건과 처리 순서를 코드로 적습니다. 학습 기반 시스템에서는 사람이 사례와 평가 기준을 설계하고, 모델이 그 안에서 규칙성을 학습합니다. 물론 데이터셋이 곧 알고리듬인 것은 아닙니다. 모델 구조, 학습 목적, 최적화 방식도 결과를 결정합니다. 다만 데이터 설계가 시스템의 행동을 바꾸는 중요한 설계 수단이라는 점에서, 라벨링을 일종의 알고리듬 설계로 바라볼 수 있습니다.
이 연결을 직접 보여주는 연구가 스노클(Snorkel)입니다. 연구진은 전문가가 데이터를 하나씩 모두 표시하는 대신, 경험칙과 외부 지식 등을 ‘라벨링 함수’로 작성하도록 했습니다. 서로 겹치거나 충돌하는 함수의 출력을 결합해 학습용 라벨을 만드는 방식입니다. 사람의 지식이 데이터 생성 절차에 들어간 사례입니다. 다만 이런 약한 감독은 모든 문제의 정답을 자동으로 만들어 주는 방식은 아닙니다. Ratner 외, 2017
데이터 중심 AI(data-centric AI)도 같은 문제의식을 공유합니다. AI에 쓰이는 데이터를 체계적으로 개선하는 것을 하나의 공학적 과제로 봅니다. 데이터가 준비되기를 기다렸다가 모델을 만드는 순서에서 벗어나, 데이터의 구성과 오류, 대표성 자체를 계속 고치는 것입니다. Data-Centric AI Resource Hub
그래서 데이터 팀에는 서로 다른 역량이 필요합니다. 현장을 아는 전문가, 판단을 명확한 기준으로 옮기는 사람, 표본의 구성을 설계하는 사람, 라벨의 충돌을 찾아내는 사람, 실제 성능 변화로 효과를 검증하는 사람이 함께 일해야 합니다. ‘종합예술’이라는 표현은 이 협업의 복잡성을 잘 담습니다. 그렇다고 결과를 감각에만 맡길 수는 없습니다. 기준과 수정 이력이 남고, 다른 사람이 다시 검증할 수 있어야 합니다.
좋은 데이터를 고르는 능력은 모델 성능으로 드러납니다
데이터가 중요하다는 주장은 오래됐습니다. 어떤 조건에서 데이터가 성능에 얼마나 영향을 주는지는 실험으로 확인해야 합니다.
DataComp는 이 질문을 비교적 선명하게 다뤘습니다. 이미지와 텍스트를 함께 학습하는 CLIP 계열 모델에서 학습 절차와 연산 예산을 고정하고, 참가자들이 데이터 필터링과 구성을 바꾸도록 했습니다. 연구진이 보고한 DataComp-1B는 같은 학습 절차와 연산량 조건의 원래 OpenAI CLIP보다 ImageNet 제로샷 정확도가 3.7퍼센트포인트 높았습니다. 데이터 구성 자체가 개선의 대상이 될 수 있음을 보여줍니다. 다만 이 결과를 모든 모델과 업무에 그대로 적용할 수는 없습니다. Gadre 외, 2023
LIMA는 다른 각도에서 같은 질문을 던졌습니다. 이미 사전학습된 650억 파라미터 모델을 엄선한 1,000개의 지시·응답 예시로 미세조정해 여러 응답 평가에서 좋은 결과를 얻었습니다. 여기서 1,000개는 모델이 처음부터 읽은 데이터의 전부가 아닙니다. 큰 사전학습 위에서 응답 방식을 가르친 추가 예시입니다. 이 구분을 놓치면 ‘데이터는 조금만 있어도 된다’는 잘못된 결론으로 이어집니다. Zhou 외, 2023
기업의 관점에서는 현재 모델이 어디서 틀리는지부터 알아야 합니다. 이미 잘하는 사례를 반복해서 넣을지, 드물지만 비용이 큰 실패를 보강할지, 애매한 라벨을 다시 검토할지에 따라 추가 데이터의 효용이 달라집니다. 고품질이라는 말도 목표 업무와 떨어져서는 의미가 흐립니다. 설명을 잘하는 데이터가 도구를 정확히 쓰는 데에도 가장 좋은 데이터라는 보장은 없습니다.
선호와 과정에 붙이는 라벨은 모델의 행동을 바꿉니다
생성형 AI에서는 데이터의 형태가 더 넓어집니다. 하나의 정답뿐 아니라, 두 답 중 무엇이 더 나은지, 풀이의 어느 단계가 잘못됐는지, 실제 행동이 성공했는지도 학습 신호가 됩니다.
InstructGPT 연구에서는 사람이 작성한 모범답안으로 모델을 미세조정하고, 모델 답변에 매긴 선호 순위로 보상모델을 학습한 뒤 강화학습을 적용했습니다. 연구의 사용자 프롬프트 평가에서 13억 파라미터 InstructGPT의 답변이 1,750억 파라미터 GPT-3의 답변보다 선호됐습니다. 이는 해당 평가에서 사람의 피드백을 반영한 학습이 유용했다는 결과입니다. 작은 모델이 모든 능력에서 큰 모델을 넘어섰다는 뜻은 아닙니다. Ouyang 외, 2022
풀이 과정에 대한 피드백도 중요할 수 있습니다. ‘Let's Verify Step by Step’ 연구는 수학 문제에서 최종 답의 정오만 보는 감독과 중간 단계별로 옳고 그름을 판단하는 감독을 비교했습니다. 여러 후보 풀이 중 답을 고르는 보상모델 평가에서 과정 감독이 더 좋은 결과를 보였습니다. 어느 지점에서 잘못됐는지를 알려주는 데이터의 가치를 보여주지만, 생성 모델 자체를 강화학습으로 개선한 실험은 아니며 수학 밖의 효과도 별도로 검증해야 합니다. Lightman 외, 2023
여기에는 까다로운 구분이 있습니다. 사람이 좋아하는 답과 사실에 맞는 답, 사업적으로 좋은 결과를 내는 답은 어긋날 수 있습니다. 친절하고 자신감 있는 설명이 높은 선호를 얻어도 내용은 틀릴 수 있습니다. 우연히 좋은 결과가 난 결정을 좋은 판단으로 표시하면 운을 학습할 수도 있습니다.
따라서 전문가가 참여했다는 사실만으로 데이터의 품질이 보장되지는 않습니다. 평가자가 무엇을 볼 수 있었는지, 서로 왜 의견이 달랐는지, 최종 결과를 알고 과거 판단을 평가한 것은 아닌지를 확인해야 합니다. 애매한 사례의 불일치를 모두 없애는 것보다, 어떤 조건에서 판단이 갈리는지를 남기는 편이 더 유용할 때도 있습니다.
데이터가 많아져도 남는 한계가 있습니다
그 대화에서 들은 ‘data pill’의 강한 명제는 데이터로 모든 문제를 해결할 수 있다는 믿음입니다. 그러나 지금까지의 연구가 보여주는 범위는 훨씬 구체적입니다. 좋은 데이터의 중요성이 확인됐다고 해서 모델 구조와 계산, 탐색 방식의 중요성이 사라지는 것은 아닙니다.
Chinchilla 연구는 정해진 학습 연산 예산 안에서 모델 크기와 학습 토큰 수를 어떻게 배분할지 다뤘습니다. 데이터와 모델에 쓸 자원을 함께 설계해야 한다는 결과이지, 데이터만 늘리면 된다는 처방은 아닙니다. 데이터를 처리할 계산과 적절한 학습 방법이 없다면 데이터의 잠재적 가치도 실현되지 않습니다. Hoffmann 외, 2022
잘못된 규칙을 배우는 문제도 있습니다. 지름길 학습(shortcut learning)은 모델이 학습·평가 환경에서 잘 통하지만 다른 조건에서는 실패하는 단서에 기대는 현상입니다. 표면적인 라벨이 정확해도, 데이터의 구성에 우연한 상관관계가 반복되면 의도와 다른 규칙을 배울 수 있습니다. 같은 분포에서 높은 정확도를 얻는 것만으로 현장 성능을 확신하기 어려운 이유입니다. Geirhos 외, 2020
합성데이터도 생산량만으로 판단하기 어렵습니다. 모델이 만든 데이터를 다음 세대 학습에 재귀적으로 사용하면서 원래 분포의 일부를 잃는 ‘모델 붕괴’가 연구됐습니다. 반면 초기 데이터와 이전 세대의 데이터를 유지하며 새 합성데이터를 누적한 일부 실험에서는 성능 저하를 피하거나 줄인 결과도 나왔습니다. 합성데이터의 효과는 무엇을 대체하고 보존하는지, 생성과 검증을 어떻게 하는지에 영향을 받습니다. Shumailov 외, 2024, Gerstgrasser 외, 2024
생성 비용이 낮아질수록 희소해질 수 있는 것은 새 문장의 수보다, 그 문장이 실제로 옳고 유용한지 확인하는 기준입니다. 다만 검증 자체가 비싸고 느리다면 데이터 사업의 원가에도 그대로 남습니다.
한국에서는 현장의 판단을 데이터로 옮기는 일이 중요합니다
한국에서 데이터의 중요성이 상대적으로 덜 조명되고, 양질의 데이터를 확보하기 어렵다는 문제의식에 공감합니다. 다만 이를 한국 전체의 데이터 수준에 대한 단정으로 넓힐 근거는 부족합니다. 산업과 기업, 업무마다 상황이 다를 것입니다.
공공 통계에서 확인되는 것은 더 제한적입니다. 중소벤처기업부의 2024년 스마트제조혁신실태조사에 따르면, 공장을 보유한 중소·중견기업의 스마트공장 도입률은 19.5퍼센트였고, 도입 공장의 75.5퍼센트는 기초 단계였습니다. 이 수치는 제조 현장의 디지털화 수준을 보여줍니다. 학습 데이터의 품질이나 한국 AI 전체의 경쟁력을 직접 측정한 수치는 아닙니다. 중소벤처기업부, 2025년 4월 발표
그렇다면 확인해 볼 가설은 구체적입니다. 현장에 경험과 정보가 있어도, 이를 학습 가능한 사례와 판단 기준, 결과 기록으로 연결하는 과정이 부족한 것은 아닐까요. 숙련자의 머릿속에 있는 예외 처리, 서로 다른 시스템에 흩어진 작업 기록, 판단 뒤에 벌어진 결과를 한데 묶어야 비로소 쓸 수 있는 데이터가 되는 경우가 있을 것입니다.
이 일에는 기회와 비용이 함께 있습니다. 한국의 특정 산업 현장을 깊이 아는 팀은 의미 있는 데이터와 검증 기준을 만들 수 있습니다. 그러나 현장마다 전문가가 처음부터 기준을 다시 만들고 데이터를 다시 연결해야 한다면 사업을 확장하기 어렵습니다. 첫 고객의 성공이 다음 고객의 구축 시간과 오류를 줄이는지까지 확인해야 합니다.
VC가 확인할 것은 데이터가 쌓인 뒤의 변화입니다
이 관점에서 데이터 기업을 보면 실사 질문이 달라집니다. 작업자 수와 처리한 라벨의 양은 생산 능력을 보여줍니다. 지속적인 경쟁력을 보려면 그 작업이 남기는 자산을 더 확인해야 합니다.
첫째는 도메인 판단입니다. 어려운 사례를 어떤 기준으로 나누고, 전문가의 의견 차이를 어떻게 다루며, 새로 발견한 오류가 지침에 어떻게 반영되는지 봐야 합니다. 좋은 사람이 몇 명 있다는 설명을 넘어 다른 팀원도 재현할 수 있는 체계가 필요합니다.
둘째는 데이터에 대한 권리입니다. 고객 데이터를 읽을 수 있다는 것, 해당 고객의 모델 개선에 쓸 수 있다는 것, 여러 고객에게 재사용할 수 있다는 것은 서로 다른 권한입니다. 계약이 허용하지 않는 데이터 축적을 경쟁력으로 계산해서는 안 됩니다. 고객이 떠났을 때 무엇을 유지할 수 있는지도 중요합니다.
셋째는 실제 결과와의 연결입니다. 사람이 승인한 답변만 남는지, 이후의 오류·재작업·반품 같은 결과까지 돌아오는지에 따라 배울 수 있는 것이 달라집니다. 결과가 늦거나 관측되지 않는 업무라면 중간 지표가 최종 성과를 얼마나 잘 대변하는지 검증해야 합니다.
넷째는 단위경제성입니다. 라벨 한 건의 원가와 함께, 고객이 받아들일 수 있는 품질에 도달하는 총비용을 봐야 합니다. 데이터 확보, 전문가 검토, 재작업, 모델 실행, 현장 설치 비용이 모두 들어갑니다. 매출이 늘 때 숙련 인력도 같은 비율로 늘어나는지, 반복할수록 검토 시간이 줄어드는지가 중요합니다.
가장 강한 반론은 모델의 발전입니다. 현재 비용이 큰 전문가 판단이 필요한 작업이 다음 범용 모델에서 기본 기능이 될 수 있습니다. 합성데이터와 자동 검증이 개선되면 기존 라벨링의 가격도 내려갈 수 있습니다. 고객이 데이터와 평가 기준을 그대로 다른 공급자로 옮길 수 있다면 전환 비용 역시 낮아집니다.
그래서 ‘우리만의 데이터가 있다’는 설명 다음에는 실험 결과가 따라와야 합니다. 최신 범용 모델만 썼을 때와 비교해 얼마나 개선되는지, 그 차이가 다른 고객과 새로운 시점에도 남는지, 같은 개선을 더 싸게 재현할 수 있는지가 핵심입니다. 데이터가 늘어도 성능과 원가가 개선되지 않거나, 모델 교체만으로 그 차이가 사라진다면 데이터 해자라는 가설을 다시 봐야 합니다.
판단을 축적하는 팀에 주목합니다
데이터 라벨링을 종합예술이라고 부르는 이유는 인간의 판단이 여러 층위에서 들어가기 때문입니다. 무엇을 배워야 할지 정하고, 적절한 사례를 고르고, 애매한 답을 구분하고, 실제 결과를 통해 기준을 고칩니다. 이 과정이 쌓이면 데이터와 함께 조직의 판단 능력도 축적될 수 있습니다.
‘data pill을 먹었느냐’는 질문에 하나의 답을 내릴 필요는 없을 것입니다. 더 구체적인 질문은 남습니다. 이 팀은 어떤 중요한 판단을 데이터로 옮길 수 있으며, 그 판단이 고객의 성과를 반복해서 개선한다는 것을 어떻게 보여줄 수 있을까요.
출처 노트: 도입부는 2026년 10월 6일 개인적인 대화에서 들은 표현과 그 대화에서 나온 문제의식입니다. ‘data pill’이 샌프란시스코 연구자 사회의 보편적인 용어라는 뜻으로 사용하지 않았습니다. ‘라벨링은 판단 설계’라는 관점과 사업적 시사점은 필자의 해석이며, 각 연구의 결과는 본문에 적은 실험 범위 안에서 인용했습니다. 제조·문서 사례는 설명을 위한 가상 사례입니다. 특정 기업이나 종목에 대한 투자 권유는 포함하지 않았습니다.