AI는 빨라졌고, 나는 병목이 되었습니다

한동안 저는 AI를 능숙하게 활용하는 사람들 가운데, 기존과는 차원이 다른 생산성을 가진 계층이 등장할 것이라고 생각했습니다. 혼자서도 여러 사람의 일을 해내고, 훨씬 넓은 분야를 이해하며, 더 좋은 판단을 더 빠르게 내리는 사람들입니다. 조금 과장하면 ‘슈퍼휴먼’에 가까운 모습이었습니다.

그 가능성을 밖에서 구경하고 싶지는 않았습니다. 제 투자 가설과 근거를 쌓고, 리서치와 판단을 돕는 개인 시스템인 Thesis OS를 직접 만들고 활용해 온 이유이기도 합니다. 이 블로그에서 만들고, 쓰고, 투자하는 눈을 함께 갖고 싶다고 썼던 생각의 연장선입니다.

그런데 요즘 부딪히는 벽은 예상했던 것과 조금 다릅니다.

AI의 역량은 상당히 올라왔다고 느낍니다. 그럼에도 제가 기대했던 수준의 생산성에 도달하려면 무언가가 더 필요합니다. 자료가 만들어지는 속도와 제가 그것을 이해하고 판단하는 속도가 다르기 때문입니다.

AI는 빨라졌는데, 마지막에는 여전히 제 머리가 기다리고 있습니다.

이것은 문제를 해결한 사람의 성공담이 아닙니다. 직접 시스템을 만들고 쓰다가, 자신이 그 시스템의 병목이라는 사실을 받아들이는 과정에 관한 이야기입니다.

일을 넘겼다고 생각했지만, 판단은 모두 돌아옵니다

AI에게 리서치를 맡긴다고 가정해 보겠습니다. 시장 자료를 모으고, 경쟁사를 비교하고, 반대 논리를 찾고, 문서까지 만드는 일은 각각 나눠 맡길 수 있습니다.

그러나 결과가 돌아오면 다른 종류의 일이 시작됩니다.

이 자료는 믿을 만한가. 전에 검토했던 내용과 무엇이 달라졌나. 서로 다른 보고서의 결론은 왜 충돌하나. 이 변화가 내 기존 생각을 바꿀 정도인가. 지금 결정해야 하나, 더 기다려도 되나.

작성을 맡겼다고 해서 이 질문들까지 사라지지는 않습니다. 오히려 더 많은 결과물을 받을수록 제가 마무리해야 할 판단이 늘어날 수 있습니다. 사람 여러 명에게 일을 나누어 주고도 모든 세부사항을 직접 확인하는 관리자와 비슷한 구조입니다.

처음에는 이것을 정보 과잉의 문제로 생각하기 쉽습니다. 그렇다면 답은 더 짧은 요약, 더 깔끔한 화면, 더 똑똑한 비서일 것입니다. 물론 도움이 됩니다. 다만 제가 지금 의심하는 병목은 읽어야 할 문장의 양보다, 아직 끝나지 않은 판단의 수에 있습니다.

보고서가 짧아져도 ‘확인 필요’라는 질문이 계속 제게 돌아오면, 업무의 소유자는 여전히 저입니다. AI가 작업의 앞부분을 빠르게 처리하고, 저는 마지막 부분을 순서대로 처리하는 셈입니다.

슈퍼휴먼을 너무 개인의 능력으로 상상했습니다

제가 처음 그렸던 슈퍼휴먼에는 다소 순진한 가정이 있었습니다. AI가 정보를 더 잘 처리해 주면, 저도 자연스럽게 더 많은 것을 이해하고 더 많은 일을 결정할 수 있을 것이라는 가정입니다.

하지만 AI의 처리 능력이 늘어난 만큼 제 주의력과 이해력이 함께 늘어나는 것은 아닙니다. 더 빠르게 읽고, 더 오래 일하고, 더 좋은 요약을 받는 방식만으로는 제가 열어 놓은 모든 질문을 감당하기 어렵습니다.

그래서 기대하는 모습을 바꾸고 있습니다. 모든 것을 직접 이해하는 사람보다, 자신이 깊이 이해해야 할 문제를 고르고 나머지 일이 제대로 끝나도록 만드는 사람에 가깝습니다.

이렇게 생각하면 개인용 AI 시스템을 만드는 일은 조직을 설계하는 일과 닮아 있습니다. 일을 나누는 것만으로는 부족합니다. 누가 어디까지 끝낼 수 있는지, 어떤 예외를 올려야 하는지, 한 번 정한 기준을 언제 다시 검토할지까지 정해야 합니다.

모든 일이 저를 거쳐야 끝난다면, 저는 AI를 활용하는 동시에 AI의 중간관리자가 됩니다.

Thesis OS에서 더 추가해야 할 기능을 생각하기 전에, 무엇 때문에 계속 제 개입이 필요한지부터 봐야겠다고 느낍니다.

‘확인 필요’를 돌려주는 것과 일을 끝내는 것은 다릅니다

가령 두 자료의 숫자가 다르다는 사실을 발견했다고 해보겠습니다.

‘수치가 일치하지 않습니다. 확인이 필요합니다’라는 보고는 유용합니다. 다만 다음 행동을 정하고 원인을 찾는 일은 여전히 제게 남습니다.

반면 원자료를 대조해 기준일의 차이를 찾고, 수정 가능한 내부 표를 고친 뒤, 기존 판단에 영향이 없다는 근거까지 남긴다면 일의 상당 부분이 끝납니다. 물론 제가 미리 허용한 범위 안에서 처리한다는 전제가 있어야 합니다.

이 차이를 시스템의 기본 동작으로 만들고 싶습니다. 자료 부족은 먼저 자료를 보충하는 작업으로, 실행 오류는 먼저 복구하는 작업으로 돌아가야 합니다. 제게 올라오는 것은 그 과정을 거친 뒤에도 남는 실제 선택이어야 합니다.

한 번 내린 판단을 재사용하는 것도 같은 맥락입니다. 결론만 저장하면 새 자료가 올 때마다 다시 해석해야 합니다. 어떤 근거로 판단했고, 어느 조건에서 유효하며, 무엇이 바뀌면 다시 검토할지를 함께 남겨야 합니다.

새 기사가 나왔다는 이유만으로 어제의 판단을 매번 다시 열 필요는 없습니다. 반대로 해결되지 않은 중대한 위험을 ‘어제도 알린 내용’이라는 이유로 숨겨서도 안 됩니다. 반복 판단을 줄이되, 다시 판단해야 할 조건은 분명해야 합니다.

이것을 무조건 AI를 더 믿자는 주장으로 읽지는 않았으면 합니다. 틀렸을 때 되돌릴 수 있는 일, 결과를 검증할 수 있는 일, 사전에 범위를 정할 수 있는 일부터 맡기자는 뜻입니다. 중요한 투자 결정이나 외부 약속은 다른 기준으로 다뤄야 합니다.

제가 얻고 싶은 것은 무검토의 편안함이 아니라, 같은 검토를 계속 반복하지 않아도 되는 구조입니다.

덜 읽는 것과 더 깊이 이해하는 것은 다른 문제입니다

여기에는 한 가지 함정이 있습니다. 인지 부담을 줄이겠다고 AI의 결론만 받다 보면, 제 생각이 깊어지는 과정까지 사라질 수 있다는 점입니다.

투자자로서 이것은 피하고 싶은 결과입니다. AI가 그럴듯한 결론을 제시해도, 왜 그런지 설명할 수 없고 어떤 조건에서 틀릴지 모른다면 아직 제 판단이라고 보기 어렵습니다.

그래서 핵심 주제에서는 완성된 보고서보다 제 기존 생각의 어디를 고쳐야 하는지를 더 잘 알려주는 시스템이 필요하다고 느낍니다.

예를 들어 개인 에이전트 확산이 저장장치 수요를 늘릴 것이라는 가설을 검토한다고 가정해 보겠습니다. 시장 규모, 기술 구조, 공급 전망에 관한 보고서를 각각 받아도, 그 사이의 연결은 제가 만들어야 합니다.

그때 더 도움이 되는 질문은 이것일 수 있습니다. 에이전트 사용이 늘어난다는 사실이 정말 오래 보관하는 데이터의 증가로 이어지는가. 일시적인 연산이나 잠깐 쓰고 버리는 데이터가 늘어나는 것과는 어떻게 구분할 것인가.

이 연결이 약하다면 제 가설도 수정해야 합니다. 반대로 이를 뒷받침하는 근거가 생기면 같은 가설을 더 자신 있게 설명할 수 있습니다. 이것은 저장장치 수요에 대한 확정적 전망이 아니라, 어떤 설명을 받고 싶은지에 대한 예시입니다.

새로운 보고서를 하나 더 읽는 것과, 내 생각의 연결 하나를 더 정확하게 만드는 것은 다른 경험입니다.

저는 주변 업무에 쓰는 인지 비용은 줄이되, 핵심 가설을 이해하는 데 쓰는 힘은 남기고 싶습니다. 중요한 판단에서는 제 생각과 그것이 틀리는 조건을 먼저 짧게 적고, AI가 그 사이의 빈틈을 짚도록 하는 방식도 시도할 만합니다.

‘왜 그렇게 생각하는가’를 전부 맡기는 순간, 판단의 주도권도 함께 넘길 수 있기 때문입니다.

더 많이 시작할 수 있을수록, 무엇을 끝낼지 정해야 합니다

AI는 새로운 질문을 시작하는 부담을 크게 낮춰 줍니다. 궁금한 분야가 생기면 곧바로 조사를 맡길 수 있습니다. 저처럼 여러 주제에 관심이 많은 사람에게는 특히 매력적입니다.

다만 조사를 시작하는 비용이 낮아졌다고, 그 결과를 받아들이는 비용까지 없어진 것은 아닙니다. 가설을 만들고, 서로 연결하고, 반례를 확인하고, 생각을 바꾸는 일에는 여전히 제 시간이 필요합니다.

그래서 앞으로는 시스템이 넓게 수집하는 정보와 제가 직접 깊게 생각하는 질문을 분리하려고 합니다. 관심이 생긴 모든 주제를 곧바로 제 판단 대기열에 올리지 않는 것입니다. 지금 붙잡지 않을 질문에는 어디까지 검토했는지와 무엇이 생기면 다시 열지를 남겨 두면 됩니다.

그렇다고 현재 가설에 맞는 정보만 보겠다는 뜻은 아닙니다. 지금 하는 일과 직접 연결되지 않는 발견, 기존 생각을 불편하게 만드는 반론을 접할 여지는 지켜야 합니다. 반복 업무를 처리하는 시간과 낯선 가능성을 탐색하는 시간을 구분하고 싶습니다.

절약한 시간을 전부 새로운 조사 요청으로 채운다면, 저는 더 큰 시스템 안에서 같은 병목이 될 것입니다. 생산성 개선의 일부는 더 많은 일을 하는 데 쓰되, 일부는 한 문제를 오래 생각할 여유로 남겨야 합니다.

VC로서 AI 제품에 묻고 싶은 질문도 달라집니다

이 경험은 제가 AI 제품을 평가할 때 무엇을 확인하고 싶은지도 바꿉니다.

빠르게 답을 만들고, 많은 도구를 연결하고, 여러 작업을 동시에 처리하는 능력은 중요합니다. 그런데 그것이 실제 고객의 일을 얼마나 줄였는지는 별개의 질문입니다.

문서를 작성하는 시간은 줄었는데 검증과 수정에 비슷한 시간이 들 수 있습니다. 에이전트가 여러 작업을 시작해도, 예외가 생길 때마다 사용자가 맥락을 복원하고 다음 지시를 내려야 할 수도 있습니다. 이때 제품 시연에서 보이는 속도와 고객이 체감하는 생산성은 달라질 것입니다.

그래서 저는 앞으로 ‘얼마나 많은 일을 했는가’와 함께 ‘고객이 얼마나 개입해야 했는가’를 보고 싶습니다. 사람이 붙잡지 않아도 끝나는 일의 범위가 넓어지는지, 같은 예외가 반복되는지, 고객이 떠안는 확인과 복구 부담이 줄어드는지를 확인하고 싶습니다.

더 적게 개입하게 됐다는 사실만으로도 충분하지는 않습니다. 중요한 오류를 놓치거나, 필요한 반론이 걸러지거나, 잘못된 일이 조용히 실행됐다면 생산성이 좋아졌다고 보기 어렵습니다. 품질과 위험을 유지하면서 사람의 시간을 줄였는지가 중요합니다.

이 관점에서는 신뢰할 수 있는 위임을 가능하게 하는 기능도 제품 경쟁력의 일부가 됩니다. 고객의 판단 기준을 기억하고, 근거를 남기고, 허용된 일과 아닌 일을 구분하고, 실패했을 때 되돌릴 수 있게 만드는 능력입니다. 제게는 이런 기능이 화려한 시연을 위한 부가기능보다, 실제 사용을 지속하게 하는 조건으로 보입니다.

다만 이 경험을 모든 고객에게 일반화해서는 안 됩니다. 탐색 자체가 목적인 사람에게는 더 많은 제안이 가치일 수 있고, 위험이 큰 업무에서는 사람의 확인을 충분히 남기는 것이 맞습니다. 어떤 고객의 어떤 병목을 줄이는지, 실제 사용 과정에서 검증해야 합니다.

좋은 AI 제품은 사용자가 얼마나 많이 반응했는지가 아니라, 그 개입이 얼마나 필요하고 유익했는지로도 평가받아야 한다고 생각합니다.

제가 만들고 싶은 것은, 저를 덜 거쳐도 되는 시스템입니다

저는 아직 인지 병목을 해결하지 못했습니다. Thesis OS를 만들었다는 사실과, 그것이 제 사고를 충분히 증폭해 준다는 것은 같은 말이 아닙니다.

다음에는 기능을 하나 더 붙이기 전에, 반복해서 제 손이 가는 업무 하나를 골라보려고 합니다. 그때마다 제가 하는 일이 사실 확인인지, 같은 예외의 재승인인지, 정말 새로운 판단인지를 구분해 보는 것입니다. 그중 반복되는 개입을 하나씩 없애되, 중요한 오류와 새로운 기회를 놓치지 않는지 함께 확인해야 합니다.

제가 처음 상상했던 슈퍼휴먼은 모든 것을 더 빨리 읽고 더 많이 아는 사람이었습니다. 지금은 자신이 반드시 이해해야 할 문제를 깊이 이해하면서도, 나머지 일이 자신의 주의를 계속 요구하지 않도록 만드는 사람에 더 가깝다고 생각합니다.

모든 것을 맡기고 싶지는 않습니다. 다만 모든 것을 다시 확인하는 사람이 되고 싶지도 않습니다.

Thesis OS의 다음 버전이 잘 만들어졌는지는 보고서가 얼마나 늘었는지보다, 제가 붙잡지 않아도 끝나는 일이 늘었는지로 확인하고 싶습니다. 그리고 그렇게 확보한 시간에, 정작 제가 해야 할 생각을 더 깊게 하고 있는지 묻고 싶습니다.

---

이 글은 Thesis OS를 직접 만들고 사용하는 과정에서의 개인적 경험과 설계 가설입니다. 생산성 개선 효과를 계량적으로 검증한 결과는 아닙니다.