야, 이거 봤어? 앤스로픽이 클로드 시스템 프롬프트 80%를 날려버렸대. 근데 성능 저하가 없다는 거야. 솔직히 나 "프롬프트 더 잘 써야지" 생각했는데, 뒤통수 맞은 기분이었어.
보통 에이전트 잘 만들려면 뭘 더 추가하고, 더 복잡하게 쌓아야 한다고 생각하잖아? 하네스, 루프, 그래프 같은 구성 요소들을 더 견고하게 만들어야 한다고 말이지. 근데 이 기사는 정반대를 이야기해. 불필요한 지시들이 오히려 모델을 혼란스럽게 하고, 비효율을 만든다는 거지. 지시가 서로 부딪히면 모델은 답을 내기도 전에 그 충돌부터 정리하느라 생각을 낭비한다는 거야. 결국, 에이전트 개발의 성숙은 복잡성을 덜어내고 핵심만 남기는 데 있다는 역설적인 깨달음이야.
불필요한 낭비를 찾아 없애는 시대
이런 비효율을 돈으로 계산해주는 툴도 나왔어. 'Wattage'라는 건데, AI 에이전트가 어디서 토큰을 낭비하는지 정확히 찾아내고, 심지어 CI(Continuous Integration)에 통합해서 비용이 늘어나면 빌드를 실패시킬 수도 있대. 마치 우리 집 가전제품 전력 소모량을 재는 Kill-A-Watt 미터 같다는 표현이 딱 와닿았어. Wattage는 캐시해야 할 프롬프트 접두사를 계속 다시 보내는 패턴이나, 의미 없는 루프를 도는 에이전트의 비효율을 잡아내고, 실제 비용으로 환산해서 보여줘. 어떤 부분에서 44.7%의 비용 절감 효과를 볼 수 있는지까지 시뮬레이션해준다고 하니, 이건 정말 실무에 바로 적용할 수 있는 강력한 도구잖아? 더 이상 토큰 낭비를 감으로 때려잡을 필요가 없어진 거야.
일하면서 배우지 못하는 천재 AI
근데 비용 효율만 따질 게 아니더라고. 구봉 님 글을 읽어보니까, 에이전트가 지금 일하는 방식 자체가 어마어마한 비효율 덩어리라는 생각이 들었어. 우리는 AI를 엄청 똑똑한 대학원생이라고 생각하잖아? 근데 그 천재가 실제 현장에서 일은 엄청 많이 하는데, 그 경험을 자기 학습에 전혀 반영하지 못하고 있대. 매번 '클래스룸 케이스 스터디'만 반복하는 격이라는 거지.
지금 AI는 전 세계에 배치돼서 실제 업무를 수행하고 있잖아? 어떤 조직이 어떻게 움직이고, 사람들이 AI를 어디에 사용하고, 어떤 실수를 반복하는지 전부 보고 있단 말이지. 이건 사전학습 데이터나 만들어진 RL 환경에서는 얻기 어려운 귀한 정보인데, 세션이 끝나면 이 경험은 대부분 사라져버려. Dwarkesh는 이걸 "인턴십을 한 번도 허락받지 못한 천재 대학원생"에 비유하는데, 진짜 공감됐어. AI 연구소가 사용하는 컴퓨팅 자원의 30~50%가 추론(inference)에 쓰이지만, 거기서 얻은 가장 귀한 경험은 모델 자체를 개선하는 데 거의 돌아가지 않는다는 지적은 충격적이었지.
경험을 '직관'으로 압축하는 새로운 학습 방식
그럼 어떻게 해야 할까? Dwarkesh는 'on-policy self-distillation (OPSD)' 같은 방법을 제안해. 긴 시간 일하며 컨텍스트를 쌓은 베테랑 모델을 '선생님'으로 두고, 기본 모델이 같은 문제에서 이 선생님과 비슷한 판단을 하도록 학습시키는 거지. 이건 단순히 최종 성공과 실패라는 보상만 기다리는 게 아니야. 선생님과 학생이 각 토큰에서 얼마나 다른 판단을 하는지 비교해서 더 촘촘한 학습 신호를 만들 수 있대. 업무 기록 전체를 외우게 하는 게 아니라, 같은 결과를 만드는 데 필요한 지식만 모델에 압축하는 거야.
더 나아가 'dreaming'이라는 대담한 아이디어도 있어. AI가 실제 업무에서 얻은 적은 경험으로 현실 시뮬레이터를 직접 만들고, 그 안에서 여러 전략을 반복해서 연습하는 거야. 마치 AI가 자신이 목격한 현실의 비디오 게임 버전을 만들고, 그 안에서 수천 번 연습하는 상상만 해도 대단하지 않아? 실제 세계에서 한 번 경험한 것을 시뮬레이터 안에서 수많은 학습 샘플로 바꾸는 거지.
결국, 이 모든 이야기는 "더 많이"가 아니라 "더 스마트하게"에 집중하는 것 같아. 단순히 양을 늘리는 시대에서 불필요한 건 덜어내고, 실제 경험에서 효율적으로 배우는 방향으로 AI 개발 패러다임이 바뀌는 걸 보여주는 거지. 우리 팀의 에이전트나 AI 시스템은 지금 어디서 비효율이 생기고 있을까? 덜어낼 건 없고, 진짜 배워야 할 건 안 배우고 있는 건 아닐까? 한 번 진지하게 고민해볼 시점인 것 같아.