야, 이거 봤어? 클로드 코드 쓰면서 `system prompt`나 `tools` 영역에서 우리가 의식하지 못하는 사이에 수만 토큰이 '투명 인간'처럼 빠져나가고 있었다는 얘기. 충격적이지 않아?

Matt Pocock이라는 분이 발견한 내용인데, 클로드 코드 세션에서 `/context`만 쳐보면 숨어있던 토큰 사용량이 주르륵 나온다고 해. 여기서 `tools` 영역이 가장 큰 문제라는데, 한 번도 안 쓰는 툴 정의가 매 턴마다 컨텍스트에 딸려 들어간다는 거야.

클로드 코드를 쓸 때마다 숨겨진 토큰 비용이 빠져나가고 있었다

생각해봐. 우리가 코드나 아이디어를 AI에 넣을 때마다, 매번 사용하지도 않는 툴 정의 수십, 수백 줄이 함께 전송되고 있었다는 거지. 이게 다 토큰이고, 다 돈이야. 챗GPT나 다른 LLM에서도 비슷하게 불필요한 시스템 프롬프트나 컨텍스트가 낭비되고 있을지 모른다는 생각에 등골이 오싹하더라.

이걸 막는 방법도 제시됐는데, 아주 간단해. `~/.claude/settings.json` 파일에 `disableBundledSkills`, `disableWorkflows` 같은 플래그를 넣어서 불필요한 번들 스킬이나 워크플로우를 통째로 끄는 거야. 특정 툴을 제거하고 싶으면 `permissions.deny`에 툴 이름을 적으면 되고. 이렇게 1분만 투자하면 매 턴마다 나가는 수만 토큰을 아낄 수 있대.

이게 뭘 의미하냐면, 우리가 AI 툴을 쓸 때 단순히 프롬프트만 잘 쓰고 모델 성능만 따지면 안 된다는 거야. AI 툴 자체가 어떻게 동작하고, 어떤 숨겨진 비용 구조를 가지고 있는지 이해하고, 그걸 우리 목적에 맞게 능동적으로 '최적화'해야 한다는 거지. AI가 아무리 똑똑해도, 우리가 그 내부를 들여다보지 않으면 알게 모르게 돈이 새는 곳이 생긴다는 사실이 좀 씁쓸하기도 하고.

AI는 이제 '도구'가 아니라 '맞춤형 시스템'이다

여기서 한 발 더 나아가 보면, AI를 활용하는 방식 자체에 대한 이야기도 할 수 있어. Claire Vo가 "It’s not the model, it’s the harness"라고 말하는 것처럼, 이제 AI는 단순히 범용적인 '도구'가 아니라 우리 업무에 특화된 '맞춤형 시스템'으로 진화하고 있어.

그녀는 Claude Agent SDK를 사용해서 Sentry 버그 디버깅 '하네스'를 직접 만들었어. Sentry에서 버그가 발생하면, 이 하네스가 자동으로 증거를 수집하고, 근본 원인을 분석하고, 심지어 후속 작업(아티팩트 생성)까지 처리해주는 거야. 개발자가 "에이전트님, 이 버그 좀 고쳐주세요"라고 일일이 타이핑할 필요 없이, 시스템이 알아서 작동하는 거지.

이게 바로 '하네스'의 핵심이야. 반복적이고 구조화된 우리 회사만의 특정 워크플로우를 AI에 맞게 디자인하고, 필요한 외부 시스템(Sentry, Linear, GitHub 등)과 연결해서, AI가 스스로 판단하고 행동하게 만드는 거지. 제미니가 솔로프러너나 소상공인의 워크플로우를 가속화하는 사례도 비슷한 맥락에서 볼 수 있어. AI를 특정 비즈니스 도메인에 깊숙이 파고들게 해서, 맞춤형 인사이트를 제공하고 반복 작업을 자동화하는 거니까.

AI를 '블랙박스'가 아닌 '설계도'로 보는 시선

결국 두 기사 모두 우리에게 중요한 메시지를 던지고 있어. AI 모델 자체의 성능 경쟁을 넘어, 이 모델을 우리 환경에 어떻게 '핏'하게 만들고 '효율적으로 운영'할 것인가에 대한 고민이 필수적이라는 거지.

불필요한 토큰 비용을 줄이는 것도, 특정 업무를 위한 하네스를 구축하는 것도, 모두 AI를 단순히 '블랙박스'처럼 쓰지 않고, 그 내부를 이해하고 우리 목적에 맞게 '설계'하고 '조립'하는 과정이야. 이제는 프롬프트 엔지니어링을 넘어, AI 시스템 엔지니어링의 관점으로 AI를 바라봐야 할 때가 온 것 같아.

우리 팀의 AI 워크플로우는 지금 얼마나 '블랙박스' 상태로 돌아가고 있을까? AI를 더 잘 쓰기 위해, 우리만의 하네스를 구상해볼 시점 아닐까?

참고