야, 이거 봤어? 코인베이스가 AI 토큰 사용량을 계속 늘리면서도 AI 관련 비용은 거의 절반으로 줄였다고 한다. 보통 이런 얘기 들으면 "어떻게 줄였지?" 하면서 일단 사용량을 막거나 비싼 모델 못 쓰게 하잖아? 그런데 코인베이스는 정반대 전략으로 성공했다는 게 흥미롭다.

AI, 일단 많이 쓰게 만드는 게 먼저다

코인베이스 AI 헤드는 매일 아침 거울 보고 "오늘 토큰을 더 어떻게 쓸까?"라고 묻는다고 해. "토큰을 아껴라"가 아니라 "토큰을 더 써라"는 거지. 더 많은 업무를 AI에게 넘기고, 코드, 리뷰, 의사결정 초안 같은 걸 AI로 만들게 했다는 거야.

당연히 이렇게 하면 비용이 많이 나오는데, 대부분은 여기서 사용량 cap을 낮추거나 예산 경고를 띄워서 비싼 모델 사용을 승인제로 바꾸잖아? 그런데 코인베이스는 이걸 실패 케이스로 본다. AI 도입률을 떨어뜨리기 때문이라는 거다. 대신, 1,000명이 넘는 엔지니어 조직에 탑다운 지시 대신 실제 워크플로우 안에 AI를 녹여 넣었다고 한다. 잘 쓰는 사람들의 방식을 분석해서 데모를 만들고, 슬랙 봇으로 반복 업무를 자동화하는 식이다.

실제로 PR(Pull Request) 리뷰 시간이 150시간에서 15시간으로 줄고, 100명의 엔지니어가 15분 만에 70개 PR을 푸시한 사례도 있다고 하니, 이들의 초기 확산 전략은 제대로 먹혔다.

비용 절감은 "기본 모델"과 "제품 설계"의 영역

사용량이 커지니까 진짜 문제가 보이기 시작했는데, 그건 토큰비 자체가 아니라 비싼 토큰을 쓰게 되는 '나쁜 기본값'이었다고 한다. AI를 많이 쓰는 조직에서는 모델 선택을 개인에게 맡기면 거의 항상 비싼 모델을 쓰는 경향이 있거든. 바쁘니까 익숙하고 안전해 보이는 걸 선택하는 거다. 그런데 실무자들은 그 비용 곡선을 보지 못한다.

여기서 코인베이스의 핵심 인사이트가 나온다. `usage cap`이 아니라 `better default`가 필요하다는 거다. 비용 관리를 중앙 통제의 문제가 아니라 '제품 설계' 문제로 본 것이다. LLM 게이트웨이를 통해 어떤 모델을 기본으로 둘지, 어떤 작업을 어떤 모델로 보낼지, 어떤 컨텍스트를 유지하고 어떤 걸 버릴지, 같은 요청을 어떻게 캐시할지 정하는 문제 말이다.

코인베이스는 GLM 5.2, Kimi 2.7 같은 오픈소스 모델을 LLM 게이트웨이의 기본값으로 실험한다고 한다. 모든 일을 최신 프론티어 모델로 보내지 않는다는 거다. 프롬프트를 전처리하고, 캐시 가능성, 모델 가격, 작업 유형을 보고 라우팅하는 방식이다. 계획 수립이나 복잡한 문제 구조화 같은 정말 IQ maxing이 필요한 일은 비싼 모델이 맞지만, 이미 계획이 끝난 실행 단계는 매번 가장 비싼 모델이 필요하지 않다는 이야기다. 비싼 프론티어 모델은 이제 '전문가'처럼 필요한 곳에만 쓰는 거다.

오픈소스 모델과 전체 스택 최적화가 '기본'을 바꾼다

코인베이스의 'better default' 전략이 의미 있으려면 다양한 모델 선택지가 필수다. 그런데 마침 흥미로운 기사가 하나 더 있다. Semgrep에서 진행한 벤치마크 결과인데, Zhipu AI의 오픈소스 모델인 GLM 5.2가 IDOR(Insecure Direct Object Reference) 탐지 벤치마크에서 클로드 코드(Claude Code)를 능가하는 성능을 보였다는 거다. 심지어 Opus 4.8보다도 나은 결과를 냈다고 하니 놀랍지 않나?

물론 Semgrep 자체의 멀티모달 파이프라인(목적에 맞게 구축된 하네스에서 동작)보다는 낮았지만, 이 결과는 모델 자체의 성능 외에 '하네스(harness)' 즉, 모델을 둘러싼 주변 시스템의 중요성을 다시 한번 생각하게 한다. 오픈소스 모델도 적절한 환경과 설정이 뒷받침되면 비싼 상용 모델을 뛰어넘을 수 있다는 뜻이다.

이런 흐름은 DeepSeek의 행보를 보면 더 명확해진다. DeepSeek은 단순히 모델만 잘 만드는 회사가 아니다. 학습 인프라, 추론 최적화, 아키텍처 개선 등 AI 기술 스택 전반에 걸친 8가지 핵심 기술을 논문과 코드로 함께 공개하고 있다. DSpark로 추론 처리량을 50% 높이고 지연시간을 최대 80% 줄이고, DeepSeek-V4-Pro는 MoE 모델로 추론 연산량과 KV 캐시를 획기적으로 절감한다. Engram처럼 트랜스포머에 장기 기억을 붙이는 모듈을 만들거나, DSA 같은 스파스 어텐션으로 긴 컨텍스트 비용을 선형에 가깝게 줄이는 식이다.

이런 전방위적인 기술 최적화 노력들이 결국 코인베이스가 추구하는 '더 싸고 효율적인 기본값'을 가능하게 하는 밑바탕이 되는 셈이다. 이제는 단순히 "어떤 모델이 제일 좋은가"를 넘어, "어떤 모델을 어떻게 배치하고, 어떤 인프라로 돌려야 가장 효율적인가"를 고민해야 하는 시대가 온 것 같다.

우리도 AI를 더 많이, 더 똑똑하게 쓰면서도 비용은 합리적으로 관리하려면, 어떤 '기본'부터 설계해야 할지 고민이 된다.

참고

  • 정구봉 (Goobong Jeong), "AI 도입의 역설: 사용 늘리고 기본 모델로 비용 잡기", LinkedIn, 2026-06-28.
  • Semgrep Engineering Team, "GLM 5.2 beats Claude in our benchmarks", Semgrep Blog, 2026-06-28.
  • 이정민 (Jeongmin Lee), "R1을 넘어선 딥시크, AI 연구 8대 핵심 기술", LinkedIn, 2026-06-28.