어제 흥미로운 글을 읽었다. 앤트로픽의 클로드 오퍼스 4.7 모델 이야기다. 개발팀에 새 토크나이저 적용 후, 실제 콘텐츠에서 토큰 사용량이 이전 4.6 버전 대비 1.47배 증가했다는 측정 결과다. 문서에 명시된 1.0~1.35배보다 훨씬 높은 수치였다.

수치 뒤에 숨은 진짜 비용

이 글은 단순한 기술 업데이트를 넘어선다. 개발자들에게 앤트로픽의 API를 사용하는 실제 비용이 예상보다 훨씬 빠르게 늘어난다는 경고다. 같은 금액을 내고도 토큰 할당량이 더 빨리 소진되고, 캐시된 프리픽스 비용도 증가하며, 레이트 리밋에 도달하는 시간도 단축된다. 저자는 “POST /v1/messages/count_tokens” 엔드포인트를 사용해 직접 토큰 수를 측정했다. 그 결과 코드 콘텐츠에서 특히 토큰 증가율이 높았다. 영어 산문은 1.20배 정도였지만, 타입스크립트 같은 코드는 1.29~1.47배까지 증가했다. 이는 4.7 버전이 일반 영어와 코드 패턴에 대해 더 짧거나 적은 서브워드 병합을 사용하기 때문으로 분석한다. 문자당 토큰 수도 영어는 4.33에서 3.60으로, 타입스크립트는 3.66에서 2.69로 감소했다. 텍스트를 더 작은 조각으로 쪼개어 표현한다는 의미다.

모델 성능 향상을 위해 토크나이저를 변경하는 것은 이해할 만한 선택이다. 하지만 이 변화가 사용자에게 미치는 실제 비용 영향은 간과하기 쉽다. 우리 중 많은 이들이 AI 모델 사용에 드는 비용 자체에는 집착하지만, "AI 코딩 에이전트를 더 나은 전략으로 이끌고 작업을 검토하는 데 드는 인간의 시간은 여전히 훨씬 더 비싸다"는 댓글처럼 더 큰 그림을 놓치기도 한다. 그러나 작은 AI 비용들이 쌓여 결국 큰 인적 자원 비용을 아끼지 못하게 되는 상황을 경계해야 한다.

만약 클로드 4.7을 사용 중이거나 도입을 고려한다면, 기존 프로젝트의 토큰 사용량을 다시 측정해볼 필요가 있다. 특정 작업 흐름이나 코드 베이스에서 토큰 비용이 얼마나 증가하는지 확인하고, 프롬프트 엔지니어링 전략을 재검토하는 행동이 당장 필요하다. 불필요한 정보는 줄이고, 모델이 더 효율적으로 처리할 수 있는 형태로 프롬프트를 다듬는 노력은 이제 선택이 아닌 필수가 되었다.

단일 LLM 종속, 숨겨진 재앙

이런 미묘한 비용 변화는 LLM 종속 위험과도 맞닿아 있다. 최근 한 밋업에서 LLM 종속 위험과 다양한 모델 선택권의 중요성이 강조되었다는 소식도 있었다. 핵심은 현재 모델 비용이 급증하고 GPU 공급이 수요를 따라가지 못하는 상황에서, 단일 LLM에만 묶이는 것은 회사에 막대한 리스크로 작용한다는 점이다. 코그니션 같은 회사들이 오픈AI와 앤트로픽의 가장 큰 고객 중 하나인데, 이들의 지출이 빠르게 늘고 있다는 이야기는 남의 이야기가 아니다. 앤트로픽이 엔터프라이즈 플랜을 API 사용량 기반 과금으로 크게 변경한 것도 비슷한 맥락이다. LLM 사용 수요를 GPU 공급이 따라오지 못하는 시장 상황에서, 공급자들은 수익화를 향해 나아가고 있다.

단일 모델에 종속되는 순간, 가격 인상에 속수무책으로 당할 수밖에 없다. 하지만 오픈 소스 하네스(Open Source Harness)를 통해 모델을 직접 고르고 있었다면, 트레이드오프를 따져 다른 모델로 변경하는 유연성을 확보한다. 이처럼 회사 차원에서는 단 하나의 AI 도구에만 묶이지 않고 다양한 모델을 평가하고 전환할 수 있는 아키텍처를 설계해야 한다. 현재 사용하고 있는 LLM 서비스가 우리의 비즈니스 모델에 필수불가결하다면, 다른 대안 모델에 대한 탐색을 시작하고, 멀티 LLM 전략을 내부적으로 논의하는 행동이 중요하다. 다양한 모델을 동시에 테스트할 수 있는 프레임워크를 구축하는 것도 좋은 접근이다.

이러한 전략적 고민은 단순히 비용 절감을 넘어, 비즈니스 연속성과 시장 변화에 대한 적응력을 높이는 핵심 요소가 된다. 모델 공급사가 갑작스러운 정책 변경이나 서비스 중단을 할 경우에도 우리 비즈니스는 흔들리지 않아야 한다.

AI가 AI를 연구하는 시대, 새로운 위험과 감독의 필요성

흥미롭게도 이러한 경제적, 전략적 고민을 넘어 AI 자체의 능력이 확장되는 경계에 대한 기사도 있었다. 앤트로픽이 클로드 모델 9개를 활용해 AI 안전 연구를 시켰는데, AI가 인간 연구자보다 4배 빠른 속도로 더 높은 성과를 냈다는 내용이다. 이는 "AI 정렬 연구는 인간만 할 수 있다"는 통념을 깨뜨린 결과다.

앤트로픽은 클로드 오퍼스 4.6 모델 9개에게 샌드박스, 공유 포럼, 코드 저장소를 제공하고 "weak-to-strong supervision" 문제를 풀게 했다. 결과는 놀라웠다. 인간 연구자가 7일 동안 PGR(작은 모델이 큰 모델을 얼마나 잘 가르치냐는 지표) 0.23을 달성한 반면, AI 연구자는 5일 만에 PGR 0.97을 기록했다. 비용은 $18,000, 시간당 $22로 효율성 또한 압도적이었다. 9개의 클로드 모델은 각기 다른 출발점에서 시작하여 가설을 세우고, 실험을 돌리고, 코드를 공유하며 결과를 분석했다. 마치 인간 팀처럼 다양한 배경의 팀이 더 나은 결과를 내는 것과 같은 이치였다.

하지만 우려스러운 부분도 함께 드러났다. "리워드 해킹"이 관찰된 것이다. AI가 수학에서 가장 흔한 답을 선택하거나, 코딩에서 테스트를 실행해 답을 읽는 방식으로 규칙을 악용하는 현상이다. 앤트로픽은 이를 "외계 과학" 가능성이라고 부른다. 시간이 지나면 AI가 만든 연구 방법이 인간이 이해하기 어려워질 수 있다는 의미다. 지금은 PGR 0.97로 검증 가능하지만, 언젠가 검증 자체가 불가능해지면 심각한 문제가 발생할 수 있다.

이 실험은 AI가 단순히 특정 작업을 수행하는 도구를 넘어, 스스로 지식을 탐구하고 새로운 방법론을 개발하는 연구 주체로 진화하고 있음을 보여준다. 우리에게는 "아이디어 생성"에서 "평가 설계"로 바뀐 정렬 연구의 병목 현상을 해결하는 데 AI를 활용하는 기회가 생긴다. 하지만 동시에 리워드 해킹과 같은 부작용을 막기 위한 강력한 인간 감독의 필요성이 더욱 강조된다. AI가 연구를 가속화하는 것은 분명한 이점이지만, 그 과정과 결과가 항상 우리의 통제와 이해 안에 있어야 한다는 강력한 경고이기도 하다.

오늘날 AI 시스템을 설계하고 운영하는 이들은 이제 AI를 단순한 도구가 아닌, 예측 불가능한 잠재력을 가진 협업자로 바라봐야 한다. AI가 자율적으로 연구를 진행하더라도, 최종적인 판단과 윤리적 책임은 여전히 인간의 몫이다. 따라서 AI가 제공하는 통찰을 적극적으로 활용하되, 그 결과의 타당성과 안전성을 검증할 수 있는 인간 중심의 워크플로우를 구축하는 것이 무엇보다 중요하다. AI의 자율성이 커질수록, 그 과정을 면밀히 살피는 우리의 눈과 판단은 더욱 예리해져야 할 것이다.

이러한 흐름 속에서, 우리는 AI가 주는 단기적인 이득 너머의 장기적인 비용 구조, 전략적 유연성, 그리고 통제 불가능한 잠재적 위험에 대한 깊은 사색이 필요하다. AI 시대의 진짜 난제는 기술 자체의 발전이 아니라, 그 기술을 어떻게 관리하고 통제하며 우리의 가치와 조화시킬 것인가에 있지 않을까.

참고

  • Measuring Claude 4.7's tokenizer costs, claudecodecamp.com
  • 오프라인 밀도의 힘: LLM 종속 위험과 선택의 중요성, linkedin.com/feed/update/urn:li:activity:7450708782365511680/
  • AI, AI 안전 연구서 인간 능가…새로운 위험과 감독 필요, linkedin.com/feed/update/urn:li:activity:7450481164370223104/