야, 구글이 Gemini 3.7 Flash를 3주 만에 또 냈대. 가격은 반값인데 성능은 더 좋아졌다고 하네? 2026년 8월 13일 출시라니, 이 속도 진짜 미쳤지 않냐. 근데 더 재밌는 건, 이런 빠른 발전 이면에 AI가 대체 뭘 잘하는지에 대한 재밌는 시각이 나왔어.

AI는 생각보다 '기억력'이 좋다

어떤 기사에서 그러더라. AI가 어려운 수학 문제를 푸는 게 단순히 '똑똑해서'가 아니라, 우리 인간 뇌보다 훨씬 방대한 '작업 기억력' 덕분이라고. 인간은 두세 자리 숫자 암산하는 것도 버거운데, AI는 문제 전문부터 중간 과정, 버려진 접근법, 정의, 제약 조건까지 수백 가지 정보를 한 번에 '기억'하고 활용한대. 우리가 이걸 '탁월한 추론 능력'으로 보지만, 사실은 엄청난 양의 정보를 맥락 안에 계속 유지하는 능력이라는 거지. 종이가 우리를 똑똑하게 만들지 않지만, 우리의 작업 기억력을 확장시켜주는 것과 같은 이치다.

이게 무슨 뜻이겠냐. AI의 핵심 강점 중 하나가 결국 '엄청난 컨텍스트 처리 능력'이라는 거야. 수백, 수천, 심지어 백만 토큰이 넘는 컨텍스트 윈도우 안에 온갖 정보를 다 집어넣고 그걸 한 번에 처리하는 게 AI의 초능력이라는 거지.

성공하면 터지는 비용, 이젠 '내 것'을 소유해야 한다

근데 이 '초고용량 기억력'을 비즈니스에 제대로 활용하려면 마냥 API만 호출하는 방식으로는 한계가 있어. LinkedIn에서 정구봉님이 쓴 글을 봤는데, 핵심은 이거야. 처음에는 클로드나 GPT 같은 API 모델을 써서 빠르게 제품을 만들고 고객 반응을 보는 게 맞아. 그게 'higher floor'라고. 하지만 제품이 성공하고 고객이 그걸 핵심 기능으로 쓰기 시작하면 문제가 발생한다.

첫째는 비용이야. AI 호출이 늘어날수록 매출원가가 같이 늘어나. 직원 몇 명이 쓸 때는 토큰 비용이 미미하지만, 고객이 하루에도 여러 번 핵심 기능을 호출한다고 생각해 봐. 성공할수록 더 많은 돈을 태워야 하는 구조가 되는 거지. 단순히 토큰 가격만 보고 싼 모델로 바꿨다가, 자주 틀려서 사람이 다시 검토하고 수정하는 데 더 큰 비용이 들 수도 있다.

둘째는 속도(Latency) 문제다. 코딩 에이전트가 몇 분 걸리는 건 괜찮지만, 자동 완성 기능이 느리면 아무도 안 써. 많은 호출이 필요하고 실시간성이 중요한 기능이라면, 결국 자체 모델을 가져야 해.

셋째는 데이터 이점이야. 제품이 성공하면 고객의 사용 데이터가 회사만의 학습 자산이 되거든. 고객이 어떤 답을 고쳤는지, 어떤 액션이 실제 성과로 이어졌는지, 뭐가 틀렸다고 판단했는지 같은 데이터가 쌓인다. 이걸 외부 모델에 계속 의존하면 이런 독점적인 학습 기회를 놓치게 된다. 이걸 우리만의 '지능'으로 발전시킬 수 있는 환경이 필요하다는 거지.

결국 '모든 회사는 자기 모델을 소유해야 한다'는 말은, 파운데이션 모델을 처음부터 훈련하라는 게 아니야. 우리 회사의 업무와 고객에게 특화된 '지능'을 소유하고 발전시킬 수 있는 데이터, 평가(Eval) 시스템, 그리고 학습 환경(Environment)을 갖추라는 뜻이다.

모델 교체 주기가 '주 단위'라면?

이 모든 논의의 방점을 찍는 건 바로 AI 모델의 교체 속도야. 구글이 Gemini 3.7 Flash를 3주 만에 내놨고, 5개월 뒤면 도입 가격이 두 배가 된대. 이건 모델의 라이프사이클이 분기가 아니라 거의 '주 단위'로 짧아졌다는 뜻이야.

이게 진짜 중요한 인사이트다. 이젠 "어떤 모델이 가장 좋은가"를 따지는 게 의미가 없어졌어. '최고'인 모델은 다음 주에 또 다른 '최고'에 밀릴 수 있거든. 진짜 경쟁력은 "우리가 모델을 유연하게 갈아끼울 수 있도록 시스템을 설계했는가?"에 달렸다. 새로운 모델이 나오거나, 가격 정책이 바뀌거나, 성능이 더 좋은 모델이 나왔을 때, 우리 시스템이 얼마나 빠르게 그걸 도입하고 기존 워크플로우에 통합할 수 있느냐가 핵심이라는 거지.

기존에 최소 추론 설정을 쓰던 코드가 새 모델에서 에러가 날 수도 있대. 이런 사소한 변경점 하나하나도 빠르게 파악하고 대응할 수 있는 능력이 중요하다.

결국 '평가'와 '적응'이다

AI의 핵심은 어마어마한 '기억력'으로 수많은 컨텍스트를 처리하는 능력이고, 이를 우리 비즈니스에 최적화하려면 단순히 API만 쓰는 걸 넘어 우리만의 데이터와 평가 기준, 그리고 유연한 시스템을 소유해야 해. 그리고 이 모든 건 모델 교체 주기가 극도로 짧아지고 있는 현실 위에서 이뤄져야만 한다.

결국 우리 비즈니스의 진짜 '지능'은 모델 자체가 아니라, 그걸 얼마나 빠르고 정확하게 우리 상황에 맞춰 평가하고 적용할 수 있느냐에 달린 셈이지. 너희 팀은 지금 어떤 모델을 쓰고, 얼마나 자주 바꾸고 있어?

참고

  • AI has access to a vastly larger working memory than the human brain, Davide Piffer
  • AI 경쟁력 필수: API 넘어 자체 모델 소유로, 정구봉 (Goobong Jeong)
  • AI 모델 주간 교체: 시스템 설계가 경쟁력, 정상록 (Sangrok Jung)