야, 이거 봤어? 맥 스튜디오에서 Qwen 3.5 122B 같은 대규모 모델을 돌리는데, 5만 토큰 넘어가면 첫 토큰 나오기까지 3~5분 걸린대. 이거 채팅이 아니라 거의 배치 잡 아니냐? 커피 한 잔 타 오면 그때서야 대답 시작한다는 건데, 아무리 모델 성능이 좋아도 실전에선 못 쓰는 수준이지.

대부분 사람들은 모델이 '좋다', '나쁘다', '새로운 모델이 나왔다' 같은 스펙에만 주목한다. 그런데 오늘 본 기사들을 쭉 훑어보니, 실제 AI 활용에서는 모델 자체의 성능만큼이나, 아니 어쩌면 그보다 더 중요한 게 바로 모델 '바깥'에서 일어나는 최적화와 활용 전략이라는 생각이 들었어. 결국 AI의 진짜 가치는 우리가 어떻게 쓰느냐에 달려있다는 얘기야.

'느려터진' 모델을 '데일리 드라이버'로 만드는 법

위에 얘기한 맥 스튜디오 사례가 딱 그래. 한 개발자가 겪은 문제인데, 처음엔 DS4 Flash 모델을 쓰다가 Qwen 3.5 122B로 바꿨다고 해. 이 모델은 M3 Ultra 메모리 대역폭에도 잘 맞고, 컨텍스트도 잘 이해하는 편이었어. 문제는 모델 자체보다 그걸 구동하는 스택에 있었어. 첫 토큰 지연 버그 3가지를 직접 디버깅해서 해결하기 전까지는 도저히 쓸 수가 없었던 거지.

이게 진짜 중요해. 아무리 훌륭한 오픈소스 LLM이라도, 그걸 우리 손으로 개인 하드웨어에서 돌리려면 단순히 모델을 다운로드하는 걸로는 부족하다는 뜻이야. 모델 스택 튜닝, 하드웨어와의 궁합, 그리고 직접적인 버그 수정까지, 이런 '보이지 않는' 작업들이 모델을 '쓸 수 있는' 상태로 만드는 결정적인 역할을 하는 거지. 단순히 GPU RAM만 늘린다고 해결될 일이 아니었다는 거야.

GPT-5.6도 피해 갈 수 없는 '설정의 함정'

그렇다면 API로 쓰는 클로즈드 모델은 어떨까? 다를까? 아니, 오히려 더 교묘할 수 있어. 최근 출시된 Codex CLI의 GPT-5.6 모델이 좋은 예시야. Sol, Terra, Luna 세 등급으로 나오면서 특히 Terra 등급은 GPT-5.5급 성능을 절반 가격에 준다고 해서 시장의 기대를 한 몸에 받고 있지. 컨텍스트 창도 105만 토큰으로 엄청나고.

그런데 빌더들 사이에서는 이 GPT-5.6 모델조차도 "왜 성능이 기대만 못 하고, 쿼터는 또 왜 이렇게 빨리 소모될까?" 하는 불만이 나왔다고 해. 원인을 찾아보니, 모델 자체의 문제가 아니었어.

핵심은 두 가지였어. 첫째, 기본 시스템 프롬프트. 여기에 "30초마다 진행 상황을 보고하라"는 명령이 있었는데, 이게 모델이 일정 길이에서 reasoning token을 스스로 줄이게 만들어서 성능 저하를 유발했대. 둘째, Sol Ultra의 서브에이전트 구조. 서브에이전트가 무분별하게 생성되고, 각 서브에이전트가 Sol Ultra로 동작하면서 컨텍스트 로딩, 추론, 툴 호출을 개별적으로 처리해 엄청난 토큰을 소모시킨 거지. 메인 에이전트 하나가 200개 넘는 서브에이전트를 만들 수 있는 구조였다고.

결국 빌더들은 시스템 프롬프트를 교체하고 (`gpt-base-instructions.md`), `config.toml`에서 서브에이전트 생성 깊이나 동시 실행 스레드 수를 제한하는 식으로 문제를 해결했어. 모델 자체를 건드린 게 아니라, 모델을 둘러싼 시스템 설정과 프롬프트 엔지니어링으로 성능과 비용을 둘 다 잡은 거야.

모델 스펙보다 중요한 우리의 역할

이 두 가지 사례에서 우리가 배워야 할 건 명확해. AI 모델의 발전은 계속 되겠지만, 그걸 우리 업무와 워크플로우에 제대로 녹여내려면 모델 스펙만 보고 있을 때가 아니라는 점이야.

로컬에서 LLM을 돌리든, API로 최신 모델을 활용하든, 그 모델이 실제로 작동하는 소프트웨어 스택, 시스템 설정, 프롬프트 구조, 그리고 에이전트의 오케스트레이션까지 깊이 이해하고 우리 손으로 튜닝할 줄 알아야 한다는 거지. GPT-5.6처럼 파격적인 가격에 고성능 모델이 나와도, 그걸 제대로 활용하지 못하면 그 잠재력을 100% 뽑아내기 어려워. 오히려 잘못된 설정 때문에 불필요한 비용만 더 많이 나갈 수도 있고.

이제는 "어떤 모델을 쓸까?" 만큼이나, "이 모델을 어떻게 설정하고, 어떤 프롬프트로, 어떤 아키텍처 위에서 돌릴까?"에 대한 깊은 고민과 실질적인 개입이 필요해. AI를 쓰는 건 더 이상 '블랙박스'에 질문 던지는 수준이 아니라, 직접 파고들고 고쳐가며 우리에게 최적화된 도구로 만들어가는 과정이야.

당신의 AI 워크플로우는 얼마나 깊게 파고들어 최적화했어?

참고

  • Fixed three bugs that made Qwen3.5-122B a daily driver on Mac Studio 2026-07-11. https://mrzk.io/posts/qmlx-maximising-ai-psychosis-minmaxing-mac-studio/
  • Codex GPT-5.6: 3등급 모델, 파격적 가격으로 (by 정상록 (Sangrok Jung)) 2026-07-11. https://www.linkedin.com/feed/update/urn:li:activity:7481375846125985793/
  • GPT 시스템 성능·비용 문제, 빌더의 해법 (by 이정민 (Jeongmin Lee)) 2026-07-11. https://www.linkedin.com/feed/update/urn:li:activity:7481608806032953344/