야, 이거 봤어? 재밌는 거 있어서—

Qwen3.6-35B-A3B 같은 모델을 싱글 GPU에서 돌리면서 처리량을 늘리고 싶을 때 말이야. 보통은 배치 사이즈를 늘리는 게 상식적이잖아? 그런데 딱 두 토큰만 처리할 수 있는 엔진에서, 무작위 사용자 시퀀스 두 개를 배치로 돌리는 것보다 토큰 하나를 미리 예측하는 추측성 샘플링(speculative sampling)이 더 많은 토큰을 생성했다는 거야. 심지어 예측 수용률이 0.9로 꽤 높은데도 말이지.

이게 무슨 얘기냐면, 막연히 무조건 크게, 많이 돌리면 좋을 거라는 생각에 한 방 먹이는 결과더라. 심지어 에디터도 "메모리 바운드 상황에선 배치 사이즈가 클수록 좋다"는 상식을 뒤집었다고 했어. 비결은 MoE(Mixture-of-Experts) 라우팅에 있었는데, 전문가들이 생각보다 균일하게 사용되지 않는다는 점이 작용했대. 그러니까 무작정 '넓게' 가는 것보다 '깊이' 있게, 똑똑하게 한 발짝 더 내다보는 게 효율적일 수 있다는 거지. 이건 우리가 LLM 최적화를 볼 때, 단순히 하드웨어 스펙이나 배치 사이즈 같은 양적인 접근이 아니라, 아키텍처와 알고리즘 단의 정교함이 얼마나 중요한지 보여주는 중요한 인사이트 같아.

명령 대신 목표, 검증하는 AI 팀

그런데 이 '깊이'의 개념이 AI와 우리가 일하는 방식에도 영향을 미 미치고 있더라. Claude Code는 아예 일하는 방식 자체를 바꿔버렸어. 예전에는 개발자들이 AI에게 명령어를 하나하나 쳐가며 코드를 짜게 했다면, 이제는 목표만 던지면 AI가 알아서 반복하고, 검사하고, 병렬로 움직이는 팀처럼 일한다는 거야.

핵심 기능들을 보면 `loop`로 정해진 간격마다 프롬프트를 다시 실행하고, `goal`로 조건을 걸어 턴이 끝날 때마다 확인해. 특히 중요한 건, 작업하는 모델과 판정하는 모델이 서로 다르다는 점이야. 작고 빠른 Haiku 같은 모델이 검사관 역할을 해서, AI가 "내가 다 했어!" 하고 우길 수가 없어.

여기에 `routines`로 노트북이 꺼져 있어도 클라우드에서 돌아가는 스케줄 기능과, `dynamic workflows`의 `/ultracode`로 최대 1,000개의 서브 에이전트가 병렬로 움직이며 코드베이스 버그 헌트나 보안 감사 같은 큰 일을 처리하는 방식도 있더라. 여기서도 발견을 만든 에이전트와 그걸 의심하는 에이전트가 따로 있고, 서로의 대화 기록을 공유하지 않는다고 해. 논문 심사위원처럼 말이지.

이건 우리가 AI를 쓰는 관점을 완전히 바꿔야 한다는 얘기야. 더 이상 마이크로 매니징하듯 프롬프트를 짜는 게 아니라, AI에게 목표와 검증 조건을 명확히 주고, 자율적으로 일하게 만드는 역할이 더 중요해진다는 거지. AI가 단순히 답을 내놓는 도구가 아니라, 스스로 판단하고 검증까지 하는 '팀원'으로 진화하고 있는 거야.

예측 불가능한 세상, 내가 통제할 수 있는 것에 집중하기

이런 급변하는 AI 세상 속에서 우리 같은 실무자들이 느끼는 불안감도 무시할 수 없어. 롱블랙 기사에서 어떤 브랜드 전략가가 매일 아침 AI 기사 검색으로 시작하지만, 결국 '뒤처지고 있나?' 하는 불안에 시달린다는 이야기가 나오더라. 정신과 의사 하지현 교수님은 이런 불안이 인간의 '선형 예측' 본능과 '이야기를 만드는' 본능 때문이라고 진단했어. 세상은 예측 불가능하게 바뀌는데, 우리는 계속 직선처럼 미래를 예측하고 불안을 없애기 위해 이야기를 만들어낸다는 거지.

이 교수님의 이야기가 AI 시대에 특히 와닿는 부분은, 지금처럼 너무 빠른 변화 앞에서 '어떤 모델이 최고고, 어디가 내년 시장을 먹을까?' 이런 선형 예측이나 거창한 이야기에 매달리는 건 결국 불안만 키울 수 있다는 거야. 대신 '최선을 고르지 말고 최악을 피해라'는 교수님의 조언이 우리에게 적용될 수 있어 보여. 끝없는 AI 경쟁 속에서 항상 '최고의 기술'을 찾아 헤매는 대신, 내 프로젝트에 '최악의 결과'를 가져올 만한 선택(예를 들면, 과도한 기술 부채, 불필요한 복잡성, 비현실적인 목표)을 피하는 데 집중하라는 거지.

결국, AI의 발전이 '무조건 더 크게'가 아니라 '더 깊이 있게, 더 똑똑하게' 나아가고 있고, AI와의 협업 방식도 '명령'에서 '목표 부여'와 '자율적 검증'으로 바뀌고 있다는 걸 알 수 있어. 그리고 이 모든 변화 속에서 우리가 불안에 휩쓸리지 않으려면, 외부의 거대한 파도에 휘둘리는 대신 내가 통제할 수 있는 것, 즉 우리 팀의 목표와 검증 기준, 그리고 나의 워크플로우에 집중하는 태도가 필요하다는 점을 다시금 생각해 볼 필요가 있겠더라.

우리는 이런 변화 속에서 어떻게 우리의 '선'을 지키며 효율적으로 일할 수 있을까?

참고

  • Width vs. Depth: Speculating on the Margin (blog.doubleword.ai)
  • 클로드 코드: 명령 없이 목표로 움직이는 AI 팀 (linkedin.com)
  • 심플의 발견 2부 : 정신과 의사 하지현이 실천하는 ‘불안과 싸우지 않는 법’ (longblack.co)