"야, 이거 봤어? Hoplite라는 스타트업이 YC에 나왔는데, 얘네 얘기가 진짜 흥미롭더라."

Hoplite 팀은 미래 개발이 '코드 리뷰' 대신 '제품 출력 리뷰'에 집중하고, 수백 개의 에이전트를 동시에 운영하는 방향으로 갈 거라 예상하더라. 처음엔 "그냥 클라우드 기반 코딩 에이전트잖아?" 했는데, 이 '제품 출력 리뷰'라는 말이 머리에 탁 박혔다. 결국 에이전트들이 코드를 짜고 테스트하면, 우리는 그 결과물만 보고 판단한다는 이야기다. 이게 현실이 될 줄이야.

에이전트가 만드는 '제품 출력'의 시대

Hoplite가 말하는 것처럼, 코딩 에이전트가 클라우드에서 돌아가며 기능을 개발하고 QA까지 한다. 개발자는 에이전트가 만든 새 사용자 흐름, 시각적으로 잘 구현된 기능, API 작동 여부 같은 제품의 최종 결과물을 확인하는 데 더 많은 시간을 쓴다는 이야기다.

OpenAI 닉 바우만의 사례를 보면, 이런 '제품 출력'의 범위가 얼마나 넓어질지 짐작간다. 그는 ChatGPT 코덱스 음성 인터페이스로 복잡한 작업을 한 번에 처리하고, 모바일에서 AI 워크플로우를 돌려 UGC 비디오 편집까지 자동화하더라. 50개의 원본 클립을 AI에 던져주고, 트랜스크립트 뽑고, 베스트 컷 고르고, 최종 비디오를 하룻밤 사이에 만들어내는 걸 보면서, '코드'가 아니라 '비디오'라는 결과물을 AI가 직접 만들어내는 모습이 인상 깊었다. 개발의 영역뿐만 아니라 콘텐츠 제작, 마케팅 등 다양한 분야에서 AI가 직접 '결과물'을 내놓고 우리는 그걸 평가하는 시대가 온다.

모델 성능의 진짜 무기는 '전용 하네스'에 있다

그럼 이렇게 수많은 에이전트를 돌리고 다양한 결과물을 최적화하려면 뭐가 중요할까? 단순히 좋은 AI 모델 쓰는 것만으로는 부족한가 싶더라. 여기 이정민 님이 쓴 글이 그 답을 주더라. 업스테이지 솔라 오픈 2 모델에 맞춰 전용 하네스를 개발했더니, 범용 하네스보다 훨씬 빠른 2분 50초만에 작업을 끝내고 비용도 $0.0167로 확 줄였다고 한다. 캐시 히트율도 93.97%로 훨씬 높고.

여기서 하네스(harness)는 AI 모델의 능력을 끌어내는 도구이자 워크플로우다. 쉽게 말해, 아무리 좋은 엔진이 있어도 그 엔진에 맞는 차체가 없으면 제 성능을 못 내는 것과 같다. 특히 한국어 줄바꿈 처리 같은 미묘한 부분까지 해결하는 걸 보면, 모델의 잠재력을 최대한 끌어내려면 모델의 특성을 정확히 이해하고 맞춤형 워크플로우를 설계하는 게 중요하다.

글에서 강조하는 것처럼, 인도의 Sarvam이나 프랑스의 Mistral 같은 곳에서도 자국 모델에 최적화된 전용 코딩 에이전트(Sarvam Code, Vibe for Code)를 개발하고 있다. 이건 전 세계적인 트렌드다. 범용 하네스로는 특정 언어나 특정 태스크에서 모델의 진짜 실력을 뽑아내기 어렵다는 뜻이다. 우리 개발자들이 에이전트를 도입할 때, 단순히 GPT-4o를 부르는 것만으로 끝나는 게 아니라, 우리 서비스나 도메인에 맞는 최적의 '하네스'를 어떻게 설계할 것인가를 고민해야 한다는 이야기다.

개발자의 새로운 역할: 에이전트 조련사, 결과물 심사관

이런 흐름을 보면, 우리 개발자들의 역할도 바뀐다. 과거에는 코드를 직접 짜고 디버깅하는 데 주력했다면, 이제는 에이전트에게 어떤 작업을 맡길지 지시하고, 그 에이전트가 만들어낸 '제품 출력'을 평가하고 검증하는 능력이 중요해지는 거지. 수백 개의 에이전트를 동시에 돌리면서 효율적인 QA를 설계하고, 우리 서비스에 최적화된 에이전트 워크플로우를 짜는 일이 핵심 업무가 될 거다.

솔직히 처음엔 '코딩 에이전트'가 개발자의 일자리를 뺏어갈 거라고 걱정했는데, 이제는 오히려 개발자가 '에이전트'라는 강력한 도구를 활용해 더 높은 수준의 문제 해결과 가치 창출에 집중하게 되는 것 같다. 코딩이라는 반복적인 작업을 에이전트에게 맡기고, 우리는 더 창의적이고 전략적인 '설계자'이자 '심사관'이 되는 거다.

우리 팀은 에이전트가 만들어내는 '출력'의 품질을 어떻게 평가하고, 어떤 지표로 관리할지 지금부터 논의해 보는 건 어때?

참고