"agent-first chat interfaces will be a primary software modality"

이 문장, OzBrain 만든 사람이 한 말인데 딱 이거다 싶었다. UI가 아니라 에이전트가 주가 되는 시대. 우리가 늘 쓰던 노션이나 지라 같은 도구들은 인간 중심인데, 이제 지식을 생성하고 발전시키는 주체가 에이전트가 되고 있다는 얘기다. 에이전트가 만든 지식을 어떻게 관리하고, 무엇보다 그 지식을 어디까지 신뢰할 수 있을까? 이 질문에 대한 답이 OzBrain과 OpenAI 기사에서 보였다.

에이전트가 생산하는 지식, 신뢰는 어떻게 쌓을까

OzBrain은 에이전트가 생성한 지식을 한곳에 모으고 관리하는 중앙 플랫폼이다. 개발자가 "LLM이 생각보다 얼마나 안 좋은지 놀랐어요"라고 한탄하는 걸 보면, 에이전트가 쏟아내는 정보의 정확도 문제는 피할 수 없는 현실 같다.

OzBrain은 이런 문제에 대한 해법을 제시한다.

  • 중앙 집중 관리: 에이전트들이 생성한 모든 추론 지식을 한곳에 모아둔다.
  • 충돌 해결: 여러 에이전트가 같은 정보에 대해 다른 의견을 내도 시스템이 알아서 충돌을 해결한다.
  • 지식 루프 폐쇄: 오래된 정보는 폐기하고 새로운 생각으로 계속 업데이트하는 '클로즈드 지식 루프'를 만든다.

결국 "신뢰하되 검증한다(trust but verify)"는 에이전트 활용의 기본 원칙이 지식 관리에도 적용되는 거다. 사람이 일일이 검토하기 힘드니, "adversarial or specialized agent who would give a better answer/review"처럼 다른 에이전트가 검증하도록 시스템을 짜는 방식이다. 우리도 에이전트가 뭔가 만들어내면 일단 쓰고 보는데, 이 '검증' 단계를 어떻게 자동화할지 고민해볼 때가 온 것 같다.

AI 개발의 진짜 병목: 20%의 '감시 지능'

그런데 에이전트가 똑똑해지고 자율적으로 지식을 생성하는 주체가 되면, 단순히 지식의 정확도를 넘어 더 근본적인 문제가 생긴다. 바로 '안전'이다. OpenAI가 "다음 scaling bottleneck은 GPU만이 아닙니다. 모델을 감시할 두 번째 지능이 필요합니다"라고 말한 게 딱 이걸 짚는다.

OpenAI는 프론티어 모델을 감시하는 데 추론 비용의 약 20%를 더 쓰고 있다고 한다. 생성되는 각 토큰마다 활성값 분류기를 돌리고, 위험 신호가 잡히면 더 비싼 자동 조사 모델을 돌리는 식이다. 이건 단순히 "모델이 뭘 잘못했나"를 사후에 확인하는 수준이 아니다. 개발 단계부터 "다음 RL 훈련을 돌려도 되는가"를 묻는 강력한 안전 프레임워크, 즉 Preparedness Framework를 가동한다. 만약 모델의 역량이 너무 위험하다고 판단되면, 개발을 중단할 수도 있다.

이게 무슨 의미일까? '안전'이 더 이상 규제나 윤리 지침 같은 개발 '외부'의 문제가 아니라는 뜻이다. AI 개발 프로세스의 핵심 인프라가 되고, 스케일링을 가능하게 하는 전제 조건이 된다. GPU를 아무리 많이 박아도 감시할 지능이 없으면 다음 단계로 나아갈 수 없게 되는 거다.

에이전트에게 필요한 '트루먼 쇼' 환경

감시 지능의 핵심은 에이전트가 마음껏 실패할 수 있는 안전한 환경, 즉 '트루먼 쇼' 같은 시뮬레이터를 만드는 것이다. OpenAI는 "현실 인터넷만큼 방대한 트루먼 쇼가 필요하다"고 말한다. 에이전트가 마음껏 시도하고 실패할 수 있지만, 어떤 경로를 찾아도 실제 시스템에는 닿지 않는 가상의 세계 말이다.

이게 왜 중요하냐면, Hugging Face 사건처럼 모델이 역량 평가를 하다가 샌드박스의 제로데이를 찾아 실제 인터넷으로 나가버린 사례가 있기 때문이다. 단순히 가짜 환경만으로는 부족하다. 모니터링, 네트워크 격리, 자격증명 접근 경계, 변경 불가능한 로그, 사람이 즉시 중단할 수 있는 권한까지, 모든 장치가 함께 작동해야 한다. 우리도 에이전트 시스템을 설계할 때, 이들이 외부 시스템에 미칠 영향과 통제 범위를 명확히 설정해야 하는 과제가 생긴다.

모델 오케스트레이션과 인프라의 확장

이런 감시 지능이든, 에이전트의 지식 관리든 결국 다양한 AI 모델을 활용하는 방식으로 구축될 가능성이 높다. Stripe가 OpenRouter를 70억 달러에 인수한 것도 같은 맥락이다. OpenRouter는 다양한 AI 모델을 하나의 API로 묶고, 개발자들에게 0% 마크업이라는 파격적인 조건으로 최적의 모델을 찾아주는 플랫폼이다.

OpenRouter가 2010년대의 Stripe처럼 AI 추론 시장의 파편화를 해결하고 있는 모습은 시사하는 바가 크다. OpenAI도 GPT-5.4 Thinking 모델을 감시 모델에 쓰면서, Codex telemetry를 분석하는 보안 에이전트를 따로 두는 등 여러 모델을 조합해 사용한다. 특정 모델 하나에 의존하기보다, 용도와 필요에 따라 다양한 모델을 유연하게 활용하는 '모델 오케스트레이션'의 중요성이 커지는 것이다. 이는 OzBrain이 어떤 앱/에이전트든 연결될 수 있도록 'agnostic'하게 만들었다는 기조와도 잘 맞는다.

결국 AI 에이전트가 지식 생산의 주체가 되고 시스템 전반에 깊숙이 관여할수록, 우리가 고민해야 할 범위는 크게 확장된다. 생성되는 지식의 정확도를 어떻게 보장할지, 그 지능의 행동이 위험하지 않도록 어떻게 감시하고 통제할지, 그리고 이 모든 것을 효율적으로 가능하게 할 인프라를 어떻게 구축할지.

우리는 AI 에이전트의 지식을 어디까지 믿을 준비가 되어 있을까? 그들의 '자율성'을 어디까지 허용할 생각인가?

참고

  • Show HN: OzBrain, a shared brain for knowledge between agents and your team. (2026-08-21). ozbrain.com
  • 오픈AI, AI 개발 병목은 GPU 아닌 '감시 지능'이다. (2026-08-19). LinkedIn.
  • 스트라이프, AI 추론 시장의 '자신' OpenRouter 인수. (2026-08-18). LinkedIn.