야, 이거 봤어? Prized라는 스타트업인데, 팀에 개발자 없다고 엑셀로 버티던 내부 툴 개발, 이제 진짜 달라질지도 모르겠어. 비개발 직원이 자기가 필요한 툴을 말로 설명하기만 하면, AI가 회사 데이터에 안전하게 연결된 풀스택 앱을 자동으로 만들어준대. API 키나 커넥터 관리 없이 말이지.

예전 같으면 "이거 혹시 보안 구멍 되는 거 아니야?" 싶잖아? 그런데 Prized는 에이전트가 외부 커넥터로 보내는 모든 호출을 'LLM 심사관'이 검토한다고 하더라고. 보안적으로 위험한 작업은 LLM이 막아준다는 거야. 이거 보고 확 와닿는 게 있었어.

AI는 이제 '판단'을 넘어 '안전하게 행동'한다

이 Prized의 "LLM 심사관" 대목이 진짜 중요해. AI 에이전트가 단순히 코드를 생성하고 앱을 배포하는 걸 넘어, 회사의 중요한 데이터에 접근하고 실제 작업을 수행할 때 '보안 가드레일' 역할까지 한다? 이게 핵심이거든. 개발자 리소스가 부족해서 방치되던 워크플로우를 AI가 해결해주는 건 좋은데, 거기서 나오는 보안 리스크를 다시 AI로 막는다는 생각인 거지.

그런데 여기서 의문이 드는 건 당연해. "이 LLM 심사관이 얼마나 신뢰할 수 있을까?" 하는 거 말이야. 실제로 에이전트가 의도치 않게 민감한 데이터에 접근하거나, 위험한 명령을 날리는 걸 LLM이 제대로 잡아낼 수 있을까? 이런 질문에 답을 던져주는 게 MS의 새로운 모델 이야기야.

MS가 첫 사이버 보안 AI 모델인 'MAI-Cyber-1-Flash'를 내놨거든. 이 모델이 CyberGym 취약점 벤치마크에서 96%라는 엄청난 점수를 받았어. Anthropic의 Mythos보다 12점이나 높은데, 비용은 절반 수준이라잖아. 이걸 보면, 특정 도메인, 특히 '보안' 같은 민감하고 전문적인 영역에서는 이제 일반적인 LLM이 아니라, 이렇게 특화되고 고성능으로 튜닝된 AI 모델이 등장하고 있다는 거야. Prized의 LLM 심사관도 결국 이런 전문화된 모델이어야만 신뢰할 수 있다는 이야기지. AI 에이전트가 행동하는 시대에, 그 행동의 '안전'을 보장하는 AI의 역할이 더욱 중요해지는 거야.

에이전트가 넓어진다는 건 통제 지점도 달라진다는 것

단순히 회사 업무뿐만이 아니야. 아이폰에서 진짜 리눅스를 돌리는 AI 에이전트 앱, 'OpenMinis' 소스 코드가 공개된 것도 같은 맥락으로 보이더라. 이 앱은 챗봇에 리눅스 터미널을 얹는 걸 넘어, 리눅스 에이전트가 아이폰의 모든 기능을 명령줄에서 직접 제어할 수 있어. 건강 데이터 기록, 텔레그램 메시지 정리, 심지어 부동산 시장 조사 스크립트 작성까지 휴대폰 속 개인 데이터와 셸 실행 능력이 결합된 거야.

이것도 에이전트의 '행동'이 어디까지 확장될 수 있는지를 보여주는 사례인데, 여기서 흥미로운 건 '통제' 방식이야. OpenMinis 앱은 무료인데, 모델은 사용자가 직접 API 키로 붙이는 방식이거든. Claude, GPT, Gemini 등 본인이 쓰고 싶은 모델을 직접 연결하고 그 비용을 내는 식이야. 이는 개인이 자신의 AI 에이전트에 대한 제어권을 더 강하게 갖는다는 의미이기도 해. 회사 내부 툴처럼 중앙에서 관리되는 보안 시스템은 아니지만, 에이전트의 작동 방식과 비용을 사용자가 직접 결정함으로써 개인 차원의 '자유와 책임'을 부여하는 거지.

AI 에이전트가 점점 더 많은 자율성을 갖고 광범위한 영역에서 '행동'하기 시작하는 이 시점에서, 우리의 고민은 더욱 깊어져야 해. 회사든 개인이든, AI 에이전트에게 어디까지 권한을 줄 것인지, 그리고 그 행동의 결과에 대한 책임은 누가 어떻게 질 것인지 말이야. 우리가 AI 에이전트를 어디까지 믿고 어떤 역할을 맡길지, 그 기준점을 다시 생각해봐야 할 때가 온 거지.

참고

  • Launch HN: Prized (YC S26) – Let non-engineer staff build secure internal tools
  • 아이폰 리눅스 AI 에이전트, 코드 공개로 개인 자동화 급부상 (by 정상록 (Sangrok Jung))
  • LAUNCHED: Microsoft has released MAI-Cyber-1-Flash, its first cybersecurity model. (by TheRundownAI)