AI가 코드 작성에 투입된 지 불과 12개월 만에, 업계에서는 소프트웨어가 전례 없이 취약해졌다는 목소리가 터져 나온다. 개발자들은 AI가 만든 코드로 인해 '코너에 몰렸다'고 고백한다. 마치 빠른 속도를 쫓다 예상치 못한 덫에 걸린 격이다. 기술 발전의 맹목적인 추구가 과연 우리를 어디로 이끄는가.
AI 에이전트, '빠른 개발'의 유혹이 만든 그림자
마리오 제크너(Mario Zechner)는 최근 자신의 글 Thoughts on slowing the fuck down에서 "Everything is broken"이라는 도발적 표현을 썼다. 그는 "98% uptime becoming the norm"이라며 소프트웨어 안정성 저하를 지적한다. 사용자 인터페이스에는 "the weirdest fucking bugs"가 만연하다. 업계 내부 소문은 더욱 심각하다. 한때 AWS에서 "AI caused outage" 루머가 돌았고, 비록 AWS는 이를 부인했지만, 내부적으로 "90-day reset" 지시가 내려졌다. 마이크로소프트 CEO 사티아 나델라(Satya Nadella)는 AI가 작성한 코드의 양을 강조했으나, 윈도우 운영체제의 품질 저하에 대한 사용자 불만은 오히려 커지고 있다. 마이크로소프트는 결국 "fine blog post"를 통해 윈도우 11의 품질 문제를 인정하는 듯한 모습까지 보였다. 실제 일부 기업들은 "100% of their product's code is now written by AI"라 자랑하지만, 결과는 "memory leaks in the gigabytes, UI glitches, broken-ass features, crashes"를 연발하는 "worst garbage"였다고 제크너는 꼬집는다.
이러한 현상은 자동화된 '에이전틱 코딩(agentic coding)'에 대한 맹목적인 신뢰가 원인이다. 개발자들은 "no code review", "design decisions delegated to the agent", "a gazillion features nobody asked for" 상태로 코드를 프로덕션에 투입한다. 인간의 비판적 검토와 설계 개입이 사라지면서, AI 에이전트의 한계와 실수가 그대로 시스템에 반영된다. AI가 아무리 많은 코드를 빠르게 생성해도, 그 코드가 '잘' 만들어지지 않으면 의미가 없다. 오히려 문제만 증폭한다. '빨리' 만들어진 코드가 '잘' 만들어진 코드가 아니라는 근본적인 문제를 개발 문화가 간과했다.
기술 부채는 기하급수적으로 늘어난다. 유지보수 비용은 급증하고, 치명적인 보안 취약점도 생긴다. 결국 단기적 생산성 향상은 장기적인 시스템 불안정성과 개발 조직의 효율 저하로 이어진다. AI가 만들어낸 복잡한 코드는 인간 개발자의 이해와 통제 범위를 벗어난다. 이는 기술 스택 전반의 신뢰도를 무너뜨리며, 궁극적으로 개발 조직과 기업 전체의 경쟁력을 약화시킨다. AI 에이전트의 도입은 신중한 접근과 지속적인 인간의 개입을 요구한다.
AI가 만든 결함, 플랫폼의 법적 책임으로 연결되다
이런 기술적 결함은 단순히 내부 문제로 끝나지 않는다. 최근 뉴멕시코 법원 배심원단은 Meta가 자사 플랫폼에서 아동 성 착취 위험을 경고하지 않고 예방에 실패했다는 혐의로 유죄 평결을 내렸다. CNN 기사에 따르면, Meta는 "unfair and deceptive" 및 "unconscionable" 무역 관행을 위반하여 3억 7500만 달러의 손해배상을 명령받았다. 뉴멕시코는 2023년 Meta를 고소하며 페이스북과 인스타그램이 아동 성 착취의 "breeding ground"가 되었다고 주장했다. 이 평결은 기술 기업이 플랫폼 사용자 안전에 대해 책임을 지지 않을 수 없다는 강력한 선례를 남긴다. 현재 Meta와 다른 소셜 미디어 플랫폼들은 유사한 소송에 직면해 있다.
플랫폼 책임론의 강화는 시대적 흐름이다. 기술이 사회에 미치는 영향이 커질수록, 그 기술을 설계하고 운영하는 주체에게 더 큰 윤리적, 법적 책임이 부과된다. Meta 사례는 플랫폼의 설계가 사회적 문제를 유발할 때 법적 제재가 뒤따른다는 점을 명확히 보여준다. 여기서 중요한 질문이 발생한다. AI 에이전트가 생성한 콘텐츠나 코드가 의도치 않은 사회적 해악이나 기술적 결함을 야기할 때, 이 책임의 주체는 누가 되는가. AI 코딩 에이전트가 만든 버그나 보안 취약점이 사용자의 데이터 유출이나 시스템 마비로 이어진다면, 그 책임은 고스란히 서비스를 제공하는 기업에게 돌아온다. 아무리 AI가 코드를 썼다 해도, 법적 책임은 AI에 물을 수 없다.
기업들은 AI 기술 도입 시 기술적 효율성뿐 아니라 잠재적인 법적, 사회적 책임까지 함께 고려해야 한다. AI 에이전트가 생산한 코드라도, 결국 그 코드로 서비스되는 플랫폼의 최종 책임은 인간에게 있다. 규제 당국은 AI가 일으킬 수 있는 사회적 파장에 주목하며, 기술 기업에 대한 감시와 규제를 강화한다. 'AI에게 자율성을 줄수록 인간이 져야 할 책임의 무게도 함께 커진다'는 명제를 다시금 깨닫는다. 기술은 양날의 검이며, 그 칼날을 휘두르는 인간의 윤리적 판단이 무엇보다 중요하다.
AI 에이전트가 제공하는 편리함에 도취되기보다, 이 기술의 근본적인 한계와 잠재적 위험을 직시해야 한다. 당신이 지금 AI 에이전트가 만든 코드를 프로덕션 시스템에 사용 중이라면, 핵심 비즈니스 로직과 보안 관련 모듈에 대한 인간 개발자의 코드 리뷰를 의무화하라. AI는 도구일 뿐, 최종 책임은 언제나 인간의 몫이다. 그렇지 않으면 당신의 다음 릴리스가 예상치 못한 법적 책임과 기술 부채의 폭탄이 될 수 있다.