PyPI에 배포된 LiteLLM 1.82.7 및 1.82.8 버전은 겉보기에 평범한 라이브러리 업데이트였다. 그러나 이 새 버전은 `proxy_server.py` 파일에 은밀하게 숨겨진 악성 코드를 품고 있었다. 이를 설치한 개발자의 랩톱에서는 포크 밤(forkbomb)처럼 시스템 자원을 잠식하는 이상 현상이 발생했다. 불과 한 시간 전 배포된 버전에서 벌어진 일이다. AI 모델과의 상호작용을 간소화하는 이 도구는 의도치 않게 개발 환경을 위협하는 통로가 되고 말았다.

이 사건은 AI 기술의 폭발적인 발전 이면에 도사린 근본적인 질문을 던진다. 우리는 지금 새로운 컴퓨팅 시대를 열어가는 기술적 혁신을 목격한다. 하지만 동시에, 이 혁신의 기반을 흔들 수 있는 치명적인 보안 취약성과 복잡성에 직면하고 있다. AI가 그리는 미래는 밝지만, 그 그림자 역시 짙고 광범위하다.

AI 시대, 컴퓨팅 패러다임의 대전환

지금 우리는 AI 에이전트 시대를 대비하며 컴퓨팅의 모든 계층에서 근본적인 변화를 맞이한다. 이 변화는 하드웨어 설계에서부터 전력 인프라, 그리고 소프트웨어 최적화에 이르기까지 전방위적으로 일어난다. 단순히 AI 모델을 개선하는 것을 넘어, AI가 지속적으로 작동하고 상호작용하는 환경 자체를 재정의한다.

가장 눈에 띄는 변화는 실리콘 설계 분야에서 시작되었다. Arm은 35년 이상의 역사에서 처음으로 자사 실리콘 제품을 직접 선보였다. 바로 'Arm AGI CPU'다. 이는 에이전트 AI 클라우드 시대를 위한 새로운 기반으로, 랙 수준의 성능, 확장성, 효율성을 약속한다. 과거에는 인간이 컴퓨팅 시스템의 병목이었지만, 에이전트 AI 시대에는 소프트웨어 에이전트가 실시간으로 수많은 작업을 조율하며 의사결정을 내린다. 이 과정에서 CPU가 분산된 AI 시스템을 효율적으로 운영하는 핵심 요소로 자리매김한다. Arm은 더 이상 IP만 제공하는 것을 넘어, 생산 준비가 완료된 플랫폼 수준의 솔루션으로 AI 인프라 시장에서 영향력을 확대한다. 이는 AI 워크로드가 요구하는 독점적이고 최적화된 하드웨어에 대한 수요가 얼마나 높은지를 증명한다.

데이터센터의 전력 공급 방식도 AI의 요구에 따라 전환기를 맞이한다. IEEE Spectrum의 보도는 데이터센터가 AC(교류)에서 DC(직류)로 전환되고 있다고 전한다. 특히 엔비디아의 고밀도 컴퓨팅 랙은 800볼트 DC 전력 분배를 활용한다. AC 전력을 사용하는 기존 방식은 여러 번의 변환 과정을 거치며 에너지 손실이 발생한다. AI 워크로드는 전례 없는 전력 소비를 요구하며, 데이터센터 운영자들은 한 와트의 전력이라도 효율적으로 사용하려 애쓴다. DC 전력은 변환 단계를 줄여 에너지 효율을 높이고, 고밀도 컴퓨팅 환경에 더 적합한 안정적인 전력 공급을 가능하게 한다. 토마스 에디슨의 직류와 니콜라 테슬라의 교류 논쟁이 21세기 AI 데이터센터에서 새로운 국면을 맞이한 셈이다. 이 전환은 데이터센터의 설계, 냉각 시스템, 전력 인프라 전반에 걸친 막대한 투자를 요구하며, 에너지 효율을 극대화하는 기업들이 경쟁 우위를 확보한다.

동시에, 개인용 장비에서의 AI 모델 활용 역시 새로운 차원에 도달한다. Hypura는 Apple Silicon용 LLM 추론 스케줄러로, 제한된 메모리 용량을 가진 기기에서도 대규모 AI 모델을 실행하는 방법을 제시한다. 가령, 32GB 메모리의 Mac Mini에서 31GB Mixtral 8x7B 모델을 초당 2.2 토큰으로, 40GB Llama 70B 모델을 초당 0.3 토큰으로 실행하는 것이 가능하다. 기존 `llama.cpp` 같은 솔루션은 이런 모델을 메모리 부족으로 실행조차 할 수 없었다. Hypura는 모델 텐서를 GPU, RAM, NVMe 스토리지 계층에 접근 패턴, 대역폭 비용, 하드웨어 성능을 고려하여 지능적으로 배치한다. 예를 들어, 자주 접근하는 노름(norm)과 임베딩은 GPU에 고정하고, MoE(Mixture-of-Experts) 모델의 희소성(sparsity)을 활용하여 필요한 전문가 가중치만 NVMe에서 불러온다. 이러한 소프트웨어 최적화는 고성능 하드웨어뿐 아니라 소비자용 장비에서도 AI 모델의 활용을 대중화한다.

이러한 변화의 물결 속에서 Arm은 실리콘 공급자로서의 입지를 굳히며, 엔비디아와 같은 GPU 제조사는 새로운 전력 표준을 선도한다. Hypura와 같은 혁신적인 소프트웨어 개발자들은 제한된 자원에서 최대의 가치를 창출한다. 반면, 기존 AC 기반 전력 인프라에 의존하거나 소프트웨어 최적화 없이 하드웨어 스펙에만 기대는 기업들은 경쟁에서 뒤처진다. AI의 보편화는 이제 하드웨어와 소프트웨어의 경계를 허물고, 시스템 전체를 아우르는 혁신을 요구한다.

그림자 속으로: AI 시대의 공급망 취약성

AI 인프라가 빠르게 진화하고 확장되는 이면에는 눈에 보이지 않는 위험이 도사린다. AI가 더 많은 시스템에 통합되고 의존도가 높아질수록, 그 기반을 이루는 소프트웨어 공급망의 취약점은 더욱 치명적인 결과를 초래한다.

앞서 언급한 LiteLLM PyPI Compromise는 오픈소스 생태계가 가진 양면성을 여실히 보여준다. AI 모델과의 상호작용을 간소화하는 `litellm` 같은 라이브러리는 수많은 개발자에게 편의성을 제공한다. 그러나 이러한 핵심 도구의 배포 채널이 공격당하면, 광범위한 프로젝트에 악성 코드가 삽입될 수 있다. 이는 소프트웨어 공급망 공격의 전형적인 형태다. 공격자들은 코드 저장소, 패키지 관리 시스템, 또는 개발자 계정을 탈취하여 악성 코드를 심고, 이를 통해 수많은 사용자에게 접근한다. AI 기술의 확산과 함께 LLM 관련 도구의 사용이 급증하면서, 이러한 도구들은 공격자들에게 매력적인 표적이 된다. 하나의 취약점이 수백만 개의 시스템을 위협하는 파급력을 갖는다.

탈중앙 금융(DeFi) 분야에서도 이와 유사한 문제가 발생했다. Resolv hack은 2026년 3월 22일, 단 몇 분 만에 2,300만 달러(약 300억 원) 상당의 가치를 탈취당한 사건이다. 언뜻 보기에는 스마트 컨트랙트 익스플로잇처럼 보였으나, 실제로는 코드가 의도대로 작동했다. 문제는 오프체인 인프라에 대한 과도한 신뢰였다. 공격자는 권한이 있는 프라이빗 키를 탈취하여 Resolv의 스테이블코인 USR 8천만 개를 무담보로 발행했다. 스마트 컨트랙트는 유효한 서명만 확인했을 뿐, 발행량에 대한 최대 한도를 강제하지 않았다. 이 사건은 DeFi 시스템이 블록체인 내부 보안 외에 외부 서비스, 권한 있는 키, 클라우드 인프라 등 오프체인 요소에 대한 의존도가 높아지면서 공격 면적이 얼마나 확장되는지를 보여준다. 복잡한 시스템의 취약점은 단일 구성 요소가 아닌, 서로 다른 시스템 간의 상호작용 지점에서 발생한다.

이러한 공급망 공격은 점점 더 정교해지고 탐지하기 어려워진다. 오픈소스 프로젝트의 보안 감사 및 검증은 이제 선택이 아닌 필수가 된다. 특히 AI 도구 체인 전반의 보안 강화는 필수 과제로 부상한다. 개발자들은 외부 라이브러리나 서비스에 대한 의존도를 재고하고, 분산 시스템에서 온체인과 오프체인 상호작용의 보안 설계를 강화해야 한다. AI의 발전 속도를 따라잡지 못하는 보안 인식과 시스템은 결국 전체 생태계를 위협하는 아킬레스건이 된다.

결국, 신뢰의 문제

AI는 전례 없는 속도로 혁신을 주도하며 인류의 삶을 변화시키고 있다. Arm AGI CPU, 데이터센터의 DC 전환, 그리고 Apple Silicon을 위한 Hypura와 같은 기술은 AI 에이전트 시대를 가속화하며 컴퓨팅의 한계를 확장한다. 그러나 이러한 놀라운 발전은 동시에 새로운 종류의 취약점을 양산한다. LiteLLM의 PyPI 공급망 공격과 Resolv DeFi 해킹은 우리가 구축하는 모든 것이 얼마나 견고한 기반 위에 서 있는지 끊임없이 질문한다. AI가 가져올 눈부신 미래를 실현하려면, 그 기반을 이루는 모든 요소의 보안과 신뢰를 확보하는 것이 선결 과제다. AI 에이전트에게 자율성을 줄수록, 인간이 져야 할 책임의 무게도 함께 커진다.

참고