"노트북에서 실행되는 모델 중 최고 수준의 훌륭한 펠리컨을 얻었어요." 구글이 젬마 4를 출시하며 한 개발자가 남긴 이 말은 단순한 벤치마크 점수를 넘어선다. 오늘날 AI의 가장 중요한 변화는 이제 강력한 AI가 거대한 데이터센터만의 전유물이 아니게 되었다는 점이다. 개인용 컴퓨터도 충분히 현장에서 "프런티어 인텔리전스"를 발휘하는 시대가 열렸다. AMD가 내놓은 로컬 LLM 서버 '레모네이드'의 "1분 설치"라는 문구는 이 흐름을 더욱 선명하게 보여준다. AI 활용의 주도권이 중앙집중식 거대 플랫폼에서 개인의 장비와 현업의 손으로 옮겨오고 있다.
로컬 AI, 이제 정말 '내 것'이 되다
과거에는 로컬 LLM을 개인 PC에 설치하는 일 자체가 하나의 난관이었다. 특히 AMD GPU 사용자라면 `ROCm 경험이 정말... 힘들었어요`라는 `Caum`의 댓글처럼, 드라이버 충돌이나 종속성 문제로 고생한 경험이 많을 것이다. 하지만 지금은 상황이 다르다. 구글의 젬마 4는 "파라미터당 인텔리전스 극대화"라는 철학 아래 개발되었다. 이 덕분에 E2B 및 E4B 모델은 모바일 및 IoT 기기에서, 26B 및 31B 모델은 개인용 컴퓨터에서 "프런티어 인텔리전스"를 제공한다. 즉, 작은 모델로도 충분히 높은 성능을 낼 수 있도록 효율성을 끌어올린 것이다.
여기에 AMD의 레모네이드 서버가 강력한 다리 역할을 한다. 레모네이드는 GPU와 NPU를 활용하여 로컬 LLM을 빠르고 쉽게 실행할 수 있도록 돕는다. "자동 하드웨어 구성" 기능은 과거의 복잡한 설치 과정을 간소화한다. 또한 "OpenAI API 호환성"은 기존 OpenAI API를 사용하던 수많은 애플리케이션과 즉시 연동되도록 만든다. 이로써 우리는 프라이버시 걱정 없이 데이터를 외부로 보낼 필요가 없다. 네트워크 지연 시간을 줄이고, 클라우드 비용을 절감하며, 개인 장비의 성능을 최대한 활용하여 무한한 AI 실험을 할 수 있는 환경을 얻는다. 로컬 AI는 이제 더 이상 개발자들의 취미 영역이 아니다. 그것은 빠르고 안전하며 효율적인 AI 활용의 기본이 된다.
현업 빌더의 시대, AI가 '작업 OS'가 되다
개인 장비에서의 AI 성능 향상은 현업 부서의 업무 방식에 어떤 변화를 가져올까. 앤트로픽의 '클로드 코드' 사례는 그 질문에 대한 명확한 해답을 제시한다. 클로드 코드는 단순히 코딩 보조 도구가 아니다. 그것은 "일의 표면을 이어 붙이는 작업 운영체제(OS)"로 진화하고 있다. 즉, 법무팀이나 마케팅팀 같은 비개발 현업자들도 직접 AI를 활용하여 제품을 만들고 워크플로를 자동화하며, '대기 시간'이라는 비효율을 없앨 수 있다.
실제로 앤트로픽의 내부 사례는 이를 증명한다. `법무팀은 전화 트리 시스템을 만들었고, 그로스 마케팅팀은 수백 개 광고 변주를 생성하는 워크플로를 만들었다.` 이 장면의 핵심은 AI가 "개발자를 대체"하기보다 "현업자들을 1차 빌더(제품 개발자)로 승격"시킨다는 점이다. 문제를 가장 잘 아는 현장 전문가가 직접 첫 번째 도구를 만드는 쪽으로 흐름이 바뀌는 것이다.
스트라이프와 위즈의 사례는 엔지니어링 조직에서도 변화의 결이 달라졌음을 보여준다. 스트라이프는 `1370명 엔지니어에게 클로드 코드를 사전 설치하고, 1만 줄 스칼라(Scala) 코드를 4일 만에 자바(Java)로 이전`했다. 위즈는 `5만 줄 파이썬(Python) 라이브러리를 약 20시간 만에 고(Go)로 옮기고 PDF 처리 속도를 2배 이상 개선`했다. 이처럼 "언젠가는 해야 하지만 지금은 너무 커서 못 한다"던 백로그가 AI 덕분에 다시 실행 가능한 작업으로 돌아온다. Y Combinator CEO 개리 탄의 gstack 사례는 클로드 코드를 "가상 소프트웨어 개발 팀"으로 활용하여 `50일 동안 주당 1만 줄 코드와 100개 풀리퀘스트(PR) 수준의 생산성을 기록했다.` 이 숫자는 모델 하나를 잘 쓰는 것을 넘어, 그 모델에 어떤 역할과 순서를 입히느냐가 더 중요해진다는 메시지를 던진다.
이러한 변화는 제품 관리(PM)의 정의마저 바꾼다. 이제 좋은 PM은 "더 긴 PRD(제품 요구사항 문서)를 쓰는 사람이 아니라, 새 모델이 열어 준 가능성을 가장 빨리 시험하고 버릴 줄 아는 사람"이 된다. AI가 "화면 위에서 실제로 일하는 AI"가 되고, `스프레드시트에서 덱으로 이어지는 산출물 체인 전체`를 생성할 때, 핵심 경쟁력은 코드 문법이 아니라 문제 해상도와 현장 지식이 된다.
AI 주도권 재편, 지금 우리가 할 일
AI가 개인의 장비에서 강력하게 작동하고, 비개발 현업자들도 직접 생산성을 높이는 '빌더'가 되는 시대가 오고 있다. 이는 우리가 AI를 바라보고 활용하는 방식에 근본적인 변화를 요구한다.
오늘 당장 취할 수 있는 구체적인 행동은 다음과 같다.
- 개인 개발자 또는 연구자라면: 구글 젬마 4의 E2B나 E4B 모델을 모바일 기기나 라즈베리 파이 같은 엣지 디바이스에서 직접 시도해 보라. 또는 26B, 31B 모델을 개인 PC에 설치해 보는 것도 좋은 시작이다. AMD의 `Lemonade for Windows 11`을 다운로드하여 로컬 LLM 서버를 구축하는 것은 이전보다 훨씬 쉽다. OpenAI API 호환성을 활용하면 기존에 사용하던 다양한 도구와 쉽게 연동할 수 있다. 로컬 환경에서 직접 모델을 돌려보며 성능과 가능성을 체감하는 것이 중요하다.
- 현업 실무자라면: 자신이 속한 부서에서 "문제는 분명한데 개발 자원이 늘 부족했던 팀"의 비효율을 찾아보라. 법무, 마케팅, 재무, 운영, 고객 성공, PM 조직이 그 시작점이 될 수 있다. 클로드 코드와 같은 AI 도구를 탐색하고, 반복적인 업무나 보고서 작성, 데이터 분석 초안 생성 등에 어떻게 적용할 수 있을지 적극적으로 고민하고 실험해 보라. 작은 성공 사례를 만드는 것이 큰 변화의 시작이다.
- 조직 리더 또는 경영진이라면: 비개발자 빌더 시대를 맞아 몇 가지 중요한 질문에 대한 답을 찾아야 한다. "첫 번째 빌더는 누가 될 것인가?", "AI가 만들어낸 결과물에 대한 검증 책임은 누가 질 것인가?", "AI 도구에 어떤 데이터 접근을 허용할 것이며, 보안은 어떻게 관리할 것인가?", 그리고 "개발 조직의 역할은 어떻게 달라져야 하는가?" 개발 조직은 이제 모든 개발 요청을 직접 처리하기보다, AI 활용을 위한 플랫폼 설계, 보안 가드레일 구축, 품질 평가 등 조직 전체의 AI 활용을 뒷받침하는 상위 역할로 전환하는 방안을 모색해야 한다.
AI는 더 이상 개발자만의 영역이 아니다. 그것은 개인의 손에 쥐어진 강력한 도구이자, 현업의 업무 방식을 근본적으로 바꾸는 '작업 OS'가 되고 있다. 기술의 방향이 개인화되고 분권화될 때, 우리가 얻는 것은 단지 속도만이 아니다. 그것은 새로운 종류의 주도권이다. 이제 "누가 문제를 가장 정확히 구조화하고, 누가 최종 판단을 책임지는가"라는 질문이 소프트웨어 개발의 핵심이 된다.
참고
- Google releases Gemma 4 open models: https://deepmind.google/models/gemma/gemma-4/
- 기다리는 시간 사라졌다... 아이디어 실현해 주는 마법 ‘클로드 코드’ (by 김도현): https://themiilk.com/articles/a99477989
- Lemonade by AMD: a fast and open source local LLM server using GPU and NPU: https://lemonade-server.ai