어제 기사 보다가 “맥락 없으면 AI는 자신감 있는 추측만 한다”는 데이터브릭스 CEO 알리 고드시 말이 딱 와닿더라. 무슨 얘기냐면, AGI(범용 인공지능)는 이미 우리 곁에 와 있지만, 정작 우리 회사에서 제대로 일하지 못하는 이유가 AI에게 필요한 ‘데이터 맥락’이 없기 때문이라는 거야.
기업 AI는 왜 '자신감 있는 추측'만 할까?
데이터브릭스가 '지니 온톨로지(Genie Ontology)'라는 걸 내놨는데, 이게 뭐냐면 회의록, 슬랙 대화, 지라 티켓, 구글 드라이브 문서 등 회사의 모든 데이터를 AI와 연결해서 실시간으로 맥락을 만들어주는 엔진이래. AI가 단순히 "가장 그럴듯한" 대답을 내놓는 게 아니라, 진짜 회사 내부의 신뢰할 수 있는 출처(어떤 문서, 누가 작성했고, 얼마나 자주 참조되는지 등)를 기반으로 정확한 답을 줄 수 있게 만드는 거지. 구글 페이지랭크처럼 '권위 판단 방식'까지 쓴다고 하니, AI가 우리 회사에 대해 더 깊이 이해하고 일할 수 있다는 거다. 이런 통합된 맥락이 없으면, AI는 그냥 껍데기만 번지르르한 오답을 내놓을 뿐이라는 거다.
솔직히 우리 같은 현업 개발자 입장에서도 이 맥락 문제는 피부로 느낀다. AI 코딩 보조 도구를 쓰다 보면, 새로 프로젝트를 시작할 때마다 AI에게 프로젝트 구조나 의도를 처음부터 다시 설명해야 하는 '콜드 스타트' 문제가 늘 걸리잖아. 전에 작업했던 내용이나 코드베이스는 기억 못 하니까 계속 같은 얘기를 반복해야 하고.
로컬 '프로젝트 기억'으로 AI 콜드 스타트 없애기
이런 문제를 해결해주는 재미있는 로컬 도구도 봤어. "Recall"이라는 건데, 클로드 코드(Claude Code) 같은 AI 코딩 어시스턴트의 세션 기록을 로컬에서 요약해서 프로젝트 기억으로 유지해주는 거야. 외부 API 호출 없이 내 컴퓨터 안에서만 돌아가니까, 추가 비용이나 개인 정보 유출 걱정도 없지.
이게 중요한 점은 AI가 단순히 똑똑한 모델을 넘어, 우리 작업의 '맥락'을 이해하고 기억하는 방식으로 진화하고 있다는 거야. 우리가 매번 수동으로 `CLAUDE.md` 파일에 지침을 넣거나, 이전 세션을 통째로 리플레이하는 대신, AI가 스스로 프로젝트의 현재 상태와 히스토리를 요약해서 다음 세션에 불러오는 거지. 프로젝트마다 `context.md` 파일에 목표, 요약, 다음 단계 같은 핵심 정보를 저장해두고 활용하는 방식이더라. 결국 AI가 우리 작업 흐름에 자연스럽게 녹아들기 위한 작은 '뇌'를 갖는 셈이다.
모델이 아니라 '태스크' 중심으로 AI 지능 배분하기
그런데 모든 작업이 그렇게 깊은 맥락 이해와 최상급 지능을 요구하는 건 아니잖아? 어떤 작업은 비싼 최신 모델이 필요하고, 어떤 작업은 좀 더 저렴한 모델로도 충분할 수 있다. 요즘 나오는 LLM들이 너무 많다 보니 뭘 써야 할지 고민도 되는데, 이걸 '태스크 중심'으로 접근하는 방법도 있더라.
OpenCode Go라는 서비스가 있는데, 월 5달러 정도에 GLM-5.2, Kimi K2.7 Code 같은 여러 코딩 모델들을 통합해서 제공해. 여기서 핵심은 사용량을 '요청 수'가 아니라 '달러 가치' 기준으로, 즉 어떤 모델을 어떤 '태스크'에 썼는지로 관리한다는 거야. 예를 들어 GLM-5.2는 복잡한 코드베이스 이해나 장기적인 플랜 같은 'deep/plan' 태스크에, Kimi K2.7 Code는 작은 수정, 코드 읽기 같은 '기본 작업'에 먼저 시도해보는 식이다.
이건 단순히 돈 아끼는 걸 넘어, AI를 활용하는 우리 워크플로우 자체를 새롭게 보게 만든다. 모든 작업을 가장 비싼 프론티어 모델에 던질 필요 없이, 우리 작업의 특성을 이해하고 AI 지능을 적재적소에 '배분'하는 관점으로 바뀌는 거지. 어려운 일은 아낌없이 비싼 모델을 쓰고, 쉬운 일은 최대한 싸게 처리하는 전략이 AI 시대의 새로운 효율이 되는 거다.
결국 AI 모델 자체의 성능 경쟁을 넘어, AI가 우리 업무와 얼마나 유기적으로 연결되고, 어떤 '맥락'을 이해하며, 얼마나 효율적으로 '지능을 배분'하는지가 중요해지는 시점이야. 우리 작업에서 어떤 '맥락'이 빠져있고, AI 지능을 어떻게 '배분'하면 좋을지 한번 생각해볼 타이밍이다.