AI가 어려운 수학 문제를 푸는 걸 봤을 때, 우리는 흔히 "와, AI가 정말 똑똑해졌네!" 하고 감탄하곤 한다. 그런데 흥미로운 분석이 나왔다. AI가 수학자들보다 문제를 잘 푸는 이유가 '추론 능력이 뛰어나서'가 아니라, '작업 기억 공간'이 훨씬 커서 그렇다는 얘기다.

AI는 아인슈타인보다 '폰 노이만'에 가깝다

데이비드 피퍼는 이 주장을 "AI Isn’t Outthinking Mathematicians. It’s Out-Remembering Them." 이라는 제목의 글로 풀어냈다. AI는 수백 개의 중간 방정식, 버려진 접근 방식, 정의, 제약 조건 같은 것들을 컨텍스트 윈도우 안에 다 기억할 수 있다는 것이다. 인간이 머릿속에 동시에 담을 수 있는 정보량은 극히 제한적인데 말이다.

이게 무슨 의미냐면, AI의 강력함은 아인슈타인처럼 번뜩이는 직관이나 추론 능력에 있기보다, 폰 노이만처럼 어마어마한 속도와 방대한 상징적 기억력을 가진 '기계 증폭 장치'에 가깝다는 뜻이다. 우리가 종이에 필기하면서 복잡한 계산을 풀어나가듯이, AI는 무한한 '디지털 스크래치 패드'를 활용해 문제를 푼다는 거다. 결국 AI의 성능은 우리에게 필요한 정보를 얼마나 효과적으로 컨텍스트 안에 넣어주느냐, 즉 AI의 '작업 기억'을 얼마나 잘 관리하느냐에 달렸다고 볼 수 있다.

성공하면 AI를 '소유'해야 하는 이유

피퍼의 주장이 AI 자체의 작동 방식을 설명한다면, 정구봉님은 한 걸음 더 나아가 이런 AI를 실제 제품에 적용할 때 어떤 관점으로 접근해야 하는지 말해준다. "결국 나만의 모델과 그 모델을 스스로 발전시키기 위한 data, eval, gpu가 필요하다"는 거다. 처음엔 API 호출로 제품을 만들겠지만, 제품이 성공할수록 AI를 '소유'해야 하는 병목이 생긴다는 주장이다.

그가 꼽는 세 가지 이유, 비용(Eval), 지연 시간(Latency), 데이터(Data)는 우리가 AI를 바라보는 시각을 완전히 바꾼다. 특히 "모델을 비교할 때는 token 가격만 보면 안 된다. 같은 실제 업무를 시키고, 같은 품질 기준으로 결과를 평가해야 한다"는 부분이 와닿았다. 싼 모델이 자주 틀려서 사람이 다시 검토하고 수정하는 비용까지 포함하면, 결국 비싼 모델보다 총 비용이 더 들 수 있다는 뜻이다. 이는 AI의 '작업 기억'과 '컨텍스트'를 관리하는 것과도 연결된다. 모델 자체의 지능보다, 우리 업무 환경에서 AI가 실패 없이 얼마나 정확하게 '기억하고' '적용'하는지가 중요하다는 얘기다. 성공적인 제품은 단순히 데이터를 쌓는 것을 넘어, AI가 어떤 상태를 보고, 어떤 액션을 할 수 있으며, 무엇을 성공으로 볼지 정의하는 '재생 가능한 환경(replayable environment)'까지 만든다.

미국 모델이 거부한 업무, 중국 모델이 주목받는 이유

이런 맥락에서 정상록님의 GLM-5.3 기사는 AI 모델 선택의 현실적 어려움을 보여준다. 중국 Z.ai가 공개한 GLM-5.3이 일부 보안 벤치마크에서 1위를 기록하고 가격도 훨씬 저렴하다는 소식보다, "미국 모델이 정당한 보안 업무까지 거부해서 갈아탄다"는 실무자들의 증언이 더 흥미롭다. 클로드 오푸스나 GPT-5.6 솔 같은 모델들이 '안전'을 이유로 보안 하네스 생성 같은 업무를 거부하면서, 개발자들이 다른 대안을 찾는다는 것이다.

이건 AI의 '성능'이나 '지능'을 넘어, AI의 '정책'이나 '제약 사항'이 실제 워크플로우를 어떻게 바꾸는지 보여주는 사례다. 우리 환경에서 AI가 '기억하고' '처리해야 할' 정보가 아무리 많아도, 모델 자체가 특정 컨텍스트나 태스크를 거부하면 소용이 없다. 비용과 데이터 위치 문제도 마찬가지다. 결국 단순히 '더 똑똑한' 모델을 찾는 것이 아니라, 우리의 특정한 '작업 기억' 환경과 '정책' 요구사항을 충족하는 모델을 선택하는 것이 중요해진다.

우리의 '맥락' 안에 AI를 어떻게 녹일까?

오늘 세 기사가 던지는 핵심은 이렇다. AI의 진정한 가치는 단순히 "더 똑똑한" 모델을 쓰는 걸 넘어, 우리 업무 환경과 요구사항에 맞춰 AI의 맥락(context)과 제약사항을 얼마나 잘 관리하고 활용하느냐에 달려 있다는 점이다. AI의 방대한 '기억력'을 효과적으로 활용하기 위해 어떤 정보를 줄지, AI를 실제 제품에 녹일 때 비용, 지연 시간, 데이터 주권 같은 '환경적 제약'을 어떻게 관리할지, 그리고 심지어 모델의 '정책적 제약'까지 고려해야 한다는 것이다.

결국, 우리 워크플로우에서 AI의 '맥락'을 얼마나 잘 설계하고 관리하는지가 진짜 승부처가 아닐까? 우리 팀은 AI에게 어떤 '기억'을 주고, 어떤 '환경'에서 일하게 할지 고민해볼 때다.

참고

  • AI Isn’t Outthinking Mathematicians. It’s Out-Remembering Them. - Davide Piffer (davidepiffer.com)
  • AI 경쟁력 필수: API 넘어 자체 모델 소유로 - 정구봉 (linkedin.com)
  • 미국 AI '보안 거부'·비용 부담, 中 GLM-5.3 주목 - 정상록 (linkedin.com)