GPT-5.5 Codex가 코드를 짜다가 특정 토큰 지점(516, 1034, 1552)에서 멈추거나 심지어 오답을 내는 버그가 발견됐어. OpenAI 이슈 트래커에서 난리인데, 이거 영락없이 예전에 클로드 코드 모델에서 불거졌던 성능 저하 이슈랑 똑같아 보여. 모델 내부에 알 수 없는 제약이나 버그가 생기면서 성능이 저하되는 거지.
알 수 없는 블랙박스, AI 모델의 숨겨진 함정
이런 현상은 AI 모델이 아무리 뛰어나도 우리가 모든 작동 방식을 이해하기 어렵다는 걸 다시 한번 보여줘. 언제, 어떤 방식으로 모델이 오작동할지 예측하기 힘들다는 얘기다. 개발자들이 AI를 신뢰하며 실제 워크플로우에 깊숙이 통합할 때, 이런 '블랙박스'의 불확실성은 늘 위험 요소로 작용해. 언제든 뒤통수를 맞을 수 있다는 느낌이랄까. 우리처럼 AI를 활용하는 입장에선 언제나 여러 대안을 고민하고, AI의 답변을 검증하는 시스템을 마련해둬야 하는 이유지.
AI의 코딩 효율을 높이려는 시도는 계속되고 있어. `codebase-memory-mcp`라는 새로운 도구가 그 예시야. 이 도구는 AI 코드 에이전트가 코드베이스 전체를 일일이 탐색하며 토큰을 낭비하는 대신, 미리 코드를 파싱해서 지식 그래프로 인덱싱해준대. 마치 도시의 지도를 미리 그려둬서 AI가 길을 헤매지 않게 하는 방식이야.
더 빠르고 싸지만, 정확도는 덜한 트레이드오프
이걸 쓰면 토큰 낭비를 10배에서 많게는 120배까지 줄일 수 있다고 해. AI 에이전트가 코드 함수 호출 관계나 영향 범위를 매번 grep하지 않고 한 번의 쿼리로 빠르게 파악하는 거지. 비용과 시간을 획기적으로 절약할 수 있다는 의미야.
하지만 공짜 점심은 없어. 관련 논문을 보면, 이 방법은 토큰 절감과 도구 호출 감소를 가져오지만, 답변 정확도는 92%에서 83%로 약 9%p 정도 떨어진다고 해. '더 싸고 빠르지만 살짝 덜 정확하다'는 거지. 결국 어떤 작업을 맡기느냐에 따라 이 도구의 가치가 달라진다는 얘기야. 치명적인 버그를 잡는 작업엔 적합하지 않을 수 있어도, 단순 리팩토링이나 초기 구조 파악에는 큰 도움이 될 수도 있겠지.
코딩 90점, 그 다음 10점은 사람의 몫
이런 모델의 한계나 새로운 효율화 도구의 등장을 보면서, 결국 AI를 어떻게 쓸 것인지, 그리고 무엇을 시킬 것인지에 대한 고민이 더 중요해진다고 생각해. 정구봉 님이 링크드인에 올린 글이 딱 이 지점을 짚어줘. AI 시대에 1인 기업의 진짜 경쟁력은 코딩이 아니라 '좋은 문제'를 정의하는 능력이라는 거지.
AI가 코딩을 90점까지는 쉽게 만들어주니까, 이제는 남은 10점이 핵심 가치가 되는 거야. 이 10점은 도메인 지식, 고객 이해, 그리고 남들이 잘 보지 않는 '거칠고 팬시하지 않은' 레거시 산업의 진짜 문제를 찾아내고 정의하는 능력에서 나온대. 흔히 말하는 '블로그 제목용' 아이디어가 아니라, 실제로 비즈니스 가치를 만들 수 있는 문제를 찾아내는 능력이지. 제조업 공장에 직접 들어가서 데이터 시스템화를 다지는 개발자 사례처럼 말이야.
결국 AI가 할 수 있는 영역은 AI에 맡기고, 우리는 AI가 아직 할 수 없는, 본질적인 '문제 정의'와 '깊은 도메인 이해'에 더 집중해야 하는 시점인 것 같아. 지금 우리가 풀고 있는 문제는 과연 AI가 아닌 인간만이 찾아낼 수 있는 '좋은 문제'일까?
참고
- GPT-5.5 Codex reasoning-token clustering may be leading to degraded performance, GitHub Issues
https://github.com/openai/codex/issues/30364
- AI 시대 1인 기업: '좋은 문제' 정의가 진짜 경쟁력, Goobong Jeong (LinkedIn)
https://www.linkedin.com/feed/update/urn:li:activity:7479090702233260032/
- AI 코드 에이전트: 지식 그래프로 토큰 낭비 끝, Sangrok Jung (LinkedIn)
https://www.linkedin.com/feed/update/urn:li:activity:7478079254354653184/