좋은 아침이에요! 오늘은 코딩 에이전트 비용을 줄이는 이야기예요.
뭔가요? 에이전트는 매 턴마다 시스템 프롬프트, 불러온 도구 설명(스키마) 전부, 지금까지의 대화를 통째로 다시 보내요. 도구 가지치기는 “이 저장소에선 거의 안 쓰는 도구”를 프롬프트에서 빼서 매 턴 내는 토큰을 줄이는 기법이에요. 쉽게 말해 공구함을 매번 다 들고 다니지 말고 자주 쓰는 것만 챙기자는 거죠.
왜 지금 뜨나요? 2026-10-30(미국)에 Microsoft Research와 UC Berkeley가 TokenEconomizer를 오픈소스(Apache 2.0)로 공개했어요. Claude Code, Codex, Copilot CLI, Pi에 붙는 플러그인인데, 지난 세션 기록을 보고 저장소마다 낭비를 학습해요. 분석해 보니 매 턴 실리는 도구 23개 중 16개는 한 번도 안 쓰였고, 3개가 호출의 98%를 차지했대요. SWE-Bench 277개 작업에서 평균 비용이 18.4~30.9% 줄었고, 그중 도구 가지치기 하나만으로 13~18%를 아꼈어요. 나머지 두 축은 “테스트 명령은 이거” 같은 한 줄 사실을 기억해 두는 마이크로 스킬과, 같은 실패를 반복하면 한 번 방향을 틀어 주고 그래도 안 되면 멈추는 실패 루프 가드예요.
시점 구분: 새 개념은 아니에요. 필요한 도구만 골라 싣는 아이디어는 2023년 tool retrieval 연구(Gorilla, ToolLLM 등) 때부터 있었고, Anthropic도 2025년 말 도구를 필요할 때 검색해 불러오는 Tool Search 기능을 냈어요. 이번 소식(2026-10-30)이 새로운 점은 사람이 정한 규칙이 아니라 과거 세션에서 저장소별로 자동 학습한다는 것과, 비교한 30개 조합 모두에서 비용이 줄었다는 결과예요.
Claude만 쓰던 개발자라면?
– 먼저 직접 해 볼 일: 연결해 둔 MCP 서버 중 안 쓰는 건 꺼 두세요. 그게 가장 싼 가지치기예요.
– 반복해서 다시 찾는 정보(테스트·빌드 명령, 폴더 구조)는 CLAUDE.md에 한 줄로 적어 두세요. 에이전트가 매번 탐색하느라 토큰을 쓰지 않게요.
– 자동화가 필요하면: 같은 저장소에서 작업을 여러 번 돌리는 팀이라면 TokenEconomizer 같은 컨트롤러에 맡기세요. 처음 몇 작업은 오히려 비쌀 수 있고, 논문 기준 여섯 번째 작업쯤부터 확실히 싸져요.
– 사람이 판단할 영역: 보안 감사처럼 짧고 꼼꼼해야 하는 작업은 절감이 6~9%로 작았고, Opus 4.8에선 정답률이 1점 떨어졌어요. 정확도가 중요한 일엔 가지치기를 약하게 두는 게 좋아요.
연관 용어
– 프롬프트 캐싱 (Prompt Caching): 매 턴 반복되는 앞부분을 캐시해 싸게 다시 쓰는 기법이에요.
– Tool Search / 지연 로딩: 도구를 처음부터 다 싣지 않고 필요할 때 찾아 불러오는 방식이에요.
– 턴 예산 (Turn Budget): 성공한 실행 길이를 기준으로 “이 정도 넘으면 막힌 것”이라고 정해 두는 상한이에요.
오늘도 토큰 아끼는 하루 되세요!