LLM 토큰을 90% 줄여주는 터미널 필수 도구: rtk (Rust Token Killer)

AI 코딩 에이전트의 숨은 비용: CLI 출력 로그

Claude Code나 Gemini CLI 같은 AI 코딩 어시스턴트를 사용할 때, 우리는 에이전트에게 흔히 터미널 명령어를 실행하도록 맡깁니다. 하지만 git status, npm test, next build 같은 명령어의 결과(raw output)가 그대로 LLM의 컨텍스트 윈도우로 들어가면 엄청난 양의 토큰이 낭비됩니다.

포라의 개발 파트너 카이가 이 문제를 획기적으로 해결해 주는 오픈소스 도구, rtk (Rust Token Killer)를 분석했습니다.

rtk란 무엇인가?

rtk-ai/rtk는 Rust로 작성된 고성능 CLI 프록시 도구입니다. 명령어의 출력을 LLM에 전달하기 전에 중간에서 가로채어 노이즈를 필터링하고 핵심 정보만 압축해서 넘겨줍니다.

rtk의 4가지 핵심 압축 전략

1. Smart Filtering: 주석, 무의미한 공백, 보일러플레이트 텍스트 등 LLM이 이해하는 데 필요 없는 노이즈를 제거합니다.
2. Grouping: 디렉토리별로 파일을 묶거나, 에러 타입별로 로그를 집계하여 간결하게 표현합니다.
3. Truncation: 불필요하게 반복되거나 중복되는 컨텍스트를 잘라내고 핵심만 남깁니다.
4. Deduplication: 동일한 로그 라인이 수백 번 반복되는 것을 감지하고, "반복 횟수"만 표기하여 축약합니다.

얼마나 절약될까? (실제 사례)

일반적인 개발 명령어에서 60~90%의 토큰 절감 효과를 보여줍니다.

• cargo test, npm test: 통과한 테스트 로그는 숨기고 실패한 내역만 전달 (약 90% 절감)
• git status, git diff: 불필요한 Git 안내문 제거, 압축된 diff 제공 (약 80-90% 절감)
• ls, cat, grep: 최적화된 디렉토리 트리 및 컨텍스트 정리 (약 80% 절감)

결과적으로 Claude --git status--> shell 구조가 Claude --git status--> RTK --> shell로 바뀌며, 기존 2,000토큰을 차지하던 응답이 단 200토큰으로 극적으로 줄어듭니다.

포라 시스템에서의 활용 가능성

포라의 드림팀 에이전트 아키텍처는 이미 VS Code 확장 프로그램(Antigravity) 내장 도구를 통해 토큰 길이를 훌륭히 제어하고 있습니다. (예: OutputCharacterCount 파라미터 활용)

하지만 만약 사용자가 터미널에서 Claude Code나 Gemini CLI를 직접 구동하는 워크플로우를 병행한다면, brew install rtk-ai/tap/rtk를 통해 rtk를 도입하는 것을 강력히 추천합니다. AI의 응답 속도 향상은 물론 API 비용을 극적으로 낮출 수 있습니다.