AI 코딩 도구의 비용은 월간 토큰 한도를 걸어 해결할 문제가 아니다. Databricks는 2026년 8월 7일 공개한 운영 경험에서, 비용을 모델 호출 횟수가 아니라 완료한 개발 작업 단위로 봐야 한다고 제안했다. 개발자의 짧은 요청 뒤에 코드 탐색, 도구 호출, 회사의 시스템 정보, 캐시가 이어지므로 실제 지출은 사용자가 입력한 문장보다 하네스가 만든 컨텍스트에서 훨씬 크게 결정되기 때문이다.
이 관점의 목표는 AI 사용을 줄이는 것이 아니다. 품질 기준을 만족하는 결과를 유지하면서 평균 작업 비용을 낮추는 것이다. 그러려면 “누가 토큰을 많이 썼나”보다 “어떤 종류의 작업이 어떤 모델·도구 조합에서 얼마에 끝났나”를 한 화면에서 연결해야 한다.
왜 ‘비싼 모델’을 줄이는 것만으로는 부족한가
Databricks가 말하는 첫 번째 레버는 가장 똑똑한 모델을 고르는 일이 아니라 효율 경계선을 갱신하는 일이다. 일상적인 소프트웨어 작업의 품질 기준을 넘는 모델 가운데 가격 대비 성능이 가장 좋은 모델을 계속 찾는다는 뜻이다. 새 모델이 거의 매주 나오기 때문에, 공개 벤치마크 순위만 보고 바꾸기보다 내부 코드베이스와 실제 개발 작업을 닮은 자동 평가로 기존 모델을 이기는지 확인해야 한다. 원문은 Stripe가 Opus 4.7을 4.6보다 비싸지만 품질 향상이 뚜렷하지 않다고 보고 내부 제공을 보류한 사례와, Databricks가 일부 Opus 비교에서 비용 회귀를 본 사례를 든다.
모델을 빨리 바꾸려면 개발자가 특정 하네스와 모델 묶음에 잠기지 않아야 한다. 여러 하네스를 직접 바꾸게 하면 개인의 전환 비용이 커진다. 공통 사용자 경험 아래에서 서로 다른 하네스와 모델로 보내는 메타 하네스는 이 전환 비용을 낮추고, 중앙의 모델 메뉴를 바꾸는 방식으로 새 효율 경계선을 반영할 수 있게 한다.
요청·작업·에스컬레이션 중 어디에서 라우팅할까
라우팅은 세 층으로 나뉜다. 요청 수준 라우팅은 하네스와 기반 모델 사이의 상태 보존 프록시가 각 추론 요청을 가장 싼 적합 모델로 보낸다. 이때 긴 컨텍스트 작업은 캐시가 차가운지까지 비용에 영향을 주므로, 호출 가격만 비교해서는 안 된다. 작업 수준 라우팅은 “이 컴포넌트 이름을 바꿔라” 같은 단순 작업과 설계 탐색처럼 열린 작업을 구분해, 과제 전체를 알맞은 하네스와 모델에 맡긴다. 세 번째는 저비용 모델이 필요할 때 고성능 모델로 올리거나, 반대로 고성능 모델이 일부 하위 작업을 저비용 모델에 넘기는 에스컬레이션·위임 패턴이다.
Databricks는 Unity AI Gateway의 Smart Router가 내부 결과에서 작업 묶음 안의 가장 비싼 모델과 비슷한 품질을 유지하면서 평균 작업 비용을 30% 이상 낮췄다고 밝혔다. 여기서 중요한 측정값은 모델별 토큰 단가가 아니라, 같은 품질 기준을 통과한 작업 하나를 끝내는 데 든 평균 비용이다.
예산은 끊는 장치보다 다음 선택을 바꾸는 장치가 된다
월간 한도를 넘으면 접근을 끊는 하드 예산은 최후 수단에 가깝다. 많이 쓴 개발자 중에는 AI로 큰 생산성 향상을 만든 사람이 섞여 있고, 작업 중간에 도구 접근을 잃으면 팀과 개인 모두 손해를 보기 때문이다. 원문에서 기업들이 택한 순서는 먼저 여러 AI 도구에 걸친 지출을 거의 즉시 보여 주고, 지출 속도가 높아질 때는 스스로 해제할 수 있는 경고를 보낸다. 그 다음 단계에 승인을 요구하고, 계속 작업해야 하면 완전 정지 대신 저비용 모델로 내린다. 전면 중지는 이 대화와 조치가 모두 실패한 뒤에 남는다.
컨텍스트를 줄여야 작업당 비용이 내려간다
토큰 절감도 프롬프트를 짧게 쓰라는 조언에서 끝나지 않는다. 에이전트가 불필요하게 긴 도구 출력을 읽는지, 같은 정보를 반복 추론하는지, 컨텍스트 압축이 너무 늦는지, 캐시 쓰기와 읽기의 균형이 맞는지를 세션 추적으로 봐야 한다. Databricks는 하네스와 캐시 설정을 비교적 단순하게 조정해 생성 토큰 수와 관련 비용을 거의 50% 줄였고, 개발자가 체감한 품질 저하는 관찰하지 못했다고 적었다.
결국 필요한 인프라는 모델 접근을 한곳에서 중계하는 데서 끝나지 않는다. 모델 허용 목록과 하네스 설정, 도구별 비용 가시성, 점진적 예산 정책, 코딩 세션 추적을 함께 다루는 AI 게이트웨이가 된다. AI 코딩 비용 관리는 재무팀의 한도 설정이 아니라 개발 워크플로를 관측하고, 품질을 해치지 않는 다음 선택으로 요청을 보내는 운영 설계다.
출처: Databricks, “Managing AI Coding Costs at Scale” (2026-08-07)