싼 코딩 모델에 검증을 붙였더니: 10번의 실험에서 달라진 비용과 성공률
같은 API 서비스를 조건마다 10회씩 만든 실험에서, 저가 모델의 전체 합격은 3회에서 10회로 늘었습니다. 검증 비용과 대기 시간을 함께 비교합니다.
주제
에이전트 하네스
에이전트 하네스 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
사내 AI를 도입할 때, 검색 도구보다 업무 흐름을 먼저 설계해야 하는 이유 (Stripe Kai)
스트라이프는 검색 도구를 고르기 전에 접근 통제와 업무 흐름부터 설계해 사내 AI 플랫폼 Kai를 만들었습니다. 그 결과 전체 직원의 83%가 매주 Kai를 쓰고 있습니다.
무엇을 보여주고, 뭘 하게 하고, 틀리면 어디서 잡을 것인가
프롬프트, 컨텍스트, 하네스, 루프, 그래프까지 매달 새 용어가 나오지만 실제로 답하는 질문은 셋뿐입니다. 다섯 층을 관통하는 공통 구조를 정리합니다.
AI 자기개선의 병목은 모델이 아니라 하네스에 있다
AI 자기개선의 가까운 병목은 모델 가중치보다 실행·기억·평가를 조율하는 하네스에 있습니다. 실패 기록과 분리된 검증이 왜 핵심인지 정리했습니다.
Pi가 최소한의 코딩 하네스로 확장성을 확보한 방식
Pi는 기본 도구와 안내문을 작게 두고, 프로젝트별 반복 절차는 확장으로 분리했습니다. Databricks의 과업 비용 측정과 Shopify의 Autoresearch 사례로 그 경계를 살펴봅니다.
