싼 코딩 모델에 검증을 붙였더니: 10번의 실험에서 달라진 비용과 성공률
같은 API 서비스를 조건마다 10회씩 만든 실험에서, 저가 모델의 전체 합격은 3회에서 10회로 늘었습니다. 검증 비용과 대기 시간을 함께 비교합니다.
주제
AI
AI 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
같은 선택지인데 질문을 바꾸자 답이 뒤집혔다: 의사결정 모델 Jev의 실험
사람과 자기 서버 사이에서 질문을 고쳐 쓰자 Jev의 선택이 뒤집혔습니다. 14개 모델을 비교한 트롤리 실험으로, 정해진 선택지를 반환하는 모델에도 필요한 일관성 검사를 살펴봅니다.
사진 속 물건 위치까지 답한다: 운영용 판단과 실험을 나눈 Jev
Jev 1.14는 사진 속 대상의 위치를 반환하는 Box를 추가했습니다. 이미지와 긴 입력은 별도 옵션으로 열어, 기존 판단 업무의 버전 교체와 분리했습니다.
코드는 30% 늘었는데 완성한 기능은 늘었을까: 718곳 기업 연구가 짚은 검토 병목
718개 기업의 연구에서 코딩 에이전트 도입 후 작성량은 늘었지만, 완료한 기능의 유의한 증가는 확인되지 않았습니다. PR 검토 기간과 수정 요청이 늘어난 이유를 살펴봅니다.
사내 도구 5천 개를 한꺼번에 읽히지 않는다: 필요한 기능만 찾게 한 우버
우버는 기존 사내 API를 재사용하고, 소유자가 승인한 도구만 에이전트에 제공합니다. 단계적 검색과 필요한 응답만 읽는 방식이 사내 에이전트의 통합 비용과 노출 범위를 어떻게 바꾸는지 살펴봅니다.
99% 확신이 정답률 70%일 때: 자동 분류의 승인 기준을 다시 정하자
선택지 확률 98.55%를 보인 구간의 실제 정답률은 70.09%였습니다. Qwen 실험의 분모와 확률 보정을 살펴보고, 실제 문의 데이터로 자동 승인 기준을 정하는 절차를 설명합니다.
비싼 코딩 모델을 매번 쓸 필요가 있을까: 실행과 최종 검토를 나눈 한 달의 경험
DeepSeek를 실행에 쓰고 중요한 코드만 Opus로 검토한 한 달의 경험을 살펴봅니다. 개인의 체감 평가와 공식 구독 한도를 구분해, 소규모 팀의 예산 배분과 재작업 비용을 비교합니다.
반복 업무의 추론비가 내려갔다: 짧은 입력과 긴 입력의 가격은 다르다 (Claude Haiku 5.5)
Claude Haiku 5.5의 낮아진 요금은 입력 길이와 추론 강도에 따라 달라집니다. 고객지원·분류·요약 업무를 작은 모델에 맡길 범위와 큰 모델의 재처리 조건을 짚습니다.
시스템을 물을 때마다 네 사람을 모으던 팀, 66개 저장소를 함께 읽게 했다
시스템을 이해하려고 매번 엔지니어를 모으던 SumUp 매니저가 약 66개 저장소와 팀의 계획을 함께 읽는 조사 흐름을 만들었습니다. 주간 갱신은 보고서와 수정안을 사람이 검토합니다.
장애 진단 105회에 추론비 15센트: 싼 판단 모델이 맞힌 것과 놓친 것 (Jev)
105번의 장애 진단에 든 Jev 추론비는 약 15센트였습니다. 수집기가 한 일과 두 실패 사례를 통해 저비용 1차 분류와 심층 조사를 나눌 조건을 살펴봅니다.
문의 분류를 챗봇에 맡길 필요가 줄었다: 사진도 판단하는 의사결정 모델 (Clef)
Cloudflare의 Clef는 사진과 문의 내용을 받아 선택지별 확률을 반환합니다. 공개 가중치와 과제별 품질·지연시간을 비교하고, 자동 처리와 사람 검토를 나눌 조건을 짚습니다.
더 정확한 문의 분류를 위해 몇 초까지 기다릴까 (Jeeves)
Jeeves는 답을 고르기 전에 추론해 일부 과제의 정확도를 높입니다. 같은 모델의 설정별 지연을 비교하고, 문의 분류와 승인 자동화에서 얼마나 기다릴지 정하는 방법을 살펴봅니다.
