긴 요청에 다른 고객의 대화가 섞였다: Cloudflare가 놓친 데이터 격리
Cloudflare의 GLM-5.3에서 긴 입력에 다른 고객의 대화가 섞인 응답 155개가 확인됐습니다. 성공 응답만으로 발견하지 못한 메모리 격리 결함과 수정 내용을 살펴봅니다.
주제
LLM 운영
LLM 운영 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
사용량 화면에 없는 비용의 원인: 요청별 기록을 모은 운영 경험
총사용량이 늘어난 이유는 집계 화면만으로 찾기 어렵습니다. 한 개발자가 직접 관리하는 프록시에서 요청별 비용과 지연, 키 별칭을 모아 살핀 운영 경험을 소개합니다.
사진 속 물건 위치까지 답한다: 운영용 판단과 실험을 나눈 Jev
Jev 1.14는 사진 속 대상의 위치를 반환하는 Box를 추가했습니다. 이미지와 긴 입력은 별도 옵션으로 열어, 기존 판단 업무의 버전 교체와 분리했습니다.
반복 업무의 추론비가 내려갔다: 짧은 입력과 긴 입력의 가격은 다르다 (Claude Haiku 5.5)
Claude Haiku 5.5의 낮아진 요금은 입력 길이와 추론 강도에 따라 달라집니다. 고객지원·분류·요약 업무를 작은 모델에 맡길 범위와 큰 모델의 재처리 조건을 짚습니다.
문의 분류를 챗봇에 맡길 필요가 줄었다: 사진도 판단하는 의사결정 모델 (Clef)
Cloudflare의 Clef는 사진과 문의 내용을 받아 선택지별 확률을 반환합니다. 공개 가중치와 과제별 품질·지연시간을 비교하고, 자동 처리와 사람 검토를 나눌 조건을 짚습니다.
회의록과 고객 통화의 재작업을 줄일 때, 음성 인식 도구에서 확인할 기준 (Gemini 3.5 Transcribe)
구글이 회의록과 고객 통화 받아쓰기용 Gemini 3.5 Transcribe를 공개했습니다. 도입 전 정확도보다 먼저 확인할 실무 기준을 정리했습니다.
AI 사용량이 9배 늘어도 예산을 묶으려면, 제품팀이 설계할 운영 방식 (Uber)
Uber는 AI 에이전트 요청이 9.4배 늘어도 비용을 안정화했습니다. 총액 상한 대신 비용의 원인과 결과를 연결한 운영 방식을 정리했습니다.
RAG 비용을 줄이려면, 복잡한 검색부터 의심해야 한다
RAG 비용은 임베딩 호출료보다 청킹·재계산·벡터 저장을 먼저 늘립니다. 전체 텍스트 검색과 질의 재작성에서 시작해 실제 실패가 확인된 경로만 고도화하는 순서를 정리했습니다.
건강 질문을 AI에 먼저 묻는 사람이 늘 때, 서비스 운영자가 세워야 할 안전선 (Pew)
미국 성인 34%가 건강 관련 이유로 AI 챗봇을 써 봤다고 답했습니다. 건강 정보를 설명하는 서비스가 증상 판단과 정서 지원까지 닿을 때 필요한 세 가지 운영 안전선을 정리합니다.
AI API 비용을 다시 계산할 때, GPT-5.6 Sol 가격 인하가 남기는 선택지
OpenAI가 GPT-5.6 Sol의 입력·출력 가격을 낮췄습니다. 토큰 구성, 캐시, 긴 프롬프트 조건에 따라 API 비용을 다시 계산하는 기준을 정리합니다.
코드가 공짜에 가까워져도 사내 플랫폼 투자를 줄이면 안 되는 이유
에이전트가 코드를 짜는 비용이 낮아져도, 사내 플랫폼을 재사용하면 에이전트가 읽고 다시 짤 코드 범위가 줄어 실제 토큰 비용도 줄어든다는 두 개발자의 글을 정리했습니다.
AI 에이전트에게 일을 맡길 때, 자율성보다 중요한 것은 멈추는 조건이다
AI 에이전트에게 여러 작업을 동시에 맡길 때, 자율성을 넓히기보다 멈추는 조건을 먼저 정해야 안전하다는 실무 원칙을 정리했습니다.
