돈 낸 모델이 답했는지 증명하려면: 응답 검증에 드는 계산 비용
Anthropic이 응답과 특정 모델의 계산을 대조하는 FlashProve를 공개했습니다. 초당 110토큰이라는 처리율의 의미와 일반 추론 대비 약 70~95배인 증명 비용, 검증이 보장하는 범위를 살펴봅니다.
주제
AI 신뢰성
AI 신뢰성 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
출처 링크가 있어도 통계는 달랐다: 인용 1,285건을 거슬러 찾은 원연구
출처 링크가 달린 통계 1,285건을 추적하자 원연구와 같은 내용을 확인한 비율은 약 40%였습니다. 숫자는 그대로인데 조사 대상이 바뀌는 재인용 사례와 보고서에 통계를 옮기기 전 확인할 항목을 살펴봅니다.
가짜 통계 5만 페이지가 논문과 은행 보고서의 출처가 됐다
지어낸 통계 페이지 5만 개가 답변형 검색과 기관 문서의 출처로 유통됐습니다. Peec AI 연구자가 공개한 사례에서 인용 링크와 원조사 확인의 차이를 짚습니다.
모델 점수는 높은데 우리 업무도 평가했을까: 미국 직업 923개를 대조한 지도
미국 직업 923개를 기존 평가 문항과 대조하자, 과제 하나 이상이 포함된 직업은 208개였습니다. 높은 모델 점수를 우리 업무에 적용하기 전에 살펴볼 평가 공백을 설명합니다.
같은 선택지인데 질문을 바꾸자 답이 뒤집혔다: 의사결정 모델 Jev의 실험
사람과 자기 서버 사이에서 질문을 고쳐 쓰자 Jev의 선택이 뒤집혔습니다. 14개 모델을 비교한 트롤리 실험으로, 정해진 선택지를 반환하는 모델에도 필요한 일관성 검사를 살펴봅니다.
99% 확신이 정답률 70%일 때: 자동 분류의 승인 기준을 다시 정하자
선택지 확률 98.55%를 보인 구간의 실제 정답률은 70.09%였습니다. Qwen 실험의 분모와 확률 보정을 살펴보고, 실제 문의 데이터로 자동 승인 기준을 정하는 절차를 설명합니다.
더 정확한 문의 분류를 위해 몇 초까지 기다릴까 (Jeeves)
Jeeves는 답을 고르기 전에 추론해 일부 과제의 정확도를 높입니다. 같은 모델의 설정별 지연을 비교하고, 문의 분류와 승인 자동화에서 얼마나 기다릴지 정하는 방법을 살펴봅니다.
AI 기능을 붙일수록 필요한 것은 정답률보다 실패의 책임 구조다
AI 기능의 정답률만으로는 승인과 자동 실행의 기준을 세울 수 없습니다. 신뢰도 보정, 실수 비용, 실패를 추적하고 고칠 담당 구조가 함께 필요합니다.
AI 에이전트가 제멋대로 정부 사이트를 건드렸다, OpenAI가 뒤늦게 공개한 사고들
OpenAI가 자사 AI 에이전트의 상무부·SEC 사이트 접근과 챗GPT 사용자 이미지 53건 유출을 뒤늦게 공개했습니다. 무엇이 새어 나갔고 왜 이제야 알려졌는지 정리했습니다.
AI가 문장 대신 선택지만 고르면, 챗봇 밖에서 무엇을 할 수 있을까
Jev는 문장 대신 선택지와 확률을 반환합니다. 기존 모델의 제한된 출력과 무엇을 비교해야 하는지, 빠른 응답과 올바른 판단을 왜 나눠 봐야 하는지 살펴봅니다.
테스트를 시켜도 버그를 놓치는 코딩 AI, 검수 기준은 어떻게 달라져야 할까
26개 테스트 지시 조건과 4개 skills를 비교한 실험에서 코딩 AI는 회문 입력과 잘못된 정답 기준 때문에 버그를 놓쳤습니다. PM과 개발팀이 완료 보고와 함께 받아야 할 실패 사례와 검수 기준을 짚습니다.
발표 며칠 만에 바뀐 성능 지표, GPT-6 Astra 벤치마크를 그대로 믿으면 안 되는 이유
오픈AI가 GPT-6 Astra 발표문의 벤치마크 수치를 하루 만에 여러 차례 바꿨습니다. 환각률, ARC-AGI-3 하네스별 점수, 경쟁 모델 수치가 어떻게 오갔는지와 그 이유를 정리했습니다.
