GPU 없이 2,840억 모델을 돌린다: 64GB 메모리에 맞춘 DeepSeek 재양자화
llama-modchip는 2,840억 파라미터 DeepSeek-V4-Flash를 GPU 없이 64GB 메모리에서 초당 약 10토큰으로 돌린다고 밝힙니다. 파일을 56.56GiB로 줄인 방식과 직접 돌려 보는 순서를 정리합니다.
주제
AI
AI 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
작은 모델이 먼저 보고 애매한 것만 Opus에게 넘겼다: 판정 비용 실험
싼 결정 모델 Jev가 먼저 보고 확신도가 애매한 22%만 Opus에게 넘기는 방식을 살펴봅니다. 쉬운 시험에서는 비용이 4분의 1로 줄었지만 어려운 시험에서는 1.8분의 1에 그쳤습니다.
돈 낸 모델이 답했는지 증명하려면: 응답 검증에 드는 계산 비용
Anthropic이 응답과 특정 모델의 계산을 대조하는 FlashProve를 공개했습니다. 초당 110토큰이라는 처리율의 의미와 일반 추론 대비 약 70~95배인 증명 비용, 검증이 보장하는 범위를 살펴봅니다.
출처 링크가 있어도 통계는 달랐다: 인용 1,285건을 거슬러 찾은 원연구
출처 링크가 달린 통계 1,285건을 추적하자 원연구와 같은 내용을 확인한 비율은 약 40%였습니다. 숫자는 그대로인데 조사 대상이 바뀌는 재인용 사례와 보고서에 통계를 옮기기 전 확인할 항목을 살펴봅니다.
코딩을 맡겼는데 더 바빠졌다
에이전트로 구현이 쉬워지자 시작하는 일이 늘고, 검토와 맥락 전환이 한 사람에게 모였습니다. 한 개발자의 GitHub 기록에서 활동량 증가와 피로가 어떻게 겹치는지 살펴봅니다.
AI 모델 사용료가 몇 달 만에 80% 내려간 이유
OpenAI와 Anthropic이 석 달 사이 주력 모델 가격을 최대 80%까지 낮췄습니다. 가격표와 사용량 자료, 공급사 경쟁으로 그 이유를 살펴봅니다.
가짜 통계 5만 페이지가 논문과 은행 보고서의 출처가 됐다
지어낸 통계 페이지 5만 개가 답변형 검색과 기관 문서의 출처로 유통됐습니다. Peec AI 연구자가 공개한 사례에서 인용 링크와 원조사 확인의 차이를 짚습니다.
영수증 금액을 읽는 데 문장 생성이 필요할까: Cloudflare의 추출 모델
Cloudflare가 영수증과 메일에서 값만 뽑는 Clairic을 공개했습니다. 실제 영수증 예시와 처리 시간 비교로 문장 생성과 값 추출을 나눌 때 달라지는 점을 살펴봅니다.
사용량 화면에 없는 비용의 원인: 요청별 기록을 모은 운영 경험
총사용량이 늘어난 이유는 집계 화면만으로 찾기 어렵습니다. 한 개발자가 직접 관리하는 프록시에서 요청별 비용과 지연, 키 별칭을 모아 살핀 운영 경험을 소개합니다.
원하는 구도가 안 나올 때, 장면을 먼저 배치한다: ArtCraft의 이미지 제작 방식
원하는 구도를 말로만 설명하는 대신, 이미지 레이어와 3D 장면에서 위치·자세·카메라를 먼저 정합니다. ArtCraft 공식 데모로 입력과 생성 결과가 어떻게 이어지는지 살펴봅니다.
8GB 사진 편집: FLUX 3 Image Klein 상업 이용 조건
8GB GPU에서 쓰는 ComfyUI INT8 경로와 일반 추론 코드의 메모리 조건은 다릅니다. FLUX 3 Image Klein의 편집 예제와 계열사 합산 매출 500만 달러 미만의 상업 이용 조건을 살펴봅니다.
모델 점수는 높은데 우리 업무도 평가했을까: 미국 직업 923개를 대조한 지도
미국 직업 923개를 기존 평가 문항과 대조하자, 과제 하나 이상이 포함된 직업은 208개였습니다. 높은 모델 점수를 우리 업무에 적용하기 전에 살펴볼 평가 공백을 설명합니다.
