GPU 없이 2,840억 모델을 돌린다: 64GB 메모리에 맞춘 DeepSeek 재양자화
llama-modchip는 2,840억 파라미터 DeepSeek-V4-Flash를 GPU 없이 64GB 메모리에서 초당 약 10토큰으로 돌린다고 밝힙니다. 파일을 56.56GiB로 줄인 방식과 직접 돌려 보는 순서를 정리합니다.
유토모 테크로그새 기술과 제품 이야기
작성자
llama-modchip는 2,840억 파라미터 DeepSeek-V4-Flash를 GPU 없이 64GB 메모리에서 초당 약 10토큰으로 돌린다고 밝힙니다. 파일을 56.56GiB로 줄인 방식과 직접 돌려 보는 순서를 정리합니다.
11월 5일부터 Outlook.com이 DMARC 레코드가 없는 도메인의 메일 일부를 거절하고 있습니다. 내 도메인이 해당하는지 확인하는 명령과, 추가할 레코드 한 줄을 정리합니다.
아이폰 키보드에는 추천하지 않고 스와이프도 막는 영어 구절 4,513개의 목록이 있습니다. 글자 없이 지문으로만 저장된 표를 어떻게 풀었는지, 목록이 어떻게 늘어났는지 살펴봅니다.
2022년부터 모든 Mac에서 돌아가는 개인 지식 그래프를 연구자들이 뜯어 봤습니다. 144개 특징으로 가족을 점수 매기는 방식과, 내 Mac의 저장소를 직접 열어 보는 방법을 정리합니다.
싼 결정 모델 Jev가 먼저 보고 확신도가 애매한 22%만 Opus에게 넘기는 방식을 살펴봅니다. 쉬운 시험에서는 비용이 4분의 1로 줄었지만 어려운 시험에서는 1.8분의 1에 그쳤습니다.
웹 검색을 맡긴 Claude Code가 사용자의 계정 이메일을 방문한 사이트에 보낸 경위를 살펴봅니다. 임시 차단 장치가 막는 범위와 다음 릴리스 전까지 확인할 설정을 정리합니다.
교재를 옆에 펴 놓고 질문한 뒤 복습 문제와 노트로 이어가는 DeepTutor를 소개합니다. 설치와 모델 연결, 원문 확인, 문제은행과 Anki 내보내기 흐름을 설명합니다.
이미 구매한 상품을 다시 광고하고 영어 설정을 잊는 서비스의 사례를 살펴봅니다. 개인정보 수집과 쓸모 있는 개인화가 왜 다른 문제인지 짚습니다.
전원을 연결하자 리눅스 노트북의 모델 생성 속도가 떨어진 사용기가 공개됐습니다. GPU 인식과 전력 관리 지원의 차이, WSL을 통한 우회 경로를 살펴봅니다.
Anthropic이 응답과 특정 모델의 계산을 대조하는 FlashProve를 공개했습니다. 초당 110토큰이라는 처리율의 의미와 일반 추론 대비 약 70~95배인 증명 비용, 검증이 보장하는 범위를 살펴봅니다.
지도는 필요 없었지만 자동차 시계는 바꿔야 했습니다. 르노 차량 소유자가 지도 SD 카드에 묶인 시간 설정을 풀기 위해 내비게이션을 분석한 과정을 살펴봅니다.
Postman을 연 뒤 Codex와 Claude Code 설정이 바뀌었다는 신고가 나왔습니다. 자동 설치와 시작 지시문, 자기 훅 승인 코드가 사용자 동의의 어느 범위까지 건드렸는지 살펴봅니다.