100배 싼 오픈 모델이 검색에서 경쟁하려면 필요한 설계
Neon과 Castform은 기업 코퍼스 검색에 맞춰 후처리한 4B 오픈 모델이 비용을 크게 낮추면서 경쟁할 수 있는 설계를 제시했습니다. 핵심은 모델 크기보다 질문·검색 도구·보상 함수를 같은 업무 흐름으로 연결하는 일입니다.
글 읽기유토모 테크로그
기술을 보고,
일을 생각합니다.
새로 나온 기술과 제품이 만들어 내는 변화의 쓰임을 기록하는 블로그입니다.
최근 글
Framework의 Metabase 0-day 침해가 보여 준 분석 도구 보안의 빈틈
Framework의 Metabase 분석 데이터베이스 침해는 대시보드가 고객 식별 정보를 모으는 별도 공격 표면임을 보여 줬습니다. 필요한 열만 전달하는 데이터 최소화와 침해 뒤 피싱 대응 흐름을 정리합니다.
AI 자기개선의 병목은 모델이 아니라 하네스에 있다
AI 자기개선의 가까운 병목은 모델 가중치보다 실행·기억·평가를 조율하는 하네스에 있습니다. 실패 기록과 분리된 검증이 왜 핵심인지 정리했습니다.
Pi가 최소한의 코딩 하네스로 확장성을 확보한 방식
Pi는 기본 도구와 안내문을 작게 두고, 프로젝트별 반복 절차는 확장으로 분리했습니다. Databricks의 과업 비용 측정과 Shopify의 Autoresearch 사례로 그 경계를 살펴봅니다.
NVIDIA Vera 백서의 빈틈이 보여 주는 AI 서버 병목
NVIDIA Vera의 CPU 성능 주장이 AI 서버 전체 처리량과 같은 뜻이 아닌 이유를 짚었습니다. 코어당 지표, 메모리 대역폭, 실제 요청 경로의 병목을 구분해 설명합니다.
취미 프로그래밍 공동체가 LLM 사용에 반발하는 이유
취미 프로그래밍 공동체가 LLM 생성 결과물에 반발하는 이유를, 결과보다 이해와 신뢰 축적을 중시하는 문화에서 풀어냈습니다.
if 하나를 없애 Rust 필터를 4배 빠르게 만든 이유
무작위 조건 분기가 Rust 필터의 50% 선택률을 가장 느리게 만든 이유와, 쓰기 위치를 바꾸는 분기 없는 기법의 성능 교환을 정리했습니다.
Grokipedia의 멈춘 편집 파이프라인이 드러낸 AI 지식 서비스의 과제
Grokipedia의 공개 편집 파이프라인이 4월 말부터 멈춘 정황이 분석으로 드러났습니다. AI 지식 서비스가 갱신·결정·이력 기록을 함께 운영해야 하는 이유를 짚습니다.
생성형 AI가 바꾼다는 소프트웨어 개발, 여덟 가지 통념을 다시 본다
생성형 AI가 개발을 빠르게 만드는 것은 사실이지만, 코드 생성 속도만으로 팀의 전달 속도와 품질을 판단할 수는 없습니다. ACM Queue가 짚은 여덟 통념으로 병목·측정·도입 조건을 다시 봅니다.
Microsoft 실적이 보여 준 AI 효율화의 대가와 전략
AI 투자 성과는 매출 성장률만으로 읽을 수 없습니다. Microsoft와 Meta를 비교해 투자한 연산 자원이 고객 사용, 청구, 단위 비용 하락으로 이어지는 경로를 살펴봅니다.
AI-퍼스트 기업의 속도는 인원 감축이 아니라 의사결정 구조에서 나온다
AI로 초안을 빨리 만드는 것만으로 제품 조직이 빨라지지는 않습니다. NFX가 제안한 미션 팟을 통해 출시·측정·학습까지 이어지는 의사결정 구조를 살펴봅니다.
Canva가 수억 사용자 세션을 즉시 무효화하는 방법
Canva는 수백 개 게이트웨이가 MySQL에서 세션 무효화 목록을 동시에 읽던 배포 병목을, 30분 단위 S3 이진 청크와 조건부 쓰기로 바꿨습니다.
