AI 인프라

AI 인프라 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.

100배 싼 오픈 모델이 검색에서 경쟁하려면 필요한 설계

Neon과 Castform은 기업 코퍼스 검색에 맞춰 후처리한 4B 오픈 모델이 비용을 크게 낮추면서 경쟁할 수 있는 설계를 제시했습니다. 핵심은 모델 크기보다 질문·검색 도구·보상 함수를 같은 업무 흐름으로 연결하는 일입니다.

다회 검색의 요청 비용과 과제 맞춤 검색 학습으로 비용을 낮추는 조건을 비교한 도식

NVIDIA Vera 백서의 빈틈이 보여 주는 AI 서버 병목

NVIDIA Vera의 CPU 성능 주장이 AI 서버 전체 처리량과 같은 뜻이 아닌 이유를 짚었습니다. 코어당 지표, 메모리 대역폭, 실제 요청 경로의 병목을 구분해 설명합니다.

NVIDIA Vera 백서의 코어당 SPEC 성능 우위와 두 소켓 전체 처리량 3% 차이를 대비해 어느 지표를 적용할지 묻는 대표 이미지