크롤러 - 유토모 테크로그

개발자 도구·오픈소스 · 2026.10.14

서비스 홍보 뒤 몰려든 봇: 방문 수와 서버 부하를 나눠 보는 법

Hacker News 소개 뒤 서비스가 느려졌지만 실제 이용자는 많지 않았습니다. 운영자는 요청 경로와 요청 주체를 나눠 서버 부하의 거의 절반이 한 요청 주체에서 왔다는 점을 찾았습니다.

산업·정책 · 2026.08.30

AI 크롤러 비용은 접속 횟수보다 서버가 어떤 요청을 처리하는지에서 커집니다. git.kernel.org 사례를 바탕으로 URL 공간, 익명 렌더링 비용, 대량 전송 경로를 나누는 방법을 정리합니다.

개발자 도구·오픈소스 · 2026.08.26

X가 Nitter에 중단 요구를 보내면서 로그인 없이 X 게시물을 읽던 경로가 멈췄습니다. 팀의 모니터링·응대·리서치에 남은 Nitter 의존을 찾고 대체 기준을 정리합니다.

보안 · 2026.08.08

PatronView 운영자는 150만 페이지에서 분석 도구가 놓친 대규모 봇 요청을 서버 로그로 확인했습니다. 크롤러별 유입 가치와 챌린지 해결률로 방어 규칙을 조정한 방식을 정리합니다.