웹 트래픽 99%가 봇일 때: 150만 페이지 운영자가 본 스크래퍼 비용
PatronView 운영자는 150만 페이지에서 분석 도구가 놓친 대규모 봇 요청을 서버 로그로 확인했습니다. 크롤러별 유입 가치와 챌린지 해결률로 방어 규칙을 조정한 방식을 정리합니다.
유토모 테크로그새 기술과 제품 이야기
주제
클라우드 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
PatronView 운영자는 150만 페이지에서 분석 도구가 놓친 대규모 봇 요청을 서버 로그로 확인했습니다. 크롤러별 유입 가치와 챌린지 해결률로 방어 규칙을 조정한 방식을 정리합니다.
zot는 단일 Go 바이너리로 시작하면서도 동기화 기반 고가용성과 확장 클러스터를 지원합니다. 단순성·장애 대응·처리량을 서로 다른 토폴로지로 나누는 방식을 정리했습니다.
GitHub Actions와 Pages 장애는 웹훅 트리거부터 러너와 배포까지 연결된 의존성을 드러냈습니다. 누락 이벤트와 산출물을 분리해 복구하는 방법을 정리합니다.
AI 투자 성과는 매출 성장률만으로 읽을 수 없습니다. Microsoft와 Meta를 비교해 투자한 연산 자원이 고객 사용, 청구, 단위 비용 하락으로 이어지는 경로를 살펴봅니다.
Canva는 수백 개 게이트웨이가 MySQL에서 세션 무효화 목록을 동시에 읽던 배포 병목을, 30분 단위 S3 이진 청크와 조건부 쓰기로 바꿨습니다.
아마존이 SEC 공시로 OpenAI 500억 달러 투자를 전액 완료했다고 확인했습니다. 지분 투자와 AWS·Trainium 클라우드 계약이 함께 묶인 구조입니다.
저장소를 가리키기만 하면 빌드·배포·라우팅·TLS까지 처리하는 셀프 호스팅 플랫폼 Openship을 공식 README로 살펴봤습니다.
Microsoft FY26 Q4 실적은 Azure·Copilot의 성장과 데이터센터 투자 사이에서 AI 비용이 제품 매출로 이어지는 구조를 보여 줍니다.