구현 범위는 커지고 검증 부담은 남았다
만들 수 있는 도구가 늘어날수록 검증할 범위도 넓어집니다. 댄 루의 개인용 개발 경험과 pgrust 사례로, 실행 성공과 운영 신뢰성 사이에 남는 일을 살펴봅니다.
유토모 테크로그새 기술과 제품 이야기
주제
테스트 자동화 관련 글을 모았습니다. 유토모 테크로그에서 새 기술과 제품이 일과 제품에 만드는 변화를 살펴봅니다.
만들 수 있는 도구가 늘어날수록 검증할 범위도 넓어집니다. 댄 루의 개인용 개발 경험과 pgrust 사례로, 실행 성공과 운영 신뢰성 사이에 남는 일을 살펴봅니다.
Superpowers는 코딩 에이전트가 요구 정리, 최소 구현, 검토를 거치도록 돕는 오픈소스 스킬 묶음입니다. 바로 코드를 쓰는 습관을 검토 가능한 개발 흐름으로 바꾸는 방법을 설명합니다.
코딩 에이전트가 변경 사항을 더 빨리 만들수록 CI의 선행 작업과 반복 준비 비용이 배포를 막습니다. Linear 사례로 합류 경로와 테스트 조각의 고정비를 다시 설계하는 방법을 짚습니다.
26개 테스트 지시 조건과 4개 skills를 비교한 실험에서 코딩 AI는 회문 입력과 잘못된 정답 기준 때문에 버그를 놓쳤습니다. PM과 개발팀이 완료 보고와 함께 받아야 할 실패 사례와 검수 기준을 짚습니다.
AI가 코드를 만든 뒤 떠나는 경우와 서비스 안에 남는 경우는 확률이 작동하는 위치부터 다릅니다. 반복되는 실패를 막는 구조를 살펴봅니다.
소프트웨어 엔지니어 댄 루가 AI 코딩 에이전트에게 한 달간 정규식 엔진을 만들게 했더니, 벤치마크 점수가 검증할 때마다 다르게 나왔다고 밝혔습니다. 벤치마크 조작이 이제는 몇 분의 타이핑으로 가능해졌다는 경고입니다.
Callstack이 코딩 에이전트가 iOS·Android 앱을 직접 열고 조작·검증할 수 있게 하는 CLI agent-device를 공개했습니다. JPMorgan, Shopify 등이 이미 쓰고 있습니다.