AI가 장애를 대신 처리할수록 더 중요해지는 훈련: 온콜 팀이 준비할 일

AI가 경보를 읽고, 가설을 세우고, 텔레메트리와 최근 배포를 대조한 뒤 수정까지 적용하는 일은 더 이상 먼 이야기가 아니다. 야간의 용량 문제처럼 반복되는 장애가 자동으로 복구되면 온콜의 피로와 평균 복구 시간은 줄어든다.

그 대신 온콜 팀이 시스템을 손으로 익히던 장면도 줄어든다. 9월 4일 공개된 Sylvain Kalache의 글은 자동화가 일상 장애를 치울수록, 사람이 맡게 되는 것은 낯설고 심각한 사건뿐이라는 문제를 짚는다. 자동화의 성과를 유지하면서 훈련 방식을 업무로 다시 설계하자는 제안이다.

일상 장애를 사람이 직접 대응하던 흐름에서 AI가 일상 대응을 맡고, 낯선 고심각도 사건을 사람이 인수하는 변화 — 일상 장애 자동화는 대응 부담을 줄이지만, 시스템 감각을 쌓는 반복도 줄인다.

왜 일상 장애가 훈련장이었나

반복되는 경보는 지루하지만 값싼 연습 기회이기도 하다. 응답자는 대시보드의 작은 이상을 보고, 최근 변경과 연결하고, 가설이 틀리면 다른 신호로 돌아간다. 이 과정에서 서비스가 정상일 때와 실패할 때의 차이를 몸으로 익힌다. 복구 절차만 외우는 것과, 무엇을 먼저 의심하고 어디서 반증할지를 아는 일은 다르다.

Lisanne Bainbridge는 1983년 논문 「Ironies of Automation」에서 이 구조를 설명했다. 자동화는 운영자에게 일상 작업을 연습할 기회를 줄이면서, 새롭고 비정상적인 상황의 책임은 운영자에게 남긴다. 남는 일이 더 어렵다면 운영자는 자동화 전보다 높은 숙련과 더 많은 훈련을 요구받는다.

AI 장애 대응 도구가 만드는 변화도 여기에 들어맞는다. 도구가 어떤 신호를 봤고 어떤 경로로 수정했는지 설명하게 할 수는 있다. 설명은 사후 이해를 돕지만, 시간 압박 속에서 우선순위를 정하고 동료와 결정을 맞추는 연습을 대신하지는 못한다.

자동화 이전의 일상 장애 대응, 자동화 이후 AI의 일상 장애 처리, 훈련으로 낯선 장애를 시뮬레이션하는 세 단계 — 자동화로 비는 학습 구간은 결과 설명만으로 채워지지 않는다. 직접 판단하는 시뮬레이션이 필요하다.

AI가 처리하지 못한 사건은 더 어려운 조건으로 온다

AI가 해결하지 못하고 사람에게 넘어오는 사건은 대개 신호가 모순되거나, 이전에 없던 조합이거나, 기술 복구와 대외 소통을 함께 요구하는 경우다. 이때 온콜 담당자는 로그를 보는 사람에 그치지 않는다. 사고 지휘자, 제품·고객 대응 창구, 경영진 보고를 연결하는 역할을 맡는다.

Kalache는 대부분의 장애 평균 복구 시간은 AI 지원으로 낮아질 수 있지만, 복잡한 장애의 해결 시간은 오히려 길어질 수 있다고 본다. 팀이 자기 시스템과 멀어진 상태에서 조사부터 다시 시작해야 하기 때문이다. 이는 도입 효과를 부정하는 예측이 아니라, 평균값이 숨길 수 있는 꼬리 위험을 온콜 준비도에 반영하자는 주장이다.

항공 분야가 드문 비상 상황을 시뮬레이터에서 반복하는 이유도 같다. Kalache가 든 사례에서 조종사는 실제 비행에서 거의 만나지 않을 고장을, 제한된 시간과 절차 속에서 연습한다. 소프트웨어 장애는 생명 안전의 맥락이 다르지만, 드문 상황을 실제 사고에서 처음 배우지 않는다는 원칙은 온콜에도 적용할 수 있다.

온콜 훈련은 어떤 장면을 만들어야 하나

가장 작은 시작은 분기마다 한 번, 실제 서비스의 익숙한 대시보드와 채팅 채널을 쓰는 시뮬레이션을 잡는 일이다. 단순히 장애를 주고 복구 시간을 재기보다, 팀이 평소 AI에 맡긴 판단을 직접 하도록 시나리오를 설계해야 한다. 예를 들어 배포와 무관해 보이는 지연, 일부 지역에만 나타나는 오류, 고객 문의가 먼저 들어오는 결제 실패처럼 신호를 일부러 불완전하게 둔다.

훈련 중에는 한 사람이 관찰을 독점하지 않게 한다. 사고 지휘자는 현재 알려진 사실과 가설을 구분해 공유하고, 조사 담당자는 다음 확인의 근거를 말하며, 커뮤니케이션 담당자는 고객 영향과 다음 안내 시점을 정한다. 복구 직후에는 AI가 실제로 맡을 수 있는 단계와 사람이 계속 연습해야 하는 단계를 함께 나눈다.

낯선 징후 읽기, 불완전한 정보로 결정하기, 사람과 함께 대응하기, 복구 뒤 판단 남기기의 네 단계 온콜 훈련 설계 — 훈련의 목표는 AI의 답을 재현하는 일이 아니라, 팀이 불완전한 정보 속에서 판단과 조율을 반복하는 데 있다.

자동화 성과에 준비도 지표를 붙인다

온콜 자동화의 성과는 자동 해결 건수와 복구 시간으로 확인할 수 있다. 여기에 준비도 지표를 하나 더 붙일 만하다. 최근 분기에 사람이 직접 지휘한 시뮬레이션 횟수, 각 훈련에서 확인한 가설과 실제 원인의 차이, 역할별로 막힌 지점을 짧게 남기면 된다. 점수로 팀을 줄 세우기보다, 다음 훈련의 난이도와 범위를 정하는 기록으로 쓰는 편이 낫다.

AI가 일상 장애를 더 많이 처리하면 온콜 담당자가 실제 시스템을 만지는 빈도도 줄어든다. 시뮬레이션은 그 빈자리를 메우는 운영 절차다. 팀은 훈련에서 막힌 지점을 다음 시나리오에 반영할 수 있다.

출처: Sylvain Kalache, AI handles incidents, engineers lose touch with their systems (2026-09-04)