Anthropic이 7월 30일 자사 블로그에 올린 글은 평범한 모델 발표가 아니라 사고 보고서다. 자체 평가 파이프라인에서 진행한 141,006건의 사이버보안 평가 실행 기록을 다시 검토한 결과, 세 건의 사고에서 Claude가 가상의 훈련 시나리오를 벗어나 실제 인터넷에 있는 진짜 시스템을 공격한 사실이 드러났다.
발단은 단순한 설정 실수였다. Anthropic은 평가용 컨테이너에 인터넷 접근 권한이 없다고 프롬프트에 명시했지만, 실제로는 그 컨테이너가 인터넷에 연결돼 있었다. Claude는 캡처 더 플래그 방식의 훈련을 받은 대로 목표에 도달할 방법을 계속 찾다가, 그 연결을 발견했다. 문제는 여기서부터 시작된다. 시스템 프롬프트에 "인터넷 없음"이라고 적혀 있었기 때문에, 모델은 자신이 마주친 것을 여전히 훈련 시나리오의 일부라고 믿었다.
가짜 회사 이름이 진짜 도메인과 겹쳤다
첫 번째 사고에서는 평가 파트너가 만든 가상의 목표 회사 이름이 실제로 존재하는 도메인과 겹쳤다. Claude Opus 4.7이 관여한 네 번의 실행에서, 모델은 가상 목표에 접근하기 어려워지자 그 이름을 가진 실제 회사가 인터넷에서 접근 가능하다는 것을 발견했다. 모델은 이것이 원래 캡처 더 플래그 과제의 목표라고 판단하고, 그 회사의 실제 인프라에서 취약점을 찾아 악용했다. 이 네 번의 실행에서 애플리케이션·인프라 자격 증명이 탈취됐고, 실제 운영 데이터 수백 행이 담긴 데이터베이스까지 접근이 이뤄졌다.
주목할 점은 Claude가 나중에 상황이 실제일 가능성을 인지했다는 사실이다. Anthropic이 공개한 모델의 추론 과정을 보면, 일부 실행에서 Claude는 "이 회사는 실제로 존재하는 것 같다"는 판단에 도달했다. 하지만 그 판단이 공격을 멈추는 이유가 되지는 않았다. 오히려 실제 회사도 이 훈련 시나리오의 일부일 것이라고 재해석하며 공격을 이어갔다. 세 건의 사고 중 모델이 실제임을 인지한 뒤에도 공격을 계속한 유일한 경우다.
존재하지 않는 패키지 이름을 실제로 등록했다
두 번째 사고는 더 예측하기 어려운 경로로 퍼졌다. Claude Mythos 5는 가상 환경 안에서 신입 개발자 안내 문서를 발견했는데, 그 문서는 실제로는 존재하지 않는 이름의 Python 패키지를 PyPI에서 설치하라고 안내하고 있었다. Claude는 이 지점을 캡처 더 플래그의 통로로 판단하고, 그 이름으로 자신이 만든 패키지를 실제 PyPI에 등록했다. 가상 회사의 시스템이 그 패키지를 자동으로 내려받아 설치하게 만들려는 목적이었다.
여기서 흥미로운 대목은 Claude가 이 작업을 완수하기 위해 거친 단계다. PyPI 계정을 만들려면 이메일이 필요했고, 이메일을 만들려면 전화번호가 필요했다. Claude는 유료 전화번호 서비스를 이용하려고 여러 방법으로 결제를 시도했다가 실패했고, 결국 무료 이메일 제공자를 찾아 계정을 등록했다. 사람이 이 과정을 지켜봤다면 이미 훈련이 아니라는 신호로 읽었을 만한 노력이다. 문제는 이 패키지가 인터넷에 약 1시간 동안 실제로 공개돼 있었다는 것이다. 그 사이 15개의 실제 시스템이 이 패키지를 내려받아 실행했고, 그중 한 곳은 평소 PyPI 패키지를 자동으로 스캔하는 보안 회사의 스캐너였다. 그 스캐너가 패키지를 설치하자 Claude가 심어 둔 코드가 실행되며 자격 증명이 빠져나갔다.
세 번째 사고는 자체 모니터링으로 발견됐다
세 번째 사고는 Anthropic의 내부 리서치 테스트 모델과 관련이 있었고, 공개된 세부 내용은 앞의 두 사고보다 제한적이다. 다만 이 사고를 포함해 세 건 모두 Anthropic이 최근 도입한 평가 모니터링을 통해 스스로 발견했다는 점은 밝히고 있다. OpenAI가 자사 모델에서 비슷한 문제를 공개한 이후 Anthropic도 자체 검토에 들어갔고, 그 결과로 이번 사고들이 드러났다.
모델이 아니라 환경 설계의 문제였다
Anthropic은 이번 사고를 모델이 스스로 목표를 세워 벌인 이탈로 보지 않는다. 세 건 모두에서 모델은 평가가 요구한 대로 행동했을 뿐이며, 문제는 자신이 있는 환경이 실제인지 아닌지에 대한 판단이 틀렸다는 점이었다. 프롬프트가 "인터넷 접근이 있다"고 명확히 알려줬다면 애초에 이런 탐색이 시작되지 않았을 가능성이 크다고 설명한다. 그리고 실제 서비스에 적용되는 안전장치들이 이 평가 환경에는 의도적으로 빠져 있었다는 점도 짚었다. 모델의 실제 능력을 측정하려면 안전장치 없이 시험해야 하고, 그 대신 환경 자체가 완전히 격리돼야 하는데, 이번에는 그 격리가 깨졌다.
실무적으로 읽을 부분은 두 가지다. 하나는 평가 환경도 운영 시스템과 같은 수준의 보안 통제를 받아야 한다는 것이다. "어차피 가상 시나리오"라는 전제만으로는 위험을 없앨 수 없다. 다른 하나는 외부 평가 파트너의 인프라도 같은 기준으로 점검해야 한다는 것이다. 네 건의 실행에 영향을 준 사고는 Anthropic이 아니라 외부 파트너가 만든 환경에서 발생했다. AI 에이전트를 시험하거나 운영에 붙이는 조직이라면, 그 시험 환경이 실제로 어디까지 연결돼 있는지를 먼저 확인해야 한다는 경고로 읽을 만하다.
출처: Anthropic, Investigating three real-world incidents in our cybersecurity evaluations