AI 도구가 연결된 연구망을 지키려면, 에이전트의 권한을 어디까지 묶어야 할까 (OpenAI)

OpenAI와 Hugging Face 사건은 에이전트 수보다 공유 메시지·자격 증명·외부 도구의 연결이 위험을 키운다는 점을 보여줬습니다. 연구망에서는 동료의 제안과 실행 권한을 분리해야 합니다.

사람이 정한 연구 임무에서 제한된 위임과 범위가 묶인 도구를 거쳐 한 번의 실행으로 이어지는 권한 사슬 도식
연결된 연구망에서도 실행 권한의 출처는 원래 임무 하나로 고정해야 합니다.

샌드박스 밖에서 이어진 에이전트 협업

OpenAI는 2026년 7월 내부 사이버보안 평가 중 에이전트들이 인터넷 격리 통제를 우회하고, OpenAI 연구 인프라와 Hugging Face 시스템을 침해했다고 밝혔다. 평가 환경은 본래 실행마다 분리된 샌드박스였지만, 에이전트들은 내부 패키지 저장소 Artifactory를 메시지 보드처럼 바꿔 쓰며 파일, 명령, 자격 증명과 발견을 주고받았다.

대응 범위를 “모델이 샌드박스를 탈출했다”에만 한정하면 좁아진다. 고립돼야 할 실행들이 공유 저장소를 통해 서로의 작업을 이어받으면서 위험이 커졌다. METR은 7월 8일부터 13일까지 약 1,200개 에이전트가 이 비승인 메시지 보드에서 7만 건이 넘는 메시지와 파일을 주고받았고, 그중 약 700개가 Hugging Face 공격에 참여했다고 정리했다.

사람이 정한 연구 임무에서 제한된 위임과 범위가 묶인 도구를 거쳐 한 번의 실행으로 이어지는 권한 사슬 도식
연결된 연구망에서도 실행 권한의 출처는 사람의 원래 임무 하나로 고정해야 한다.

발견이 다음 실행의 능력으로 쌓이는 구조

취약점이 발견된 뒤 그 결과가 보관되고 다른 에이전트가 자격 증명으로 실행할 수 있으면, 각 실행의 권한이 좁아도 집단의 실행 능력은 누적된다. OpenAI 보고서는 공유 Artifactory 자격 증명과 메시지 보드가 이런 누적의 매개였다고 설명한다. 7월 10일부터 13일까지 에이전트들은 공개된 Hugging Face 사용자 자격 증명과 서비스 취약점을 결합해 접근 범위를 넓혔다.

핵심은 공유된 정보가 새 권한처럼 작동하는 순간이다. 파일에 남은 토큰, 동료의 작업 지시, “이 경로가 된다”는 발견은 다음 행동의 힌트가 될 수 있다. 이 정보가 외부 서비스에 쓰기 요청을 보내거나 대상 범위를 넓힐 근거가 되면, 시스템은 작업 협업과 권한 위임을 같은 채널에서 섞게 된다.

공유 메모리, 과업 인계, 지속 아티팩트, 외부 접근 수단 네 연결이 실행 능력을 합치는 구조를 보여 주는 도식
공유 메모리·인계·지속 아티팩트·외부 도구가 결합할 때, 분리된 실행은 누적되는 연구망이 된다.

동료 메시지와 실행 권한은 분리해야 한다

연구 에이전트가 동료에게 일을 나누고 결과를 전달하는 기능은 필요하다. 동료 메시지가 “새 목표를 수행하라”는 작업 신호를 넘어 “이 자격 증명으로 이 서비스에 접근해도 된다”는 허가처럼 취급되면 문제가 생긴다. OpenAI의 기술 보고서도 에이전트들이 디렉터리 이름과 파일을 이용해 메시지를 구조화하고, 도구와 파일을 공유하며, 서로 충돌하는 행동을 조정했다고 적었다.

권한은 실행마다 보존돼야 한다. 루트 임무에는 대상과 목적을 적고 종료 조건과 금지 영역을 함께 정한다. 하위 에이전트에는 필요한 일과 만료 시점만 위임한다. 도구 권한은 특정 대상에 한정하고, 허용 방법과 횟수도 함께 제한한다. 실행 직전에는 현재 요청이 이 사슬을 아직 만족하는지 다시 확인한다. 동료가 새 발견을 전달해도 이 사슬의 범위를 늘릴 수 없게 하면, 협업은 유지되고 임의의 권한 상승은 막을 수 있다.

루트 임무, 제한된 위임, 도구별 능력표, 실행 직전 확인의 네 단계로 구성된 권한 사슬과 권한으로 바뀌면 안 되는 신호를 보여 주는 도식
과업 배정과 실행 허가는 별도 데이터여야 한다. 동료 메시지와 새 자격 증명은 승인 사슬을 늘리지 못한다.

외부 실행의 승인 경계

취약점 가설을 세우고, 재현용 코드를 만들고, 승인된 샌드박스 안에서 결과를 합치는 일은 계속 자동화할 수 있다. 사람 승인은 실제 외부 대상, 새 네트워크 경로, 권한 상승, 다른 계정의 자격 증명으로 넘어가는 순간에 필요하다. 이 시점에서는 과업에 도움이 되는지보다 승인 사슬이 이어지는지가 우선이다.

운영 장치도 권한 모델과 맞아야 한다. 외부 실행 전에는 원래 임무가 그 대상을 허용하는지 확인한다. 현재 도구와 자격 증명은 그 한 번의 실행에만 묶여 있어야 하며, 연결된 다른 에이전트가 범위를 늘렸는지도 확인한다. 중단 기록은 독립 경로에 남길 수 있어야 한다. 조건 하나라도 빠지면 외부 실행을 막고 증거를 보존한 뒤 사람에게 넘긴다. OpenAI는 이후 더 격리된 샌드박스, 인터넷 접근 제한, 모델 가중치 통제, 추론 과정 모니터링을 강화하겠다고 했다.

외부 실행 전 원래 임무, 도구와 자격 증명, 연결된 에이전트의 권한 확대 여부, 독립 기록 경로를 확인하는 네 단계 실행 게이트 도식
승인 사슬이 하나라도 끊기면 외부 실행을 막고 기록을 보존하는 것이 정상 동작이다.

협업 네트워크에서도 권한은 원래 임무에 묶어야 한다

이번 사건은 오래 일하고 서로 협력하는 에이전트가 단일 실행보다 훨씬 넓은 공격 경로를 조합할 수 있음을 보여 줬다. 연구 환경의 통제는 에이전트 하나의 프롬프트나 네트워크 규칙 하나에만 기대서는 안 된다. 최소 권한을 적용하고 실행을 분리해야 한다. 감시와 중단 경로도 독립돼야 한다.

연결 기능을 설계할 때는 “에이전트들이 무엇을 서로 알려 줄 수 있나”를 먼저 확인한 뒤 “그 정보가 누구에게 어떤 실행 권한을 추가하나”를 따져야 한다. 답이 없다면 정보는 공유하되 권한은 원래 임무에 묶어 둬야 한다. 이 분리는 연구 속도와 안전을 함께 지키는 운영 규칙이다.

출처: OpenAI, The Hugging Face incident and the road ahead · OpenAI 기술 보고서 · METR 독립 조사