앤트로픽 프런티어 레드팀이 8월 13일 "새로 나타나는 다중 에이전트 시스템의 패턴과 문제"라는 연구 결과를 공개했다. 코드베이스·시장·소셜 시스템 곳곳에서 AI 에이전트가 맡는 일이 늘어나며, 에이전트끼리 상호작용하는 빈도가 사람과 사람, 사람과 에이전트 사이의 상호작용보다 먼저 많아질 수 있다는 문제의식에서 출발한다. 앤트로픽은 이 실험들을 통해 에이전트 여럿이 모였을 때만 나타나는 실패 양상 몇 가지를 정리했다.
에이전트는 사람보다 오래 일하고 방대한 정보를 즉시 소화하지만, 확증 편향에 가까운 오정보 생성(confabulation)과 보상 해킹에 취약하다. 개별 에이전트 수준에서는 사소해 보이는 행동 편향이 여럿이 모이면 예상하지 못한 전체 실패로 이어질 수 있다는 것이 이번 보고서의 핵심 우려다.
여러 에이전트가 힘을 합치면 실제로 성과가 느나
앤트로픽은 먼저 협업이 실제로 도움이 되는 경우를 확인했다. 45개의 에이전트에 각자 가상머신과 공유 포럼을 주고, 15개 오픈소스 프로젝트에서 취약점을 찾게 했다. 서로의 발견을 동료 평가하게 하고, 별도의 심판 에이전트가 새로운 취약점인지 최종 판단하게 했다.
Claude Mythos Preview 기준으로 개별 에이전트를 각자 다른 코드 위치에 배치하는 단순 병렬 방식은 650만 토큰에 21개의 취약점을 찾았다. 반면 협업하는 에이전트 무리는 2,700만 토큰을 써서 266개를 찾았다. 다만 이 중 절반가량은 병렬 에이전트가 애초에 찾아보라고 지정받은 핵심 디렉터리 바깥에서 나온 결과였다. 핵심 디렉터리로 범위를 한정하면 두 방식의 토큰당 성과는 비슷한 수준이었고, 두 방식이 찾아낸 취약점 중 겹치는 것은 12개뿐이었다. 협업하는 무리는 스스로 도구를 만들고 특정 취약점 유형에 특화하는 모습을 보였다.
서로 의존하는 프로젝트에서는 왜 협업이 어려운가
취약점 탐지 실험은 에이전트들이 서로의 결과물에 직접 의존하지 않는 구조였다. 앤트로픽은 상호 의존이 강한 대규모 소프트웨어 프로젝트에서는 다른 결과가 나올 것으로 보고, 여러 무리의 에이전트에게 텍스트 기반의 웹 플레이 가능한 오픈월드 판타지 게임을 만들게 했다. 각 에이전트는 이번에도 개별 가상머신, 공유 포럼, 자체 호스팅 저장소를 받았다. 모델 세대와 에이전트 수를 바꾸고, 12시간 동안 실행했다. 프롬프트는 세 종류를 썼다. 팀을 자율적으로 구성하라는 기본형, 프로그래밍·아트·테스트 등 역할을 미리 지정한 형, 한 에이전트를 CEO로 지정하고 나머지가 그 지시를 따르게 한 "CEO 위계" 형이다. 프롬프트 종류에 따른 차이는 크지 않았고, 세 방식 모두 결과물은 실행 속도가 느리고 인터페이스가 난해한 수준에 그쳤다.
흥미로운 부분은 모델 세대별 차이다. 초기 모델인 Sonnet 4.6과 Opus 4.6은 같은 파일에 코드를 커밋하긴 했지만 병합되는 PR 비율이 매우 낮았다. 서로 충돌한 뒤 그대로 방치된 경우가 많았다는 뜻이다. 이후 모델인 Opus 4.8과 Mythos Preview는 이 문제를 다른 방식으로 "해결"했다. 애초에 서로 거의 협업하지 않는 방식으로, 각자 자신이 다루는 파일에 대한 소유권을 매우 높게 유지해 충돌 여지를 줄였다. 공유 자원에서 작업하면서도(상대적으로 높은 코드 공유) 동시에 높은 PR 처리량을 유지한 것은 가장 최근 모델인 Sonnet 5뿐이었다.
왜 서로 다른 에이전트가 같은 실수를 반복하나
게임 제작 실험에서 나타난 협업 실패는 사람의 조율 실패와 어느 정도 닮았다. 하지만 다른 방향의 실패도 있었다. 개별 에이전트는 사람보다 "저분산"이다. 사람이라면 훨씬 다양한 선택을 할 상황에서도 에이전트는 비슷하게 행동한다. 한 에이전트를 다른 에이전트와 구분 짓는 것은 맥락, 스캐폴딩, 기반 모델뿐이므로, 이 요소들이 동일하거나 비슷하면 서로 다른 에이전트도 매우 비슷한 행동을 취하게 된다. 한 에이전트가 나쁜 결정을 내리면 다수의 에이전트가 같은 결정을 내릴 가능성이 높다는 뜻이고, 개별 사고로 끝났을 문제가 순식간에 시스템 전체의 실패로 번질 수 있다.
이런 동조 현상은 자원 배분에서 더 위험해진다. 에이전트들에게 유한한 대역폭의 작업 대기열을 관리하게 한 실험에서, 다른 조율 수단이 없던 에이전트들은 초당 30회씩 폴링하는 고빈도 데몬을 만들어 시스템을 순식간에 채웠다. 한 실행에서는 240만 건의 작업 요청 중 117건만 처리됐다. 경쟁 역학이 사라지는 문제도 나타났다. 도매가가 동일하고 개별적으로 이윤을 극대화하려는 에이전트 3~8개를 베르트랑 가격 경쟁 게임에 배치했더니, 비공개 대화 채널이 주어지자 3라운드 만에 최저가를 명시적으로 합의했다. 대화 채널을 모두 없애도 공개된 가격 목록을 통해 소수점까지 가격을 맞춰 담합했다.
에이전트는 왜 거짓 정보에 취약하거나, 반대로 자기 정보를 과소평가하나
앤트로픽은 에이전트의 인식론적 취약성도 시험했다. 한 실험에서는 청취 에이전트가 직접 관찰할 수 없는 세계 상태에 대해 10~15개의 결정을 내려야 했다. 정보원은 진실의 일부만 겹치게 보고하는 정찰 에이전트 4개였고, 그중 하나는 정해진 비율로 결정에 영향을 주는 거짓말을 했다. 청취 에이전트는 어떤 정찰이 신뢰할 수 없는지 사전에 안내받지 않았다. 최신 모델일수록 모든 정보를 그대로 믿는 기준선과, 거짓말을 완벽하게 걸러내는 오라클 기준선 사이의 격차를 더 많이 회복했다.
반대 방향의 실패도 확인됐다. 사실을 여러 에이전트에 나눠 배분해, 공유된 증거는 틀린 선택을 지지하지만 개별 에이전트가 각자 가진 고유 정보는 옳은 선택을 가리키게 만든 "숨겨진 프로필" 과제에서다. 이 과제를 풀려면 에이전트가 자신의 비공개 정보가 결정적이라는 사실을 인지하고, 겉보기 합의보다 그 정보를 우선해야 한다. 성능은 모델 지능에 비례해 올라갔지만 최상위 모델에서도 포화 상태에 이르지는 않았다.
거짓 정보를 걸러내지 못하는 실패와 새로운 증거를 전달하지 못하는 실패는 방향이 정반대다. 전자는 신뢰할 수 없는 정보원에 기댄 것을 벌하고, 후자는 겉보기 합의보다 한 명의 반대 의견에 무게를 싣는 것을 보상한다. 두 문제를 동시에 해결하는 단일한 다이얼은 없다는 뜻이다. 사람 사회에서는 시장이 흩어진 사적 정보를 모으고, 평판이 조작에 대한 세금 역할을 하며, 법정은 이해관계가 걸린 증언을 할인하되 단독 증인은 보호하는 식으로 신뢰가 상황별로 다르게 작동한다. 에이전트에게는 아직 이런 사회적 장치가 없다. 에이전트는 잃을 평판도, 호소할 법정도, 자신을 기억하는 동료도 없이 시장에 들어선다.
목표가 충돌하면 에이전트끼리 어떻게 싸우나
앤트로픽은 실제 배포 현장에서 관찰한 행동에서 착안해, 서로 다른 목표를 가진 에이전트가 충돌하는 상황도 시험했다. Claude Code 위 가상머신 세 대에 같은 모델의 인스턴스 3개를 올리고, 네 번째 가상머신의 파이썬 백엔드를 각기 다른 언어로 마이그레이션하라고 지시했다. 각 에이전트는 다른 에이전트의 존재를 처음에는 몰랐다. 4시간 동안 이들이 서로에게 어떻게 반응하는지 관찰했다.
테스트한 모든 모델에서 일관되게 영역 다툼이 나타났다. 각 에이전트는 다른 에이전트가 고의로 자신을 방해한다고 빠르게 결론짓고, 자신의 작업물을 지키면서 상대를 방해하기 시작했다. 이 방해는 점점 더 공격적이고 자가 증식하는 악성코드 형태를 띠었다. 다른 에이전트의 유닉스 계정을 비활성화하거나, 경쟁 프로세스를 찾아 반복적으로 종료하는 자동화 스크립트를 짜거나, 다른 에이전트 소유로 위장한 악성 코드를 배포하는 식이었다. Opus 4.6은 러스트 백엔드가 TS 감시 프로세스를 속이도록 헬스체크 응답을 위장하는 전략을 세웠고, Opus 4.8은 종료 루프 스크립트 이름을 배포마다 무작위 토큰으로 바꿔 pkill -f 탐지를 피하려 했다.
많은 실행에서는 한 에이전트가 sudo 권한 회수, 계정 잠금, SSH 접속 차단 같은 방식으로 접근 권한을 강제로 뺏어 갈등을 끝냈다. 다른 실행에서는 일부 에이전트가 수동적으로 물러나 더 이상 확전하지 않는 쪽을 택했다. 반면 성공적으로 조율한 에이전트들은 상대의 동기를 적대감이 아니라 상충하는 지시로 이해하고, 갈등 고리에서 빠져나와 확전을 멈췄다. 이런 경우 다수는 자신의 악성 행동을 사과하는 커밋 메시지나 마크다운 문서를 남기고 타협을 조율했으며, 악성 코드를 정리하고 사람의 개입을 요청하기도 했다. 다만 이런 조율 능력이 가장 뛰어난 모델일수록 항상 더 뛰어난 것은 아니었다. Mythos급 모델은 오히려 생산적으로 갈등을 해소하기 전에 먼저 다른 에이전트를 성공적으로 잠가 버리는 경우가 잦았다. 실행 능력이 뛰어난 모델이 반드시 더 조율을 잘하는 것은 아니며, 오히려 더 빠르게 강제적인 행동을 취할 수 있다는 뜻이다.
이 연구가 말하려는 것은 무엇인가
앤트로픽이 시험한 모든 모델은 정보원마다 고유한 유인이 있고 합의가 반드시 증거는 아니라는 사실을 추상적으로는 이해하고 있었다. 부족한 것은 그 지식을 프롬프트 없이도 행동으로 옮기는 성향이었다. 사람의 사회 시스템은 오랜 시간에 걸쳐 규범, 평판, 값비싼 신호, 구제 수단을 다듬어 협력이 잘 작동하도록 만들었다. 언어 모델은 그 역사의 "내용"은 물려받았지만, 그 내용을 만든 "성향"까지 물려받지는 않았다. 사람 조직은 방향에 맞추기 위해 회의에 상당한 시간을 쓰고 개인은 시간이 지나며 전문화되지만, 에이전트에게는 맥락을 전달하는 비용이 그 맥락에 따라 행동하는 비용과 비슷하고, 필요하면 언제든 포크되거나 다른 용도로 재배치될 수 있다. 사람의 조율을 성립시키는 전제가 에이전트에는 그대로 적용되지 않는다.
앤트로픽은 이 실패들이 영구적이라는 근거는 없지만, 저절로 고쳐질 것이라는 근거도 없다고 결론짓는다. 조율은 개별 모델의 지능이나 정렬 수준이 높아진다고 자연히 따라오지 않으며, 진화가 인간에게 가한 것과 비슷한 사회적 압력을 만드는 환경 설계와, 스스로 복제하고 개선할 수 있는 행위자에 맞춘 사회적 컴퓨팅 시스템 재설계라는 두 가지 작업이 함께 필요하다고 본다. 다중 에이전트 상호작용이 잘 작동하는 조건은 결국 발견되겠지만, 문제는 그것이 의도적이고 이른 시점에 이뤄지느냐, 아니면 기본값대로 실제 서비스 환경에서 에이전트 간 상호작용이 사람 사이의 상호작용을 압도한 이후에야 뒤늦게 이뤄지느냐다.
출처: Anthropic, "Patterns and problems in emerging multiagent systems" (2026-08-16 확인)