생성형 AI를 고객 응대, 신용 심사 보조, 이상 거래 탐지, 내부 분석에 넣는 기업이 먼저 정해야 할 것은 모델 이름이 아니다. 어떤 결과가 중요한 의사결정에 쓰이는지, 그 결과가 나온 조건을 누가 설명하고 멈출 수 있는지다. Bessemer Venture Partners는 2026년 8월 19일 글에서 이를 CEO와 이사회의 AI 거버넌스 책임으로 묶고, 데이터와 모델의 체인 오브 커스터디를 제안했다.
여기서 거버넌스는 법무팀의 승인표나 보안팀의 접근 권한만 뜻하지 않는다. 학습 데이터의 출처, 데이터가 바뀐 이력, 모델 설정과 평가 결과, 배포 뒤의 변경을 하나의 책임 사슬로 연결하는 운영 방식이다. AI 도입을 빨리 할수록 이 사슬을 먼저 정해야, 문제가 생겼을 때 전면 중단 대신 영향 범위를 좁혀 수정할 수 있다.
기존 보안 통제만으로는 무엇이 비는가
전통적인 보안은 누가 시스템에 들어왔는지, 데이터를 빼가거나 고쳤는지, 서비스가 멈췄는지를 다룬다. 접근 제어와 암호화, 로그, 사고 대응이 중심이다. 이 통제는 AI에도 필요하다. 그러나 모델은 입력을 보관하는 대신 학습과 미세 조정, 검색 증강, 에이전트 실행을 거치며 데이터의 영향이 결과에 스며들게 한다.
그래서 AI에서 추가로 생기는 질문은 “누가 접근했나”에서 끝나지 않는다. 어떤 데이터가 어떤 권한과 조건으로 들어왔는지, 어느 버전이 모델이나 검색 시스템의 답변에 영향을 줬는지, 나중에 그 경로를 다시 만들 수 있는지를 물어야 한다. 원문은 이를 데이터 오염, 승인받지 않은 영향, 모델 조작, 통계적 왜곡 같은 위험으로 구분한다.
체인 오브 커스터디는 어떤 기록을 남기는가
체인 오브 커스터디는 법적 증거가 수집부터 제시까지 누구의 손을 거쳤고 어떤 상태였는지 남기는 인계 기록에서 온 말이다. Bessemer Venture Partners는 이 기준을 AI 학습 데이터와 모델 개발에 적용한다. 학습 뒤에 모델 내부를 거꾸로 조사해 데이터 계보를 완전히 복원하기보다, 학습 전에 기록을 만드는 편이 훨씬 현실적이라는 문제의식이다.
원문이 꼽은 여섯 항목은 출처 식별, 인계 기록, 변조 탐지, 무결성 검증, 접근 로그, 보존이다. 이를 실제 운영에 옮기면 데이터 공급 조직과 취득 날짜, 수집 방식과 사용 조건을 적고, 데이터셋과 프롬프트·검색 인덱스·미세 조정본의 버전을 연결해 둔다. 해시나 서명은 변경을 알아채는 장치이고, 재현 시험과 버전 비교는 그 변경이 결과에 미친 영향을 점검하는 장치다.
책임자는 데이터 기준과 보고 권한을 맡는다
원문은 AI 거버넌스 책임자를 명시하고, 이미 의사결정에 영향을 주는 AI 시스템부터 데이터 계보를 점검하라고 권한다. 여기서 책임자는 CTO의 업무 목록 끝에 AI를 덧붙이는 역할과 다르다. 데이터 출처 기준을 정하고 모델 수명주기를 관리하며, 위험을 경영진과 이사회에 올릴 권한을 가진 주체여야 한다.
첫 번째로 나눌 것은 업무의 중요도다. 문서 요약처럼 내부 생산성을 돕는 기능과 신용 승인, 의료 판단 보조, 규제 보고처럼 결과가 고객이나 재무 상태에 직접 닿는 기능에는 같은 기록 수준을 적용할 이유가 없다. 원문은 데이터의 민감도, 의사결정에 미치는 중요도, 법적·계약상 사용 조건을 함께 분류하자고 제안한다. 이 분류가 있어야 어느 시스템부터 검토하고 어디에 더 강한 재현·승인·감사 절차를 둘지 정할 수 있다.
외부 모델과 데이터도 계약 안에서 추적해야 한다
사내에서 학습한 모델만 관리하면 책임 사슬은 끊긴다. 기업은 외부 모델, 데이터 공급자, 검색 API, AI 기능이 들어간 업무용 소프트웨어를 함께 쓴다. 따라서 공급 계약에는 데이터 출처 문서, 무결성 통제, 데이터셋이나 모델 변경의 통지, 사고가 났을 때 필요한 기록 제공 조건을 넣어야 한다. 보안 검토에서 인증 방식과 데이터 보관 지역을 확인하듯, AI 입력과 출력이 어떤 계보를 갖는지도 조달 기준에 들어가야 한다.
당장 모든 AI 실험에 같은 증빙 체계를 만들 필요는 없다. 대신 중요한 의사결정에 이미 연결된 시스템 하나를 골라 데이터 출처부터 배포 뒤 변경까지 실제로 따라가 보면 된다. 그 과정에서 비는 기록은 다음 사고에서 원인을 좁히고 서비스를 계속 운영하는 데 필요한 최소한의 운영 정보다.
출처: Bessemer Venture Partners, What every CEO needs to know about AI governance (2026-08-19)