구글이 8월 14일, 고객 데이터를 열어 보지 않고도 AI 추론을 돌릴 수 있게 해주는 오픈소스 컴파일러 HEIR를 프라이버시 컴퓨팅 툴킷에 정식으로 추가했다고 밝혔다. 이 컴파일러는 이미 학습을 마친 AI 모델을 암호화된 입력에서도 그대로 동작하도록 자동 변환해 주는 도구로, 구글 스태프 소프트웨어 엔지니어 제러미 컨(Jeremy Kun)이 자사 보안 블로그에 직접 소개했다.
HEIR가 다루는 기술은 동형암호(homomorphic encryption)다. 서버가 암호문 상태 그대로 연산을 수행하고 그 결과도 암호문으로 돌려주는 방식이라, 서비스 제공자는 사용자의 원본 데이터를 한 번도 평문으로 보지 않는다. 종단간 암호화는 데이터 유출은 막아 주지만 스팸 탐지처럼 데이터를 봐야 작동하는 기능을 포기해야 했고, 기기 안에서 직접 처리하는 방식은 기기 성능과 모델 유출 위험에 막혔다. 동형암호는 이 두 방식이 각각 포기했던 것을 계산 비용이라는 하나의 문제로 바꿔 놓는다.
암호화된 입력에서 돌아가는 모델은 어떻게 만들어지나
HEIR(Homomorphic Encryption Intermediate Representation)는 컴파일러 인프라 MLIR 위에 구축된 오픈소스 툴체인이다. 개발자가 평문 데이터로 학습시킨 기존 모델을 넣으면, HEIR가 이를 암호화된 입력에서 작동하는 버전으로 바꿔 준다. 손으로 이 변환을 하려면 암호학자로 구성된 전담 팀이 필요했는데, 구글은 HEIR를 비전문가도 실제 서비스에 암호화 추론을 넣을 수 있는 원클릭 도구로 만드는 것을 목표로 잡았다. 이 프로젝트는 2023년 8월 구글이 완전동형암호(FHE) 트랜스파일러, GPU·TPU에서 동작하는 암호 라이브러리 Jaxite와 함께 처음 공개한 계획의 후속작이다.
지금 공개된 네 가지 데모는 실제로 얼마나 빠른가
구글은 이번 발표에서 HEIR로 컴파일한 네 가지 응용 사례를 공개했다. 지연 시간은 모두 단일 스레드 CPU 기준이며, 소스 코드는 구글의 완전동형암호 GitHub 저장소에서 볼 수 있다. 콘텐츠 추천 모델(DLRM)은 벨포트랩스, LG, 뉴욕대와 함께 만들었고, 사용자의 특성 데이터를 서버가 보지 않고도 추천 결과를 내놓는다. 뉴욕대 연구진이 함께 낸 관련 논문에 따르면 이 계열 모델은 클라이언트 쪽 자릿수 분해 압축 기법으로 임베딩 조회 속도를 56배 끌어올렸고, 헬스케어 데이터셋에서 24초, 광고 클릭 예측 데이터셋에서는 228초에서 489초의 추론 지연 시간을 기록했다. 나머지 세 응용은 니오비움·하드셸.ai와 만든 신용카드 사기 탐지기, 니오비움과 함께 컴파일한 네트워크 이상 탐지 시스템 키츠네(Kitsune), 벨포트랩스와 만든 핫워드 감지 모델이다. 키츠네는 서버가 패킷 내용을 보지 않고도 이상 트래픽을 잡아내고, 핫워드 감지 모델은 음성 녹음을 노출하지 않고도 오디오 트리거형 AI 에이전트가 특정 단어를 인식하게 해 준다.
2023년 선언 이후 이 프로젝트에 무엇이 쌓였나
구글은 하드웨어 가속기를 개발하는 벨포트, 니오비움, 코나미(Cornami), 옵탈리시스(Optalysys)와 파트너십을 맺었고, 이번 데모들의 결과가 그 협업의 산물이라고 설명했다. 가속기가 붙었을 때의 지연 시간 개선은 근시일 내에 별도로 공개할 예정이라고 밝혔다. HEIR는 연구 플랫폼으로서도 자리를 잡아, 조지아공대, 카네기멜런대, UC 산타바바라, 일리노이공대, 퍼듀대, 에든버러대, 칭화대 등과의 공동 연구로 이어졌다. 이 프로젝트를 기반으로 한 동료 심사 논문은 현재 4편이 나왔고, 추가 논문이 준비 중이며, 구글 스칼라 기준 인용 수도 쌓이고 있다.
이 컴파일러를 실제 서비스에 넣으려는 팀이 볼 것
동형암호는 계산 하나하나가 평문 연산보다 훨씬 무겁기 때문에, HEIR가 자동 변환을 해 주더라도 비용 자체가 사라지지는 않는다. 헬스케어처럼 데이터 공유 규제가 엄격한 업종이나 사용자 특성을 서버에 노출하지 않고 추천·탐지 기능을 제공해야 하는 서비스라면, 지금 공개된 초 단위 지연 시간이 감내할 만한 수준인지부터 따져 봐야 한다. 반대로 실시간성이 중요한 서비스는 구글이 예고한 가속기 연동 결과가 나온 뒤에 다시 검토하는 편이 안전하다. HEIR는 오픈소스이므로 원하는 팀은 GitHub 저장소의 예제를 그대로 빌드해 자사 모델에 같은 변환을 시도해 볼 수 있다.
출처: Google Security Blog, How Google is Making Private AI Practical with Homomorphic Encryption (2026-08-15 확인)