인터뷰 영상의 목소리를 다른 언어로 바꾸거나, 회의 녹음을 글로 옮기거나, 긴 대본을 오디오북으로 만들 때 가장 먼저 정할 일은 어디에서 파일을 처리할지다. VoiceStudio는 음성 복제, 음성 합성, 전사, 영상 더빙을 한 데스크톱 앱에서 다루도록 만든 오픈소스 도구다.
이 도구의 출발점은 계정과 사용량 과금이 아니라 내 컴퓨터다. 프로젝트, 음성 프로필, 설정, 출력물은 기본적으로 기기에 남고, 로컬 백엔드는 localhost:3900에서 동작한다. 그래서 민감한 인터뷰 원본을 반복 처리하거나, 인터넷 연결 없이 작업하고, 작업 흐름을 자체 도구와 연결하려는 사람에게는 선택지가 늘어난다.
무엇을 한 앱에서 이어서 처리하나
VoiceStudio의 음성 작업 공간은 짧은 참조 음성으로 말투를 따라 만드는 복제, 나이·억양·톤 같은 지시로 새 목소리를 설계하는 기능, 음성을 다른 목소리로 바꾸는 변환으로 나뉜다. 영상 더빙에서는 파일 또는 URL을 넣고, 음성을 전사하고, 번역 언어와 화자를 고른 뒤, 구간별 대본과 타이밍을 고쳐 새 오디오를 합성한다. 완성 뒤에는 영상과 자막 형식으로 내보낼 수 있다.
단순히 음성 파일 하나를 생성하는 것보다, 편집할 수 있는 대본과 시간 정보가 중간 결과로 남는 점이 중요하다. 원문도 더빙 결과에 타이밍 문제 표시를 남겨 검토하도록 설명한다. 강의나 제품 데모처럼 고유명사와 화면 전환이 많은 영상은 합성 버튼을 누르기 전 대본과 구간을 먼저 고치는 편이 낫다.
로컬 처리가 맞는 사람과 아닌 사람
로컬 우선은 자료 경로를 좁히는 대신 설치와 유지 관리를 가져온다. VoiceStudio는 앱이 무료 소프트웨어라는 점과 별개로, 내려받는 모델과 토크나이저에는 각자의 라이선스가 적용된다고 명시한다. 상업용 결과물을 만들 계획이라면 선택한 엔진의 가중치 약관까지 작업 시작 전에 확인해야 한다.
최소 요구 사항은 운영체제에 따라 다르지만, 기본 로컬 작업에는 RAM 8GB와 여유 디스크 10GB, 권장 사양에는 RAM 16GB 이상과 SSD 20GB 이상을 제시한다. GPU는 필수가 아니며 CPU 모드도 지원한다. 다만 긴 영상 더빙이나 무거운 엔진을 고르면 GPU 메모리와 처리 시간이 작업의 병목이 된다. README의 권장 표에는 GPU 가속 작업의 최소 VRAM을 4GB, 권장을 8GB 이상으로 적었다.
엔진 목록보다 먼저 볼 선택 기준
README는 16개 TTS 엔진과 11개 ASR 엔진을 제시하지만, 언어 수만 보고 고르면 안 된다. 음성 복제가 필요한지, 대상 언어를 그 엔진이 실제로 지원하는지, 운영체제와 GPU에서 돌아가는지, 모델 약관이 목적에 맞는지를 함께 봐야 한다. 예를 들어 복제 기능이 없는 엔진은 참조 화자를 고정한 더빙이나 배치 작업에서 조용히 다른 엔진으로 바뀌지 않고 작업을 거부하도록 설계돼 있다.
처음에는 최신 개발 브랜치보다 안정 릴리스 패키지로 설치하는 편이 좋다. macOS는 Apple Silicon 앱, Windows는 x64 MSI, Linux는 x86_64 AppImage를 제공하며 Docker 이미지는 linux/amd64용이다. 첫 실행에서는 관리형 Python 환경과 기본 모델을 준비하고, 이후 실행은 이를 재사용한다. 설치가 꼬이면 앱의 self-check 또는 uv run python backend/main.py --diagnose --deep 진단 명령으로 원인을 좁힐 수 있다.
외부 연결을 열기 전에는 경계를 정한다
앱 내부 작업이 모두 인터넷과 분리되는 것은 아니다. 원격 워커, OpenAI 호환 음성 인식 서버, LAN 접근은 사용자가 켜는 연결이다. 로컬 주소의 API는 별도 서버 키 없이 쓸 수 있지만, 원격 접근에는 공유 PIN 또는 API 키가 필요하다. 비로컬 엔드포인트에는 HTTPS를 요구하고 리디렉션도 따르지 않는다.
따라서 선택 순서는 간단하다. 먼저 내 파일을 기기에 남겨야 하는지와 반복 작업량을 정하고, 그다음 운영체제·메모리·GPU에 맞는 엔진을 고른다. 마지막으로 외부 API나 원격 워커가 필요한 경우에만 데이터가 나가는 대상과 인증 방식을 설정한다. 이 순서를 따르면 VoiceStudio를 단순한 음성 생성기보다, 내 환경에서 음성·영상 작업을 조립하는 도구로 판단할 수 있다.