모델 비교
이 프로젝트의 정체성은 다섯 제약으로 요약됩니다. 로컬이고, 무료이고, 오프라인이고, 당신의 목소리를 제로샷으로 클로닝하고, 한국어와 영어를 다루고, Apple Silicon을 우선합니다. 이 다섯을 동시에 만족하는 모델만 후보입니다. 유료 API, 서버, 클로닝이 안 되는 모델은 여기서 빠집니다.
먼저 거르는 세 필터
섹션 제목: “먼저 거르는 세 필터”후보를 좁히는 순서가 있습니다.
첫째, 클로닝이 되는 모델인가. Kokoro, Piper, MeloTTS는 정해진 화자로만 말하는 고정 화자 TTS라 당신의 목소리를 만들 수 없습니다. 이름을 대도 “이건 클로닝이 안 됩니다”라고 안내하고 빠집니다. OpenVoice v2는 음색만 옮기는 방식이라 완전한 클론은 아니어서 따로 취급합니다.
둘째, 한국어를 지원하는가. F5-TTS, Spark-TTS, Orpheus, Zonos v0.1, IndexTTS, Llasa, VibeVoice는 한국어를 공식 지원하지 않거나 비공식입니다. 한국어가 주 언어면 여기서 빠집니다.
셋째, 라이선스가 목적에 맞는가. 개인 용도면 대부분 괜찮습니다. 상업적으로 쓸 거라면 비상업 가중치인 XTTS와 F5, Fish는 빠지고 MIT나 Apache 모델만 남습니다.
결정 트리
섹션 제목: “결정 트리”Q1. 주 언어가 한국어인가?├─ 예 →│ Q2. 설치 부담을 감수하고 최고 한국어 품질을 원하는가?│ ├─ 예 → GPT-SoVITS v2Pro (MIT, 최고 한국어 클론, MPS/CPU, 참조 5초)│ └─ 아니오 →│ Q3. 작고 관대한 라이선스에 공식 한국어를 원하는가?│ ├─ 예 → CosyVoice2-0.5B (Apache-2.0, 공식 한국어, 참조 3초)│ └─ 그냥 제일 쉽게 → XTTS-v2 (pip 한 줄, 네이티브 한국어, 개인용, MPS 버그로 CPU)│└─ 아니오, 영어 주력 → Q4. 맥에서 가장 빠른 추론을 원하는가? ├─ 예 → F5-TTS (MLX 포트) (MIT 코드, Metal 네이티브, 참조 3초, 한국어 없음) └─ 감정 표현이나 여러 언어 → Chatterbox Multilingual (MIT, MPS 공식, 한국어는 약함)
특수. 설치와 메모리를 최소화하고 싶다 → OpenVoice v2 (MIT, 음색 전이, 가장 가벼움)비교표
섹션 제목: “비교표”이 프로젝트 조건을 기준으로 정리하면 이렇습니다.
| 순위 | 모델 | 라이선스 | 한국어 | 참조음성 | Apple Silicon | 이럴 때 |
|---|---|---|---|---|---|---|
| 1 | GPT-SoVITS v2Pro/v4 | MIT, 상업 가능 | 강함 | 5초, 또는 1분 파인튜닝 | MPS/CPU, RTF 약 0.5 | 최고 한국어 품질, 설치 감수 |
| 2 | CosyVoice2-0.5B | Apache-2.0, 상업 가능 | 공식 | 3초 | MPS 병합, RTF 0.3에서 0.5 | 작고 관대, 공식 한국어 균형 |
| 3 | XTTS-v2 | CPML, 개인만 | 네이티브 | 6초 | MPS 버그로 CPU, 약 1.5배 실시간 | 가장 쉬운 시작, 속도 감수 |
| 4 | Chatterbox Multilingual | MIT | 약함 | 5에서 10초 | MPS 공식 | 영어 주력에 가끔 한국어 |
| 5 | F5-TTS (MLX) | MIT 코드, 가중치 CC-BY-NC | 비공식 | 3초 | Metal 최상 | 영어 전용, 맥 최고속 |
| 6 | OpenVoice v2 | MIT | 음색 전이 | 수초 | MPS | 가장 가벼움, 음색 전이 허용 |
클로닝이 안 돼서 빠지는 모델은 Kokoro와 Piper, MeloTTS입니다.
왜 이렇게 추천하나
섹션 제목: “왜 이렇게 추천하나”한국어와 클로닝, 맥, 무료를 모두 만족하는 건 사실상 GPT-SoVITS와 CosyVoice2, 그리고 개인용인 XTTS-v2뿐입니다. 나머지는 한국어가 없거나 클로닝이 안 됩니다.
GPT-SoVITS를 1순위에 두는 이유는 한국어가 강하면서 MIT로 완전히 무료이고 맥을 지원하며 5초 참조로 시작해 필요하면 1분 파인튜닝으로 품질을 올릴 수 있는, 이 조합을 유일하게 다 갖췄기 때문입니다. 대신 conda와 Gradio 세팅이 무겁습니다. CosyVoice2는 0.5B로 작고 Apache-2.0에 공식 한국어를 지원하며 세팅 마찰이 GPT-SoVITS보다 적을 수 있어 2순위입니다. XTTS-v2는 설치가 한 줄로 가장 쉽지만 개인용 라이선스이고 MPS가 불안정해 CPU로 느리게 도는 트레이드오프가 있습니다.
추천은 못 박는 것이 아닙니다. 이 프로젝트는 실험적이라, 짧은 문장을 두 모델로 합성해 들어 보고 바꿔도 됩니다. 스타 수와 HuggingFace 아이디, RTF, 설치법 같은 상세 스펙은 하네스 안 tts-model-selection 스킬의 references/comparison.md에 있습니다.
모델을 정했으면 세팅과 모델 선택의 설치 레시피로 돌아가 환경을 꾸립니다. 한계를 먼저 확인하려면 알려진 한계로 갑니다.