ChatterBox 是一个近期备受关注的开源语音克隆与文本转语音(TTS)模型,由 Resemble AI 推出,具备体积轻巧及超快的推理速度等特色。它也是首个支持情感夸张控制的开放源代码 TTS 模型,这一强大功能能让您的声音脱颖而出。

核心特点 ‌

零样本语音克隆‌ 仅需数秒参考音频即可克隆目标声音,无需额外训练,适用于个性化语音助手和虚拟角色配音。  ‌
情绪夸张控制‌ 首个支持通过参数调节语音情感强度的开源 TTS 模型,可生成从平淡到戏剧化的多种表达,显著优于传统机械输出。  ‌
超低延迟与高效部署‌ 推理延迟低于 200ms,支持实时应用(如语音助手、游戏对话),并提供轻量级 Python 库(chatterbox-tts)简化部署。  ‌
内置安全水印‌ 集成 PerTh 神经水印技术,确保生成音频可溯源,平衡技术开放性与伦理风险。  ‌
开源与高性能‌ 基于 0.5B 参数的 LLaMA 架构,训练数据达 50 万小时,盲测中 63.75% 用户认为其音质优于 ElevenLabs。


应用领域 ‌

娱乐与媒体‌:动画配音、广告旁白、游戏角色语音生成。 ‌
智能交互‌:个性化语音助手、实时对话系统。 ‌
内容创作‌:短视频、有声书、多语言播客的自动化语音合成。 ‌
伦理研究‌:水印技术为 AI 语音滥用防治提供案例


使用教程:(建议N卡,显存4G起。支持50系显卡,基于CUDA12.8)

包含TTS(文本转语音)和VC(语音转换)两种功能
TTS,和其他类似软件操作一样,输入文本,上传参考音频,生成即可。
VC,上传需要转换的音频和参考音频,提交生成即可。

TTS目前只支持英文,其他语音等待后期官方更新。
VC支持跨语种转换


下载地址:https://deepfaces.cc/thread-692-1-1.html

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐