OpenVoice V2:先合成讲稿,再用授权参考音频转换音色

新模型猫目发布于 来源:OpenVoice V2 官方资料
MeloTTS负责基础语音,音色转换器负责目标声音
OpenVoice V2:先合成讲稿,再用授权参考音频转换音色

为什么值得关注

帮助创作者拆开文字发音与音色迁移,定位多语言配音流程中究竟该改哪一步。

适合谁:有本人或授权参考声音,希望研究多语言旁白的创作者与开发者。

这次有哪些亮点

  • V2官方示例先用MeloTTS生成基础WAV
  • 参考音频提取目标音色嵌入,再转换输出
  • V2原生支持六种语言,V1V2均MIT

使用前需要知道

需安装环境与权重;相似音色不保证方言口音、情绪或长段自然度,参考声音授权与服务账号费用须分别确认。

把同一位讲述者的声音用于中英文内容,至少有两个问题:文字怎么读,音色像谁。OpenVoice V2 的官方示例把它们拆开:先用MeloTTS把讲稿变成基础语音,再用参考录音提取的目标音色进行转换。这样,发音错误与音色不合适可以分别排查。

官方README明确V2在2024年发布,原生支持英语、西班牙语、法语、中文、日语和韩语,V1与V2均采用MIT并允许商业用途。它是可本地部署的模型与代码项目;MyShell网页服务是另一种使用入口,平台里其他声音产品的能力、账号与费用不能直接归到OpenVoice V2权重。

最值得读的是 demo_part3.ipynb。示例先加载V2转换器,从reference_speaker音频提取目标音色嵌入;然后选择MeloTTS语言与基础说话人,把文本保存为tmp.wav;最后将基础语音、基础说话人嵌入与目标嵌入交给转换器,另存输出WAV。它不是把一条参考音频直接翻译成所有语言。

示例中文文本混有英文旅行词,展示的是文字输入、基础语音和转换输出的连接方式。本文阅读了完整Notebook代码,但没有运行或试听生成结果,因此不对其中文混读自然度、音色相似度和情绪做主观评分。官方声称的能力与实际项目中每条声音的表现,也应保持区别。

实际制作可以先用本人授权录音与一段产品说明试验。第一轮只听基础TTS:专有名词有没有读错、停顿是否合适、语速是否与画面匹配。确认后再转换音色,比较齿音、尾音、气息和句末是否自然。若基础WAV已经读错公司名,调整音色嵌入不能纠正;若文字读得正确但声音不像,再检查参考录音和转换环节。这是编辑示例,未执行。

跨语言也不是把所有特征原样搬运。参考音频可来自不同语言,输出仍依赖目标语言的基础TTS与说话人。音色接近不等于自动继承原说话人的方言、表演习惯或每种情绪。对需要人物固定口音的作品,应准备专门验收样句,而不是只听一句问候就批量生成整章。

部署时,官方Linux说明面向熟悉Python、PyTorch的研究与开发用户,V2要下载checkpoints_v2并安装MeloTTS及相关语言资源。Windows等指南标为社区贡献,不能描述成作者验证过的统一一键安装。在线最小演示还被官方提醒不以高质量和稳定性为目标,不能拿演示排队状态推断本地模型不可用。

商业许可解决的是项目代码与作者发布模型的使用条件,不会代替参考声音的授权。录音归谁、说话者是否允许合成、能否用于广告或转交客户,都应明确;第三方基础TTS或另换权重时还要检查它们自己的条款。官方代码里的消息编码参数也应依相应实现保留,不应为了成品处理随意移除识别机制。

OpenVoice V2适合希望把“文本发音”和“目标音色”分别控制的配音管线。若你只需要一个稳定的预设旁白声音,直接使用基础TTS可能更简单;当目标声音本身是制作要求时,再验证转换是否值得加入。

资料:README与许可、V2官方Notebook、安装与版本用法。

原始资料:OpenVoice V2 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享