MeloTTS:把中英混合讲稿分段生成WAV,先校准发音与语速

为什么值得关注
给中文创作者一条从脚本文字到可编辑音频的明确路线,并说明如何减少整段返工。
适合谁:有讲解稿、需要本地生成预设声音旁白的内容作者与开发者。
这次有哪些亮点
- 中文模型支持中英混读,英语有多口音说话人
- CLI、WebUI与Python API均有官方说明
- 按段导出WAV,便于替换错误与配合画面
使用前需要知道
不等同声音克隆或自动翻译;CPU实时是官方陈述而非本文实测,专名、多音字和长段韵律应逐项验收,在线平台另有条件。
课程旁白里夹着API、产品名和英文术语,最费时间的常常是修一个词却要重录整段。MeloTTS 是提供多语言预设声音的文字转语音库,中文说话人支持中英混合输入,并能把结果保存成WAV。它适合先做可替换的分段旁白,再进剪辑软件安排停顿与画面。
官方README列出中文、英语、西班牙语、法语、日语、韩语,并为英语提供美式、英式、印度及澳大利亚等说话人示例。中文混读是中文模型的具体能力,不等于所有语言都能任意混合;它也不会自动把中文讲稿翻译成英文。
官方本地用法给出一条清楚的连续过程:选择ZH语言与ZH说话人,输入带英文技术词的中文文本,调用tts_to_file,输出zh.wav。命令行也支持文字、文本文件、语言、说话人与speed参数。本稿阅读完整示例,没有执行合成或试听,不据官方音频链接判断哪种口音“最自然”。
可以把一页工具教程拆成三段:开场说明、具体操作、结果提示。先用第二段检查最密集的术语,例如模型名、参数名与文件扩展名;发音合适后,再生成其余段落。某个词读错时,只替换这一段,最后在剪辑时间线里调整间隔。此处为编辑流程示例,未运行,拆段是为了方便修订,并非模型必须每次只能处理很短文本。
中英混合讲稿最好保留两份:一份正式字幕稿,一份为发音调整的配音稿。数字、缩写与多音字需要逐项听;必要时在配音稿中展开缩写或用更明确的表达,字幕仍保持正确写法。speed能控制整体快慢,却不能替代标点、句子长度与后期停顿。只为赶时长而把整段速度拉高,可能让技术内容更难听懂。
英语口音也应按具体说话人选择,而不是只把语言设成EN。官方API通过spk2id取得可用说话人,再使用相应ID;CLI提供EN-US、EN-AU等示例。程序里应从实际模型配置读取映射,避免把另一个模型的数字ID硬塞进来。若要重复生成多条旁白,固定语言、说话人与速度,才更容易保持系列一致。
安装文档以Ubuntu20.04、Python3.9开发测试环境为基础,同时给出macOS与Docker路线,WebUI通过melo-ui启动。模型与语言资源首次使用还需准备。README声称CPU可实时推理,但具体速度取决于硬件、文本与环境,本稿没有做性能测试,不能据此保证每台笔记本都无等待。
它与同团队的OpenVoice分工也要划清:MeloTTS先负责把文字读出来,OpenVoice可以在另一条流程里转换音色。单用MeloTTS的预设声音,不需要假设已经克隆了某个人;想用本人声音则需要另行选择和验证转换或训练方案。
库采用MIT,允许商业与非商业用途,但你的讲稿、另加的模型与声音数据仍要有使用权。文档的MyShell快速入口还包含许多其他TTS产品,不应把平台所有语言与声音都归给本地MeloTTS,也不应把开源许可理解为网页服务永久免费。
它最适合明确文本、可逐段试听、允许人工修字和剪辑的旁白任务。先把发音与节奏验证好,再批量生成,比一次输出整篇更容易得到可用交付。
以上为编辑整理,功能、许可与使用条件以官方说明为准。