普通话能输入也能输出,粤语却不同:读懂 SeamlessM4T 的语言表

新模型猫目发布于 来源:SeamlessM4T v2 Large 官方资料
语音翻译里的“支持一种语言”,可能只覆盖输入、文字输出或语音输出中的一部分。

为什么值得关注

用同一模型研究语音与文字的跨语言转换,先对准每种语言的输入输出范围。

适合谁:研究跨语言录音与语音翻译应用的开发者

这次有哪些亮点

  • 组合语音和文字输入输出
  • 语言表逐项列明Source与Target
  • 普通话和粤语的语音输出范围不同

使用前需要知道

权重为CC BY-NC 4.0,代码MIT不代表权重可商业用;不是整套实时同传产品。

想把一段话翻译后直接读出来,先要弄清楚:目标语言到底能生成声音,还是只能交出文字?Meta 的 SeamlessM4T v2 Large 将语音识别、语音翻译和文字翻译放进一套模型,但不同语言的输入与输出范围并不对称。

对中文读者,最有用的入口恰好是语言表。普通话和粤语都能出现在材料输入中,最终能交出的形式却不一样。

语言名称后面,四个格子都值得看

官方模型卡把语言能力分成 Source 和 Target,再分别标注语音与文字。普通话条目列有语音和文字的输入、输出;粤语条目则列有语音与文字输入,目标端只列文字,没有语音输出。

这意味着,不能因为看到粤语在支持列表里,就做一个“选择粤语朗读”的按钮。若研究粤语录音转其他受支持语言,可以沿相应任务看下去;若希望生成粤语声音,这个具体型号的表格并没有作出那项支持承诺。

模型卡给出的总体范围是101种语音输入、96种文字输入输出、35种语音输出。三个数字不同,正说明“约百种语言翻译”是一种概括,不能替代每个方向的核对。

从一段声音,到文字或新声音

官方 Transformers 示例展示了两种起点:一句文字,或者先重采样成16kHz的音频。输入经过相应处理器后,生成时再指定目标语言。示例将结果保存成音频文件,也展示了如何播放生成的声音。

对研究原型,关键的设计选择是最终交接物。要给编辑提供译文,可以选择语音到文字路径;要研究跨语言语音交互,则进一步看语音到语音路径。它们共享模型家族,并不意味着每次都必须把文字和声音全部生成。

用普通话材料作输入是语言表支持的范围,但表格不能告诉你某个口音、术语或背景噪声下的具体效果。更实际的检查办法,是保留原片段及对应译文,先确定内容没有误解,再评估合成声音是否适合当前听众。

不要把同一家族的能力全部叠上来

项目仓库还介绍了 SeamlessExpressive 和 SeamlessStreaming。前者研究韵律与声音风格,后者研究流式翻译,它们与本文的 M4T v2 并不是同一个名字可以随意互换的功能包。

因此,M4T v2 能生成译后语音,不等于这篇介绍已经证明了实时同传或保留原说话人情绪。若产品需要边说边译、控制等待时间,应查看对应的流式模型、接口和语言范围。

还有一项会直接影响采用的条件:仓库代码采用MIT许可,SeamlessM4T v1和v2模型权重采用CC BY-NC 4.0,包含非商业限制。它适合作为研究材料,不能因为代码开放,就直接当作商业配音服务的通用底座。先看语言表,再看任务与许可,才知道这套模型能接上你流程中的哪一段。

原始资料:SeamlessM4T v2 Large 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享