录音转写还是直接翻译?Canary 用两个语言参数分清任务

新模型猫目发布于 来源:Canary 1B v2 官方资料
同一段受支持语言的音频,可以按源语言和目标语言进入不同处理路径。

为什么值得关注

为受支持的欧洲语言录音选择原文转写或英语互译的输出。

适合谁:处理欧洲语言音频资料与跨语字幕的开发者

这次有哪些亮点

  • 支持25种欧洲语言语音识别
  • 英语可与其他24种支持语言互译
  • 较长单音频可按条件自动分块

使用前需要知道

不包含中文;翻译时间戳是片段范围,不是源词与译词一一对齐。采用CC BY 4.0许可。

拿到一段法语录音,你可能需要两种完全不同的交接物:保留法语逐字稿,或者拿到英语文本继续整理。NVIDIA 的 Canary 1B v2 把这个选择放进输入参数里,通过源语言和目标语言指定本次要做转写还是翻译。

它适合有欧洲语言资料处理需求的开发者。这个型号支持25种欧洲语言,不包含中文,因此不能把它介绍成中文会议或中文出海视频的通用语音翻译器。

同样的音频,任务在输入时决定

模型卡的用法区分 source_lang 与 target_lang。两者相同,任务是保留该语言的语音识别;需要翻译时,则设置支持的语言方向。官方覆盖的是英语与其余24种支持语言之间的互译,不能据此推断任意两种欧洲语言都能直接互译。

比如,法语到法语用于生成法语文本;法语到英语用于得到英语翻译。这是参数含义的教学示例,并不代表我们已经跑过法语录音。对产品设计而言,两个结果也应当有清晰名称,让使用者知道当前看到的是原文识别还是译文。

如果后续还要核对一句译文的措辞,原文识别可能也值得单独保留。直接翻译省去了一层手工文本中转,却不会自动生成一份可逐句对照的双语稿。

时间戳能定位什么

Canary 的时间信息也需要按任务理解。官方说明中,语音翻译可以返回片段级时间,而不能把它理解成每个译词都与原录音的某个词一一对应。

原因不难体会:翻译后的语序和词数会改变。一个译文片段对应一段原声,足以帮助编辑回听大致位置;但如果要做逐词高亮、口型对齐或精密双语字幕,还需要另一层处理。界面若把片段时间包装成每个词的精确时间,会让结果显得比实际更确定。

对资料整理者,先用片段范围把“哪段原声对应哪段译文”接起来,往往已经很有用。再沿具体需要决定是否投入更细的字幕编辑,比一次要求模型交出全部成品更清楚。

长录音与运行条件要一起看

官方输入要求是16kHz单声道 WAV 或 FLAC。模型卡还介绍了动态分块:对于超过约40秒的较长音频,在单文件、batch size为1等条件下可以自动分块,并使用重叠区间衔接。这个机制帮助处理长度问题,不等于所有批量设置都可以照搬。

模型以CC BY 4.0许可开放,运行仍需相应的推理环境。若你的任务是整理一批欧洲语言采访,先用同一份材料分别查看原文转写与支持方向的译文,会更容易判断它在现有流程里应该承担哪一步。最终交给编辑的,可以是带片段位置的工作底稿,而不必一开始就假定是一条无需修改的成片字幕。

原始资料:Canary 1B v2 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享