英文字幕要对齐到单词,Parakeet TDT 能把时间一起交出来
为什么值得关注
为英文录音提供可继续制作字幕和定位原声的时间信息。
适合谁:处理英文课程、访谈与视频字幕的开发者
这次有哪些亮点
- 可返回单词、字符和片段时间
- 识别结果包含文字与标点
- 支持16kHz单声道WAV和FLAC
使用前需要知道
本文固定为0.6B v2英语模型;不沿用v3语言范围,不把官方大批量吞吐量当个人电脑速度。
一段英文课已经识别成文字,做字幕时却还要把每句话拉到正确位置。要制作逐词高亮,整段时间甚至还不够。NVIDIA 的 Parakeet TDT 0.6B v2 值得关注的一个具体能力,就是在识别文字之外,把词、字符和片段的时间信息一并返回。
这里讨论的是英语型号 v2。后续型号的语言范围不应套过来,它也不是给普通话视频直接配字幕的推荐。
一个结果里,有三种定位尺度
模型卡的时间戳示例在转写时启用 timestamps,随后分别读取 word、char 和 segment。单词记录里可以看到开始、结束以及对应文字;片段记录则适合把一组连续内容作为整体定位。
这三层信息对应的工作不同。想点击一句话回到原音频,可以使用片段范围;需要检查某个专有名词,就能进一步看词的位置;逐词高亮或更细的对齐,则需要更小的时间单元。识别文本因此不仅能被阅读,还能变成可导航的录音索引。
但时间戳不是完整字幕文件。应用还需要决定每行放多少文字、怎样断句、两行之间如何停留,并按目标软件的字幕格式导出。模型提供的是对齐材料,字幕排版仍是一层独立工作。
从录音到字幕,中间有哪些交接物
用一段英文课程作教学情境,先把音频准备为16kHz单声道的 WAV 或 FLAC,再按官方示例得到文字及时间信息。随后可以将相邻单词组合成一条字幕,并用首尾词的时间确定候选范围。
这里最值得保留的,不只有最终字幕,还有原始词级结果。编辑改掉一个术语时,可以沿词级位置回听;如果把几条字幕合并,也有机会重新计算显示范围。相比只保存一篇识别后的文章,这种结果更适合继续进入视频制作环节。
实际剪辑仍要回听检查。说话连读、背景音乐或停顿会影响识别与边界;一条时间记录存在,不代表字幕已经贴合所有观看节奏。尤其在快速讲话处,自动对齐和舒适阅读可能需要不同的断句。
为什么不直接拿官方速度做选择
模型卡展示过大批量设置下的吞吐量指标,也描述了较长音频处理范围。这些数据有对应硬件、批量和测试条件,不能换算成“个人电脑一分钟处理多少小时”的承诺。选用时,输入长度、设备和运行框架都要对齐。
这个模型采用 CC BY 4.0 许可,使用和分发时应留意署名等条件。对于已经有字幕处理链路的人,最有用的检查项是:官方返回的词和片段信息,能否直接成为现有编辑器需要的中间数据。确认这一点,比只比较一段识别文字更接近真正的字幕工作。
以上为编辑整理,功能、许可与使用条件以官方说明为准。