Higgs TTS 3 4B:给对话声线写清情绪、说法与停顿

新模型猫目发布于 来源:Higgs TTS 3 4B official model card
官方示例把情绪放在句首、停顿放在句中;可走托管 API 或独立权重,但创作内容和经营服务的许可不同。
Higgs TTS 3 4B:给对话声线写清情绪、说法与停顿

为什么值得关注

把参考声线与情绪、说法、停顿的位置控制分开,便于为已有节目声线补录更贴合语境的回复。

适合谁:尝试节目开场、对话回复配音的创作者,以及评估语音服务接入条件的开发者。

这次有哪些亮点

  • 以约 4B 主干提供 24 kHz 的对话式语音生成
  • 情绪与风格放句首,停顿和声音事件按位置写入文本
  • 提供参考音频与转写条件,以及托管 API 和独立权重路线

使用前需要知道

采用研究和非商业许可,非开源许可;数字创作者变现内容有署名例外,向他人提供 API、插件或应用需另行商业许可。托管 API 需密钥与额度,中文效果未听验。

给一段对话回复配音,声音像谁与这句话怎么说,是两个问题。客服式解释需要平稳,节目开场可以热情,讲到转折处又可能需要停一下。Higgs TTS 3 4B 提供的可用思路,是把参考声线与表达控制分开:用参考录音提供声音条件,再在目标台词中写入情绪、说话风格和停顿标记。

本篇指定权重的实际入口是 bosonai/higgs-tts-3-4b,官方旧链接会重定向到这里。它属于 Boson AI 的 Higgs TTS 3,模型卡描述约 4B 的主干与 24 kHz 音频。使用时应从 TTS 3 模型卡进入对应推理路线;旧 Higgs Audio V2 仓库的运行方式和许可不能套给这组权重。

看一条开场白里,控制写在何处

官方 API 文档给出一个节目开场示例:先用 enthusiasm 情绪标记引出欢迎语,在两句之间插入 pause,然后进入节目。这里并不是要求模型把“热情地”“暂停”这些说明读出来,而是用约定的控制标记影响相邻话语。

更细的官方 Prompting 文档把位置分成两类:情绪、风格以及语速、音高、表达强度放在句子开头;停顿和声音事件则放在希望发生的位置。例如官方有低声说秘密的 whispering 示例,也有在问候与欢迎之间加入 <|prosody:pause|> 的示例。这种区分很实用:整句怎么说与句中在哪里停,终于可以分别表达,而不必把所有意图塞进一段模糊的自然语言描述。

如果想加笑声,格式还要更精确。文档要求声音标签后紧跟拟声词,例如 <|sfx:laughter|>Haha,中间不留空格。只输入一个泛泛的“开心”标签,并不等于安排了一次可辨认的笑声。官方也提醒只有列出的标记受到支持,自创标签可能被读出或影响输出。

上述是官方示例与格式解读,本文没有调用模型或完成听验。尤其是中文数字、专名和长句,不能只凭支持语言表就评价效果。模型卡列有中文,API 还提供中文文字规范化路径;这些说明可以从中文任务开始试用,并不代表本文已得到可发布的中文样音。

参考音频与回复文本,分别交给谁

托管 API 的实际模型参数是 higgs-tts-3。官方最小请求接收目标文本并返回可保存的音频;选择预设声音可以使用 voice,换成参考声线则使用 ref_audio,参考录音的转写放在 ref_text。官方说明提供转写常能改善生成质量,这也是为什么不宜把参考文件当作一个只管音色的附件随便上传。

一个适合试用的教学任务,是给自己已授权的节目声线补录一段简短开场:先保留同一参考录音和文本,分别尝试平稳与热情的说法,再决定是否需要停顿。它检验的是表达是否符合节目,不是比谁标签堆得多。TTS 本身只把文本转成语音,官方明确说明它不管理对话;聊天内容、轮次与记忆仍属于上游应用。

不想调用托管服务,可以从权重模型卡进入 SGLang-Omni 或 vLLM-Omni 的独立部署路线。两者与 Boson 托管 API 的请求、流式返回方式要按各自文档使用,不能直接搬运旧 V2 示例。托管服务需要 API key 和可用额度,新账号需先领取试用额度;本文没有核定具体单价,也不承诺长期免费。

Higgs TTS 3 4B 官方模型页,展示实际型号与两类许可说明

看左上方的实际权重名,以及下方两块绿色提示:研究和非商业使用,与数字创作者例外分别说明。截图用于确认身份和采用条件,不是中文输出效果图。 可打开原图查看细字。

创作者可获许可,不等于可免费经营语音服务

这组权重采用 Boson Higgs TTS 3 Research and Non-Commercial License,条款明确说明它不是开源许可。研究、非商业使用之外,Creator Use Grant 允许数字创作者在自己拥有或控制的频道发布播客、视频、有声书等内容,包括变现内容,但必须在音频或随附文字的显著位置署名 Boson AI's Higgs Audio,并遵守其余使用限制。

把模型接成面向他人的 API、配音应用、插件或托管服务,则不属于这一创作者例外,需要单独商业许可。许可也不替使用者取得参考声音的授权。对节目创作者,值得尝试的是声音表达的可编辑性;对准备经营语音产品的人,先解决授权与服务路线,才有继续接入的意义。

参考资料:

原始资料:Higgs TTS 3 4B official model card

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享