Step-Audio 2 mini:语音对话里,语气也能成为输入

新模型猫目发布于 来源:StepFun 官方项目说明
从官方中英文对话示意认识音频理解、表达方式与回答的关系,并分清家族演示和可下载型号。
Step-Audio 2 mini:语音对话里,语气也能成为输入

为什么值得关注

适合探索需要听懂表达方式的语音助手:除了话语内容,还能把情绪、音色等声音线索纳入交互设计。

适合谁:设计语音助手、口语交互原型的开发者,以及关心语音模型能听到什么的用户

这次有哪些亮点

  • 官方材料把语义与语气、音色等线索放在同一交互中
  • mini、mini Base 与 mini Think 有独立下载入口
  • 中英文演示可用来理解输入输出,但不代表 mini 的通用正确率

使用前需要知道

usage.jpg 属于 Step-Audio 2 家族示意,不是 mini 实测;本地需 Python、PyTorch 与 CUDA,在线服务需账户/API Key,本文未核定费用或测量中文质量。

语音助手如果只接收到转写文字,就容易丢掉说话方式里的信息:一句话是在低声请求、急促追问,还是带着犹豫说出口?Step-Audio 2 mini 所在项目值得关注的主线,是把语音作为带有语义和表达线索的输入,再组织回答。对口语交互原型,这比单独增加一个朗读按钮更有探索价值。

先认清可取得的对象。Step-Audio 2 是研究与演示使用的家族名称,仓库在 2025 年 8 月 29 日公布 mini、mini Base,随后在 9 月 15 日公布 mini Think 及相应示例。本文的采用入口以 Step-Audio 2 mini 为主,不能把家族中其他型号的成绩、应用演示全部算在它身上。

从一句中文提问看交互怎么走

官方 usage.jpg 把多种交互排在一张图里。右列有一条中文语音请求,请模型翻译关于长城的句子,蓝色回答气泡给出英文表达;接着用户继续要求用悲伤的方式说,再要求改成耳语,回答的文字内容保持为同一句英文,表达要求则发生变化。

这个连续案例最有用的地方,是把两个任务分开给人看:先理解音频里的翻译要求并组织内容,再根据后续要求改变说话方式。用于口语学习原型时,可以据此理解为什么输入、对话上下文和输出语音要一起设计。这是官方家族演示的判读,图中没有标明每段都由 mini 生成,也没有提供本文独立复现的音频。

Step-Audio 2 官方使用示意,包含中英文提问、语音回答及表达方式调整

官方 usage.jpg。先看右列中文提问与后续语气要求,再看底部对声音线索的文字描述。气泡内的秒数是示意中的音频时长,不是回答延迟;静态图不能让人听出情绪是否自然。原图较长,可打开查看细节。

听到了什么,与该怎样回答

图的底部还有一段对话:用户表示自己有些不安、想聊一聊。说明文字除了话语含义,还描述了说话者、温和而略带思索的语气、速度以及轻微背景噪声,随后展示一种耐心回应的组织方式。这里体现的是家族研究希望利用的声音信息,而不是给用户做情绪诊断。

这种能力对交互设计的启发很具体。同样一句请求,系统是否需要放慢回答、先确认意思,取决于语义之外的声音线索是否被保留。仓库将它称为副语言信息,包括音高、节奏、情绪和音色等。对非专业读者,可以理解为“这句话是怎样说出来的”,而不必先学习一组音频术语。

不过,声音线索是模型的判断,不能当成说话者身份或真实心理状态的确定事实。对涉及真实用户的原型,合适的用法是调整对话方式,并允许对方澄清。本文也没有据这些示意声称 mini 能准确识别所有中文语气。

mini 与 Think 要分别选择

官方仓库为 mini、mini Base 和 mini Think 提供各自的权重入口及推理脚本。想按现有对话示例探索的人,可以先看 mini;研究 Think 路径则应读其对应示例,不能只把普通 mini 的文件换个名字。家族评测表也把 Step-Audio 2 与 mini 分列,说明选择时需要盯住确切型号。

这比只看一张综合雷达图更有帮助:语音识别、声音理解与口头回答是不同环节。即使某一测试集上的文字识别表现不错,也不能推出它在方言聊天中一定能给出合适回答。官方中英文材料让人看清交互方向,却没有替实际场景完成验收。

试用入口与采用条件

mini 模型页提供下载,官方仓库有推理示例和本地 Gradio 演示。资料要求 Python 3.10 及以上、PyTorch 与 CUDA 环境;对需要较快或流式推理的开发者,另有官方 vLLM 后端。这是一条需要计算资源的模型路线,不能把“mini”理解为普通电脑都可无门槛运行。

代码和公开 mini 系列标注 Apache 2.0。在线入口另有账户、API Key 和服务费用条件:此次读取的 mini 模型卡所列 Audio Studio 已提到其他家族型号,因此不宜把它宣传成 mini 随时可用的免费试玩。要验证 mini 本身,优先对照权重与本地官方示例;要体验在线产品,则在服务内确认实际选中的模型和计费。

参考资料

原始资料:StepFun 官方项目说明

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享