Stable Audio Open 1.0:为短片补环境声和动作音效

新模型猫目发布于 来源:Stable Audio Open 1.0 model card
从官方锤击示例理解音效备选的生成方式,适合愿意试听和剪辑的创作者;英文描述与权重许可需先确认。
Stable Audio Open 1.0:为短片补环境声和动作音效

为什么值得关注

官方提供按描述和时长生成多份声音候选的具体示例,能为短片试剪补充可挑选的音效素材。

适合谁:需要短片环境声、动作音效或游戏声音草案,并愿意准备模型环境的创作者。

这次有哪些亮点

  • 按文字描述生成最长 47 秒、44.1 kHz 的立体声音频
  • 官方示例覆盖锤击音效与鼓循环,可保存为音频文件
  • 支持 Stable Audio Tools 与 Diffusers 两条运行路径

使用前需要知道

以英文描述训练,官方说明更擅长音效和环境录音,不能生成逼真人声;权重为 Community License,商业使用有注册、收入门槛等条件,本地运行另需算力。

一段木工短片已经剪好,画面里有锤子落下,却缺少能贴住动作的声音;另一段空镜需要一层环境声,又不想先找一整首配乐。Stable Audio Open 1.0 值得这类创作者认识:给它文字描述,生成一段可保存为音频文件的声音素材,再带回剪辑软件挑选、裁切和混音。它的用处在于补声音材料,尤其是音效与环境录音方向。

这是 Stability AI 的文本生成音频模型。官方模型卡给出的规格是最长 47 秒、44.1 kHz 立体声,时长可以变化。对短片而言,这个长度适合准备一个镜头或一段场景的素材;它并不意味着输入整部影片,就能自动完成全片声音设计。

先看官方怎样描述一声锤响

模型卡的 Diffusers 示例给出的任务很具体:描述锤子击打木质表面,设置约 10 秒长度,一次请求生成三份候选,然后把其中一份保存为 hammer.wav。这里最值得保留的并非参数数量,而是“同一个声音事件,先获得几份备选”的工作方式。木材、击打和声音持续时间是输入里真正与画面有关的信息。

把它放进木工短片,可以先用这个官方示例理解流程,再按自己的画面试听候选:起音是否利落,尾音会不会拖过切镜点,背景里是否出现不需要的声响。后面这些是编辑选择标准,不是本文已经生成并验证的结果。本文依据官方模型卡和代码说明解读用法,未运行模型或试听生成物。

另一个官方例子是 128 BPM 的 tech house 鼓循环,时间条件设为 30 秒。它说明模型可以接收节奏和时长描述,但不能据此把模型定位为完整歌曲制作器。官方限制写得更明确:它更擅长音效和环境录音类声音,无法生成逼真人声,对音乐风格和文化的表现也不均衡。若目标是中文歌词、主唱和完整编曲,这条路线与任务并不相符。

英文描述与音频文件,连接的是哪一步

对国内剪辑者,首先要准备的是声音需求,而不是把中文台词交给它朗读。模型以英文描述训练,官方提示其他语言的效果较弱。可以先把镜头需求拆成声源、动作与环境,再整理成英文描述;这是建议的试用方法,不代表中文提示的质量已经得到确认。

拿到文件后,仍需在剪辑时间线上确定落点、调整响度并处理与对白的关系。模型卡的锤击例子没有输入视频,也没有提供逐帧对齐控制。因此,这份素材的价值是给声音设计提供候选,不能从“生成了锤击声”进一步推导成“自动对上每次落锤”。环境声也应检查接缝,不能默认生成的片段可无缝循环。

Stable Audio Open 1.0 官方模型页面,含权重访问条件与型号

图为官方模型页。看上方完整型号与中间的访问条件:页面公开可读,取得文件仍需登录并接受条件。它用于确认入口和模型身份,不是木工案例的输出波形或试听证明。 可打开原图查看细字。

试用前先分清代码与权重

实际入口是 Hugging Face 的 stabilityai/stable-audio-open-1.0。模型卡提供 Stable Audio Tools 与 Diffusers 两种运行方式;前者仓库还提供 Gradio 界面,可在接受模型条款后加载这组权重。当前工具仓库说明开发环境为 Python 3.10,并要求 PyTorch 2.5 或以上。它面向愿意运行模型的人,不能按一个无需环境准备的在线音效网站来理解。

工具代码采用 MIT 许可,权重则采用 Stability AI Community License,两者不能混为一谈。模型页链接的权重条款要求商业用途注册,并规定年收入门槛;使用者或关联方单独或合计年收入超过 100 万美元时,需另向 Stability AI 申请许可;该门槛不限于模型带来的收入,具体应核对许可全文。这里没有把权重许可、算力开销或商业服务价格合并成“免费商用”。

我会把它推荐给正在做短片试剪、游戏声音草案或声音实验、愿意试听并筛选素材的人。最有吸引力的起点,是先拿一个边界清楚的动作声做备选,再判断它能否进入自己的剪辑流程。需要可靠人声、整首中文歌曲,或不愿承担本地运行准备的人,应先选择更贴近这些目标的入口。

参考资料:

原始资料:Stable Audio Open 1.0 model card

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享