SAM Audio：一段混音里想留下哪种声音，可以用三种提示来指定

拍到一段人和狗玩耍的视频，录音里同时有人说话、背景音乐和狗叫。剪辑时若只想留下狗叫，音量旋钮帮不上忙：这些声音已经混在一起。Meta 的 SAM Audio 把任务变成“指定要分离的对象”，接收原始音频，再结合文字、画面对象或时间片段，输出目标声音与剩余声音两条音轨。

这比固定的人声、伴奏二选一多了一种控制方式。做短片、整理环境录音或试着提取乐器的人，可以先判断自己能提供哪条线索，再选择输入。它属于需要取得模型访问权限的技术工具，不能把官方示意当作随手上传就必定分得干净的保证。

同一个“狗叫”，可以怎样告诉模型

官方概览图把三种提示放在同一段材料旁边：左侧视频中有人和狗，音轨标着说话声、狗叫和音乐；上方用掩码选中狗，中间选出有狗叫的时间段，下方则写出 dog barking。右侧给出目标音频与残余音频的分工。

官方方法示意，不是本文处理的录音。先看三条提示怎样指向同一种目标，再看右侧 Target audio 与 Residual audio；图中的波形不提供本文的分离质量测量，细字可打开原图。

文字提示适合目标容易说清的时候，例如“狗叫”“汽车鸣笛”。README 建议采用与训练匹配的简短、小写英文名词或动词短语，例子是 thunder，而不是写成一整句场景描写。这里的重点是把声音类别说明确；中文释义帮助理解，不代表本文验证了中文提示效果。

视觉提示适合“知道是谁发声，却不好描述它”的视频。选择画面对象的掩码，把对应帧送进流程，是为分离提供可见对象线索。它不是给一张照片就能凭空生成真实录音，也不适用于没有相应视频帧的纯音频材料。

时间段提示则从“什么时候听见”入手。官方接口用 car honking 配合 6.3 到 7.0 秒的正向锚点。这不是只把那几秒裁出来：时间线索参与的是分离目标的指定。若多个声源在锚点中重叠，仍然要听输出判断它是否选中了需要的声音。

为什么还要保留“剩下的声音”

官方基础示例同时保存 target.wav 和 residual.wav。前者是选中的目标，后者是其他声音。剪辑时两条都值得听：目标轨里是否带进了不需要的人声，残余轨里是否还漏着明显的目标声。

例如，给自己的片子留一段清楚的狗叫，真正要验收的是每次叫声的起止、尾音与空间感，而不只是文件名里写着“target”。如果目标轨出现断裂、环境突然消失或与画面不同步，就要回到素材决定是否换提示、保留原声的一部分，或放弃这一次分离。这个验收情境说明如何使用输出，不是一次实际试听结论。

SAM Audio 还可按文字预测目标出现的片段，并生成多个候选后重排。README 明确指出，提高候选数量会增加延迟和内存开销。因此，“让模型多选几次”是一项资源取舍，不能被当成没有代价的质量开关。

从官方入口开始，先核对访问与依赖

仓库提供 small、base、large 及部分 -tv 变体。它们各有定位，不能把同一张自报评分表理解为大模型在每一类声音上都更好。项目还依赖 PE-AV 等组件；官方要求 Python 3.11 及以上，推荐 CUDA 兼容 GPU。实际门槛取决于模型、片段和候选设置，本文没有测出通用显存数字。

使用检查点前，需要在 Hugging Face 申请访问，获批后登录下载。仓库链接的官方演示可作探索入口，具体访问范围以页面为准。代码、模型权重和相关实现被仓库中的 SAM License 一并纳入 SAM Materials，不能因为能看到源码就按 MIT 或 Apache 项目来使用；再分发及用途条件也需要遵守。

如果你只想做常规人声伴奏分离，已有工具可能更直接。SAM Audio 更值得进一步研究的场景，是目标声音不属于固定音轨类别，或手里恰好有画面与时间线索。先选一段自己有权处理的短素材，明确要留下什么，再分别检查目标与残余两条轨道，这样才知道三种提示是否对自己的任务有用。

参考：官方仓库与输入输出示例 · 模型获取入口 · SAM License