SAM 2:第一下只选中短裤,再补一点把整个人跟到后续画面
为什么值得关注
适合给视频对象做局部调色、遮罩和合成的技术美术。
适合谁:视频后期、技术美术、分割工具开发者
这次有哪些亮点
- 同一对象可补正负点击,修完再传播到其他帧
- 官方失败到修正示例比“一次点击完成”更能说明控制方式
使用前需要知道
此流程使用SAM2.1 large检查点,不套用SAM3文字找目标能力;输出对象蒙版仍需合成工具;复杂遮挡与边界要逐段看
想只给视频里的某个人物调色,先要让遮罩跟着人走。SAM 2的价值是把“在哪一帧指明对象”和“怎样延续到其他帧”连起来;指错或漏选时,还能回到具体画面补点,再重新传播。对后期制作,这比拿到一条无法修改的自动抠像结果更有操作余地。
官方视频notebook没有把过程包装成一次成功。它在卧室视频第0帧点击左侧孩子的短裤,模型最初只把短裤分出来;随后又在上衣补一个正向点击,遮罩才扩展到整个人。这个例子很有代表性:一个点既可能表示“这一件衣服”,也可能表示“穿衣服的人”,模型需要更多信息来消除歧义。

Meta官方notebook保存的第一次结果:绿色星号是正点击,橙色区域只覆盖短裤。

同一官方案例,补上第二个点后得到人物遮罩;两图是官方保存输出,本文未重跑。
先修当前帧,再把决定送到其他帧
案例使用SAM 2.1的large权重和对应配置。视频先整理成按数字命名的JPEG帧,初始化推理状态;每个对象有独立ID,点击坐标与正负标签交给模型。正点表示要包含,负点表示要排除。补第二个点时,官方要求同时发送此前所有点击及标签,而不是只保留最后一次。
当前帧满意后,调用propagate_in_video,得到各帧、各对象的蒙版。官方接着在第150帧发现边缘瑕疵,添加负点修正,再传播一次。这层循环说明真正的可编辑位置:你可以在出问题的时刻纠正对象范围,不必重新描述整段影片。遮挡、转身或快速动作处尤其值得查看,但不能保证所有片段只补一次就够。
人物和衣服可以是不同任务
同一本notebook还演示分别跟踪两个孩子的上衣,并赋予不同对象ID。这个区别对后期很实用:调全身曝光与只改衣服颜色,所需遮罩不同。框也可以作为提示,之后再补正负点;已存在的蒙版同样能输入。它们都是在明确“选哪一部分”,并不直接替你完成换装、补景或调色。
SAM2仓库的当前说明区分初版与2024年9月发布的2.1检查点,不能把不同权重的性能表混为一谈。代码与模型采用Apache 2.0,示例依赖PyTorch等环境;Colab笔记建议A100或L4,T4可能较慢或显存不足。Apple MPS在notebook中仍标为初步支持,不能把可选后端写成等效表现。
把蒙版交给合成软件后,仍需要处理边缘、时间稳定和颜色。SAM 2适合提供可修正、带对象身份的分离材料;角色换景、局部特效与文字遮挡的最终成片,还要由后续图层和合成来完成。
以上为编辑整理,功能、许可与使用条件以官方说明为准。