SAM 3:输入“shoe”找出一组鞋,文字也能成为选区入口

新模型猫目发布于 来源:SAM 3 官方资料
官方球场案例展示按概念找多个实例,再用视觉提示缩小范围。

为什么值得关注

适合给图片或视频建立按对象概念选择能力的视觉工具开发者。

适合谁:视觉工具开发者、技术美术、素材标注团队

这次有哪些亮点

  • 文字概念可对应多个实例,输出蒙版、框和分数
  • 正负样例框可继续限定想找的对象类型

使用前需要知道

权重需在HF申请访问并认证,采用自定义SAM License;当前仓库另有SAM3.1,本文实例讨论SAM3,不能共用性能结论

一张球场照片里有好几个孩子,想把鞋单独选出来,不一定要逐个点。SAM 3增加了按概念找对象的入口:输入一个短语,模型在图像里寻找符合概念的多个实例,并给出各自的蒙版、框和分数。它适合做选区工具的底层能力,让编辑从“我想选哪一类东西”开始。

官方图像notebook给出实际保存的例子:输入shoe,在球场照片中返回12个对象。展示图把鞋的位置标为不同实例,和孩子身体其他部分分开。12是这一张图、这次官方运行的结果,不代表模型对任何多人场景都能数全,也不是猫目本地测试。

SAM3官方shoe提示在球场图像中返回多个鞋实例

Meta官方notebook的shoe结果,彩色标记区分多个实例。文字提示、保存输出和原图场景在同一份材料中对应。

一个概念可能对应许多选区

SAM3 README把主要变化说得很清楚:除了点、框和蒙版等视觉提示,它还可以按短文本或样例找出开放词汇概念的多个实例。它内部结合检测与跟踪;视频入口先创建会话,再在某一帧添加文字提示,而不是每帧重新上传一张互不相关的图。

这适合继续构造“把所有鞋作为一个编辑组”“分别给多个同类对象加标记”等工作流。但输出本身仍是分离信息,改色、模糊和合成需要下游工具实现。概念是筛选依据,不能把相似分数直接理解为对象真实身份或业务判断。

视觉样例可以把概念收得更窄

同一notebook接着使用样例框:给一个正框后返回6个实例,再加入一个负框后变为5个。这个过程表达的不是简单剪掉框外区域,而是用正负样例告诉模型,哪些外观属于想找的集合、哪些不属于。若短词太宽泛,视觉提示能提供额外区分;若选区仍不合适,还应根据当前任务检查遗漏和误选。

对于创作者,文字入口与逐点入口各有用途。知道要哪一类对象时,用短语更容易表达集合;只要某一个特殊对象或局部细节时,点、框和后续修正仍然重要。SAM 2以交互选定对象再传播的流程,与SAM 3按概念找多实例的流程,不能只因为都叫SAM就视为同一个功能。

下载与许可已换了一套条件

README要求先在Hugging Face申请SAM 3检查点访问,获准后登录认证再下载。当前运行环境说明包括Python3.12以上、PyTorch2.7以上及相应CUDA GPU,安装示例又固定了自己的版本组合。能读仓库并不等于已经获得权重或验证本机兼容。

项目使用自定义SAM License,有再分发、研究署名与用途等条件,不能沿用SAM 2的Apache 2.0描述。当前仓库还记录2026年3月的SAM 3.1多对象跟踪更新;本文解析的shoe案例属于SAM 3示例,不把3.1速度结论挪过来。实际制作前,先保留提示、实例ID与遮罩,再决定按对象集合进行哪些编辑。

原始资料:SAM 3 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享