多图一起问,和每图各问一次:LMDeploy 把两种输入分清楚

为什么值得关注
为批量图片说明与跨图比较选择正确的输入组织,而不把所有图片塞进同一段会话。
适合谁:用视觉语言模型整理图片、开发批量图文处理功能的工程师
这次有哪些亮点
- 单个prompt可带图片列表
- 独立prompt组成列表批量处理,chat session另作多轮接续
使用前需要知道
模型、引擎与依赖需按支持表匹配,多图增加token与上下文需求;Apache-2.0代码不覆盖模型权重许可,官方英文样例不证明中文图片效果。
有两张图片,要做的可能是两件事:让模型比较它们,或者分别给每张图写一段说明。图片数量相同,输入结构却不同。LMDeploy 的视觉语言模型 Pipeline,恰好用两组官方代码把这个差别说明白。
它适合正在把视觉模型接进图片整理流程的开发者。先决定“一个问题对应几张图”,才知道返回结果该怎样跟原图片关联。
一条问题,带上多张图
官方 VLM 指南从 InternVL2_5-8B 示例开始。最简单的输入是一个二元组:提示文字和图像。扩展到多图时,第二项变成图片列表,整组仍然是一条请求。
文档用两张人物、检测场景图片,提出 describe these images。这种组织方式让多张图共同成为问题材料,适合后续研究跨图描述或比较。示例展示调用结构,没有给出可直接据此宣传的中文比较成绩。
更多图片会带来更多输入 token。指南因此提醒同时考虑上下文窗口,不是把列表拉长就能无限增加材料。图片分辨率、模型和输入长度,也会影响具体资源需求。
一批问题,各自带自己的图
另一个 batch prompts 示例,先为每张图片构造独立的“提示、图像”二元组,再把这些请求放进列表交给 pipe。它表达的是一批独立任务,不是一个共同看图问题。
教学情境中,给商品图库逐图整理说明,更接近这一路径;比较两版海报差异,则更接近前一类多图请求。情境用于解释组织方式,不能证明默认模型已经适合商品审美或中文识字。
保存结果时,也应沿这个区别保留关系:独立任务记图片ID与对应输出,共同比较则记录整组图片与问题。否则,输出虽然都生成了,后续却难以知道某段描述属于哪份输入。
追问同一图片,又有会话入口
指南还展示 pipe.chat:先围绕一张图片提问,随后传回 session,继续追问图中人物在做什么。它保留的是一段多轮交流,与把许多独立请求放进批量列表不同。
这些入口共享运行流水线,适用目标却不同。无需为了逐图生成说明而把所有图片堆进同一会话,也不能只保留最终文字,就期待后来还能准确回到对应图片。
项目总览区分 TurboMind 与 PyTorch 两种引擎,支持模型和数据类型并非完全相同。代码采用 Apache-2.0,实际模型另看权重许可。用完后还可通过 close 或 with 释放流水线。对图片应用,最先值得接通的是输入与成果的对应:共同材料、独立任务和持续追问,各自用合适的结构表达。
以上为编辑整理,功能、许可与使用条件以官方说明为准。