长页面不必压成方块:ColQwen2.5 用动态分辨率做文档检索

新模型猫目发布于 来源:ColQwen2.5 v0.2 官方资料
页面比例与图块数量都会影响视觉检索,看看它怎样保留输入形状,以及成本从哪里增加。

为什么值得关注

以动态分辨率编码页面图像,让视觉文档检索保留原页比例。

适合谁:研究长表格与复杂页面检索的开发者

这次有哪些亮点

  • 页面采用动态分辨率输入
  • 查询与页面输出多向量表示
  • 官方示例展示两问题四页面评分

使用前需要知道

以v0.2为准;更多图块需要更多内存。骨干Qwen研究许可含非商业限制,适配器MIT不能覆盖骨干条件。

检索一张很长的文档页面时,如果先把它挤成固定方形,小字、图例和列间关系就可能变得难以辨认。ColQwen2.5 v0.2采用动态分辨率输入,避免为了统一形状而改变页面宽高比例,再用多向量表示做检索。

它和普通文档问答模型的任务不同:给一个问题,先从许多页面里找出值得看的几页,而不是直接对每份资料生成回答。

保留比例之后,页面怎样变成可检索的数据

模型卡说明,模型建立在Qwen2.5-VL-3B基础上。页面被分成视觉图块并生成多向量表示,文字查询也有自己的表示,随后通过后期交互计算相关性。

官方说明中,默认最高分辨率对应至多768个图像图块。提高图块数量可能让模型看见更多细节,但内存开销也随之增加。动态分辨率并不等于不做任何尺寸限制,更不是可以无限放大页面而没有代价。

以一张细长的多列表为教学情境,保留比例能避免把它强行压成方形;但每个单元格最终有多清楚,还要看输入图像、分辨率上限和图块设置。这些条件需要跟着检索结果一起记录,才能解释某次页面为什么没有被找回。

官方分数矩阵说明了什么

模型卡给出两条问题与四张页面的示例:问题分别指向图轴含义和年度总支出。页面与问题编码后,会返回一个两行四列的相似度矩阵。示例还展示了查询与页面向量序列的形状,两者长度不同,但可以进行匹配评分。

这里真正有用的是交接关系:每个分数都能回到某个问题和某张原页。应用可以据此排序,再展示原页面供阅读;它不会因为分数最高,就自动成为图表里的正确答案。若还要读出数字或写分析,应在页面找回后另外处理。

也不要把骨干模型会多语言,直接写成这套检索权重已经验证中文效果。模型卡说明检索训练集按英文设计,并提醒对其他文档与语言的泛化限制。

型号、运行包和许可要分别看

项目当前的运行仓库已建议新项目使用Sentence Transformers多向量接口,旧colpali-engine保留用于复现。不同运行接口对查询前缀等格式的处理可能不同,复查结果时,应把模型型号与实际接口一同记下。

许可还有一个不能跳过的细节:模型卡将适配器标为MIT,但Qwen2.5-VL-3B骨干采用Qwen研究许可,其中限制非商业用途,商业使用需要另行取得许可。仓库里其他型号或表格的Apache标注,不能替代这个具体骨干的条件。

如果你的资料检索经常涉及长页面或密集表格,ColQwen2.5值得作为视觉检索研究对象。比较时不妨同时看页面比例、图块开销和找回页码,才能知道保留更多视觉细节,是否换来了你真正需要的那张页面。

原始资料:ColQwen2.5 v0.2 官方资料

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享