TabICLv2:让表格样本成为上下文,少走一轮模型调参

新模型猫目发布于 来源:TabICLv2 论文与官方实现
分类与回归共用一条预测思路;列、行与整张表分层处理,是它的关键设计。
TabICLv2:让表格样本成为上下文,少走一轮模型调参

为什么值得关注

面对已有标签的表格,TabICLv2 用预训练后直接读取样本上下文的方式建立分类与回归基线,论文还解释了如何在压缩表格时保留目标相关信息。

适合谁:需要为带标签表格建立预测基线的数据分析学习者、研究人员及有 Python 环境的分析团队。

这次有哪些亮点

  • 当前 v2 同时支持分类与回归,旧 v1 只做分类
  • 按列编码、按行聚合,再在数据集层面进行上下文学习
  • 支持缓存训练上下文,适合同一批样本反复预测新记录
  • 核心表格代码与v2权重为BSD-3-Clause,forecast组件另用Apache-2.0

使用前需要知道

并非自然语言表格助手;不原生利用列名或文本语义;大表仍受内存和算力影响,论文比较不能扩成任意数据都胜出;forecast组件派生自TabPFN-TS,单独采用Apache-2.0。

手里有一批已完成的订单,表中记录着件数、重量、运输距离和实际处理时长,想估计新订单需要多久。通常会先试几种回归模型,再为参数选择花时间。TabICLv2 提供了另一个起点:把已有订单和已知时长作为上下文,直接预测新订单的数值;若目标改成订单类别,也有对应的分类模型。

这里的“上下文学习”,指模型在预测时读取这张表的已知样本,不是把订单描述写成长提示词。当前官方实现以 v2 为主,已经同时覆盖分类与回归;早期 v1、v1.1 只有分类,选版本时要分清。官方实现与模型版本

从一张表到一个预测,中间压缩了什么

以上述订单作教学例:先把实际时长设为目标,其余可用信息设为特征,留出一组订单检验预测。模型接收已有订单特征、对应时长和待预测订单特征,输出后者的时长估计;没有提供真实订单数据的这段解释,不代表已经获得可用的业务结果。

TabICLv2 的独特之处,在于它没有让每个表格单元都一直参与最昂贵的交互。它先按列提取表示,再让同一行的特征发生交互、压缩成行表示,最后在整张表层面让待预测行参考已知行。这样,读列、理解一行、从样本学习三个环节有了分工。

但压缩也可能丢信息。v2 的一个改变,是在压缩之前就把训练样本的目标信息加入特征表示。放回订单例子理解:模型在归纳一行之前,就有机会考虑哪些特征与实际时长相关,而不是先压缩完才第一次看到答案。论文图中的目标注入只用于训练样本,待预测行没有偷看答案。论文第 3 节与图 2

TabICLv2 官方架构图:列分组、训练目标注入、行聚合和上下文预测

官方示意,来自 TabICLv2 论文图 2;SVG 经浏览器静态渲染。看左下的训练目标注入,再沿箭头看右侧列处理、行处理和最终预测。打开清晰原图

这也是我会保留它作为候选的原因:它给出了一个具体答案——面对更多行和列,怎样减少计算,同时尽量保留对目标有用的信息。若新订单不断到来,官方还支持缓存训练上下文,后续预测复用缓存;代价是多占内存,并非每次都免费加速。

“不用调参”值得试,但别读成任何表都更准

论文用 TabArena 和 TALENT 做比较。前者包含 51 个数据集,用重复交叉验证;后者包含 300 个数据集,划分训练、验证和测试部分。分类与回归采用不同指标,且不同基准的集成数量也不同。作者报告的优势属于这些条件下的结果,不能改写为自己的订单表必定胜过树模型。

还要区分“能接收”和“擅长”。官方仓库说明,v2 预训练主要覆盖 300 到 48K 个训练样本、2 到 100 列;更多列可能退化。论文又明确说,它不原生利用列名或文本特征的语义。把整段备注塞进一列,并不会因为列名是中文,就自动变成理解中文业务内容的模型。

如果目标只是先建立可比较的预测基线,我会先保留默认上下文学习路线;只有验证显示确有必要,才考虑另行微调。当前仓库虽然提供微调功能,但不能把后来加入的功能当成原论文所有实验已经验证过的能力。

开放入口与实际选择

核心表格预测代码采用 BSD-3-Clause;LICENSE 末尾单独说明,src/tabicl/forecast 由 TabPFN-TS 派生,采用 Apache-2.0。官方 v2 模型卡另行标注权重为 BSD-3-Clause。代码组件、这份权重与自己的数据须分别核对,不能把核心代码条款概括为仓库每个部分的统一许可。首次预测会下载检查点,大数据任务官方推荐 GPU。

适合它的问题,是已有可用特征和答案,想少花一些模型搜索的准备成本。开始之前最该确定的,仍是“哪一列才是答案,以及预测时哪些信息真的已经知道”。这一步做对,TabICLv2 的上下文学习才有比较价值。

原始资料:TabICLv2 论文与官方实现

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享