Prithvi-EO-2.0:让同一块农田的多期卫星影像一起参与识别

新模型猫目发布于 来源:IBM NASA Prithvi-EO-2.0-300M 模型卡
沿三期、六波段农作物分割任务,看懂多时相遥感预训练与下游识别的区别。
Prithvi-EO-2.0:让同一块农田的多期卫星影像一起参与识别

为什么值得关注

用官方三期作物分割材料说明时序影像怎样参与像素分类,避免把影像重建演示误作任务识别效果。

适合谁:手头有遥感影像或标注材料、需要研究多时相分类与分割的学习者。

这次有哪些亮点

  • 三维切块把时间与空间一起编码
  • TL型号加入时间和地点信息
  • 提供作物分割等任务的TerraTorch配置与notebook

使用前需要知道

基础权重需配下游训练,非开箱即用的当地作物识别;美国作物案例不代表中国农田效果;30米预训练影像及跨分辨率评估不等于超分辨率真实还原。

同一块地在春夏秋的颜色不同,只看一张卫星照片,可能看不出作物差异。Prithvi-EO-2.0 把同一地区在多个时刻的多光谱影像一起处理,为农作物分类、地表覆盖和灾害痕迹识别提供可微调的底座。它由 IBM、NASA 与于利希超级计算中心等机构合作开发,重点是地球观测影像,不是根据文字生成地图。

这个项目最值得认识的能力,是让时间也成为影像的一部分。模型除了看“这里是什么样”,还可以利用同一位置随时间怎样变化的信息;任务结果则需要通过相应的下游训练获得。

三期影像怎样变成一张分类图

官方仓库提供美国多时相农作物分割的配置。按这份配置理解一次任务:输入同一区域的三期影像,每期保留蓝、绿、红、窄近红外与两个短波红外波段;模型把它们组织成带时间维度的数据,再由预训练骨干提取特征,交给分割解码器输出像素类别。

这份任务设置有 13 个类别,包含玉米、大豆、冬小麦,也包含森林、水域等地表类型。训练时还要提供对应标签,让模型学习哪些像素属于哪一类。最终目标是一张按像素区分类别的图,不是让模型直接写一段“这片农田长势良好”的评价。官方配置与示例

以上解析的是公开配置与任务材料,并未实际运行训练。基础权重不等于已经完成当地作物识别:换到另一地区、季节或影像来源,仍需要检查波段、标签与数据分布,不能把美国案例直接当作中国农田的效果证明。

为什么架构图的左右两边都是影像

下图左侧是一叠多期影像,经过三维切块后,一部分片段被遮住,编码器处理可见部分,解码器再重建缺失内容。时间、经纬度信息通过上方的编码路径加入。图右侧的重建影像说明的是预训练任务,并不是已经分好作物类别的结果。

Prithvi-EO-2.0 官方预训练架构:多期影像切块、时间地点编码、遮罩与重建

官方架构示意,来源:NASA IMPACT 项目仓库;英文标注,可打开原图查看完整流程。

这种遮罩重建训练先教模型利用影像的空间与时间关联,下游任务再利用学到的表示。三维切块同时包含时间与空间维度,所以多期材料不是随手叠放的几张独立图片。

也要注意型号后缀:TL 版本加入时间与地点编码;预训练时还会随机丢弃这类元信息,让模型学习处理元信息缺失的情形。不能把 TL 的特性无差别写到所有型号上。当前模型卡还列有不同规模的权重,选择时应核对具体型号。

研究成绩不等于影像变得更清晰

模型使用 NASA 的 HLS 多时相样本预训练,材料的空间尺度为 30 米。论文当前版本描述了全球采样、预训练以及 GEO-Bench 和具体下游任务的评估。GEO-Bench 比较需要为不同任务接上分类或分割部分,并进行微调,评估的是这些任务上的结果。

封面使用的官方汇总图,比较的是一组遥感任务的平均表现;它没有回答模型在某块新农田上能否分对。

所以,即使论文讨论了不同分辨率数据上的迁移表现,也不代表模型能把 30 米卫星影像凭空还原成亚米级真实细节。重建演示、作物分割、洪水识别是不同任务;看到漂亮的重建图,不能顺手推导出分割已经准确。

我会把它推荐给需要比较多期遥感表示、或手头已有标注影像的学习者:先选官方同类任务,理解从影像序列到标签图的转换,比直接套一串性能数字更有收获。只想浏览某个地点的最新卫星图,则不需要从这个训练框架开始。

代码、权重与数据,各有自己的入口

项目仓库提供 TerraTorch 配置和 notebook,代码采用 MIT;所引 300M 权重模型卡标注 Apache 2.0,两者允许依条款商业使用,但不是同一份许可证。HLS 原始资料与各下游标注集也要分别查阅条件,不能从权重开放推出全部数据都可不受限制地使用。

需要开始研究时,沿农作物分割 notebook 选定具体权重、准备同一地点的多期多波段影像与标签即可。它降低的是从头学习遥感表示的起点,具体地区能识别到什么程度,仍要由对应任务的验证结果回答。

原始资料:IBM NASA Prithvi-EO-2.0-300M 模型卡

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享