olmOCR 的工作区,同时留下可读 Markdown 和批处理文档

开源项目猫目发布于 来源:olmOCR 官方产品资料与使用说明
明确使用 olmOCR 2 的模型,页面渲染、旋转与重试交给工具链。
olmOCR 的工作区,同时留下可读 Markdown 和批处理文档

为什么值得关注

将一批PDF或图片转换为便于阅读与语料处理的两类成果,并支持复用工作区调度。

适合谁:有英文PDF集合,既要整理阅读材料也要构建文档语料的研究工具开发者

这次有哪些亮点

  • 工作区可同时产生Dolma文档和Markdown
  • 工具链负责页渲染旋转重试,模型卡有结构化页级输出

使用前需要知道

开源工具与模型Apache2.0;模型卡语言为英语,不能据此保证中文效果;本地建议至少12GB显存与30GB空间,远程推理将内容交给所选服务器,商业推理服务另有费用。

把一批PDF转成文字后,阅读者想要能直接打开的文件,研究程序则需要适合继续处理的文档记录。olmOCR把两条出口放在同一个工作区:工具链生成Dolma格式文档,启用Markdown选项后,也把结果存为对应的.md文件。

完整官方README给出单份PDF、图片与多文件处理路径。这里讨论的是资料转换工具链,以及它使用的olmOCR 2模型,不是把普通聊天模型直接接到文件夹上。

从页面图像,恢复连续阅读的材料

olmOCR接受PDF、PNG和JPEG,目标包括恢复阅读顺序、处理多栏材料与公式表格,并去掉页眉页脚。对建立英文阅读资料库的人,这意味着正文不必完全沿原PDF的视觉位置被机械拼接。

官方最短示例用项目论文的样本页,转换后在工作区的Markdown目录中读到标题开头。它展示了文件如何进入输出目录,不能据此推断任意旧扫描件的段落和公式都已正确恢复。

以整理一批公开英文会议论文为教学情境,可以让Markdown进入自己的阅读笔记流程,同时保留更适合程序处理的文档记录。两者服务不同的后续工作,不需要为了得到两种成果重新维护两份输入清单。

模型卡里,还有一层页面状态

完整olmOCR-2-7B-1025模型卡说明,模型以Qwen2.5-VL-7B为基础继续训练。官方推荐由工具链完成页面渲染、旋转和必要重试,再读取结果;单独调用模型不等于重现整条解析过程。

模型卡的手工调用示例输出先给出primary_language、旋转状态、是否表格或图示等信息,再进入识别文本。这些页级信息帮助工具继续组织页面,不应被当成每个字都正确的置信证明。

当前卡片建议实际使用FP8版本,BF16版本更适合继续微调。仓库不同位置还保留旧模型默认值,因此需要明确所用模型标识,不能只看一句默认说明就把不同代模型混成同一效果。

文件多了,工作区也承担调度

README提供同一本地工作区处理多份文件的方式,也支持S3工作区由多个节点领取任务。对于批量数字化,这让“有哪些材料待处理、成果放在哪里”成为可以继续维护的对象,而不是每次临时启动一段孤立脚本。

这部分仍然需要运行环境。本地推理官方列出近期NVIDIA GPU、至少12GB显存与约30GB磁盘空间;使用外部推理服务器时,客户端可以更轻,但内容会进入所选服务的处理路径,费用与账号条件也随服务而变。

工具代码和模型采用Apache-2.0,模型卡标注语言为英语,不能自动外推成对中文扫描件的效果保证。olmOCR值得看的,是从页面处理到工作区产物的完整衔接:让一批文件既能被人继续读,也能被程序继续整理,而不是只得到一次性的文字打印。

原始资料:olmOCR 官方产品资料与使用说明

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享