GROBID 把论文参考文献拆成字段,也保留它在原页的位置

开源项目猫目发布于 来源:GROBID 官方产品资料与使用说明
作者、题名和引文关系进入 TEI,坐标帮助把结构化结果接回 PDF。
GROBID 把论文参考文献拆成字段,也保留它在原页的位置

为什么值得关注

从学术PDF中提取参考文献及正文引文结构,并将识别结果定位回原页面。

适合谁:建设论文资料库、引文阅读器或学术信息整理工具的开发者

这次有哪些亮点

  • 正文引文可关联完整参考文献记录
  • TEIcoords保留页码与框,多行引文可有多个框

使用前需要知道

开源Apache2.0,文档CC0;主要面向学术论文,模型训练偏英语,其他语言质量不确定;无文字层PDF需先OCR,默认CRF不等于已启用深度学习模型。

论文最后十几页参考文献,复制出来往往只是一串带换行的文字。GROBID把它们拆成作者、题名、年份、期刊和标识符等结构,还能识别正文里的引文标记,尝试把一次引用接到完整文献记录上。

完整官方README将它定位为科学和技术出版物的文档结构化工具。成果通常是TEI XML:一种能表示章节、段落、参考文献与相互引用关系的文档格式,并不只是另一份纯文本。

一篇论文,保留两种“引用在哪里”

以为读书小组建设论文阅读器为教学情境。正文里出现一个作者年份引用,读者既想知道它对应哪篇文献,也想点击后在原PDF里看到它。前一件事需要结构关联,后一件事需要位置,两者不是同一个字段。

GROBID提取页首信息和文末参考文献,也识别正文引用上下文。应用可以据此组织参考列表与阅读跳转;模型识别和匹配仍可能出错,不能将输出关系直接当成已经核实的学术主张。

完整TEI输出说明解释了为何选择文档结构格式:完整论文包含嵌套章节、列表和引用机制,单一表格很难承载这些关系。对于要继续做阅读与文本分析的程序,这层结构比把整页拼成字符串更容易使用。

坐标不是只记一个页号

完整坐标文档给出teiCoordinates参数,可以为参考文献、作者名、标题、段落等指定类型请求定位信息。TEI中的coords将页码、位置与宽高放在一起;一条跨多行的参考文献,会用多个框描述,而不是强行圈成一个大矩形。

官方样例中,一位作者的姓名带有第一页上的位置框,另一条b19文献记录则在第十页分成四个框。这些是文档提供的结构示例,说明程序怎样在PDF上高亮对象,不是本文实际处理了一篇论文。

坐标采用PDF单位,页号从1开始。做浏览器叠加时,需要按原页宽高映射到显示尺寸;不同页面大小和裁切区域也可能影响位置。这些条件会直接影响“点了引用却高亮到别处”的问题。

学术结构提取,有自己的材料范围

GROBID采用Apache-2.0,文档为CC0。当前README区分默认CRF与可选深度学习模型,后者需要按运行环境启用,不能把深度模型的评测成绩套到任意默认实例。

官方FAQ还说明,无文字内容的PDF需要先做OCR;模型主要训练于英文论文,其他语言的质量无法直接保证。因此,它更适合学术文献结构整理,不该被包装成任意中文扫描件的通用解决方案。

如果你要建设的是带出处的论文阅读工具,可以先让一条正文引用连接到一条文献记录,再让这条记录回到原PDF位置。GROBID提供的,正是这两层关系之间可供程序继续使用的材料。

原始资料:GROBID 官方产品资料与使用说明

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享