先看怎么选
只有少数已知URL,需要正文转换与模型输入,可看Jina Reader;需要发现、限定并观察整片网站的采集范围,可看WaterCrawl。保留来源与版本信息,再进入知识库处理。
| 这一步要完成 | 相关工具 | 工具介绍 |
|---|---|---|
| 按URL转换正文 | 查看介绍 | |
| 范围化多页采集 | 查看介绍 |
把产品网站整理给AI读取,目标通常是保留连续正文、来源和页面范围,而不是只从一页提取几个字段。Jina Reader与WaterCrawl分别适合从URL转换内容,以及按站点范围组织多页采集。
已经知道要读哪些页面
Jina Reader把URL转换为适合模型输入的内容,提供返回格式、正文选择、排除元素和等待动态内容等控制。若应用已经有一组文档链接,Reader可以承担“把网页读成材料”的一层。Reader API列出了这些参数,也能以JSON保留URL、标题、内容和可用的时间信息。
它适合按需读取来源,不需要先把整个网站搬进来。比如用户问某项API参数,可以先检索到对应文档,再转换具体页面。采集范围由应用已有URL决定;单页转换本身不会替团队判断整个站点是否收全。
需要把一片网站纳入资料范围
WaterCrawl提供深度、域名和路径范围控制,支持网站结构发现、JavaScript渲染、选择器处理,并可导出JSON与Markdown。需要整理一套帮助中心或开发文档时,它更接近一项可观察的采集工作。官方功能说明将范围、动态内容和结果导出分开列出。
它适合“哪些页属于这份资料”尚未完全确定的任务。可以先限定文档路径与深度,检查发现URL,再处理正文。登录页、重复参数页和旧版本目录若都混入结果,资料量增加,却不一定提高答案可用性。
建一份网站资料清单
对于自拟的产品文档整理任务,可以保存以下记录:原始URL、最终URL、标题、正文、采集时间、版本目录和内容哈希。正文可以被重新分段,来源与版本却应继续跟着每个片段。这样后续答案才能返回原页,也能区分网站更新与内容重复。
如果只有少数已知来源,Jina Reader的按URL转换更直接;需要发现和控制多页范围,研究WaterCrawl。两者也可分工使用,但不必为了建立一个小型资料集引入全部流程。
整理后的内容仍是来源材料。是否加入知识库、怎样切分、何时更新,由应用的后续流程决定。本轮未沿用旧UseScraper推荐,因为其入口已迁移到Toyo;当前网站用途与旧爬虫介绍不同。
工具推荐与取舍
相关工具
Jina AI
按URL转换正文
Jina Reader将URL转换为模型可读内容,允许选择返回格式、正文元素与动态等待条件。适合应用已经知道来源链接时,按需把网页读成可继续处理的材料。
- 适合谁用
- 已掌握一组URL,希望直接获得正文与来源元数据的开发者。
- 选择前要知道
- 单页转换不等于整站完整覆盖;原页可访问性、动态内容和格式仍会影响结果。
查看交付与边界
- 格式、选择器与来源
WaterCrawl
范围化多页采集
WaterCrawl围绕多页采集提供深度、域名与路径控制,结合网站结构、动态渲染和JSON/Markdown导出。适合先确定资料范围,再持续观察采集结果。
- 适合谁用
- 要整理一片帮助中心或开发文档,需控制页面覆盖的团队。
- 选择前要知道
- 范围与版本目录需要自己定义;发现页面多不代表资料完整或无重复。
查看交付与边界
- 深度、路径及导出
推荐依据
依据各产品官方文档与公开功能说明,按本篇任务的接入方式、交付产物和使用边界筛选。选择建议为编辑分析;示例另行标注,不构成性能实测或全面排名。
官方资料研究与编辑选用分析;未经运行的示例不标为实测。封面为编辑示意图。
参考资料
功能、套餐与使用条件,以对应产品的最新资料为准。
内容更新于 2026-11-11



