想在本地试 DeepSeek 推理，先看清这个 7B 蒸馏模型

搜索“本地运行 DeepSeek”，很容易看到一串带着 R1 的模型名。7B、14B、32B 看上去只是大小不同，但里面有一个更重要的区别：有些是完整 R1，有些是蒸馏模型。没分清这一点，后面的效果预期就会偏。

DeepSeek-R1-Distill-Qwen-7B 是官方提供的一项具体权重。它适合想在自有环境研究推理模型、又不准备直接运行完整 R1 的人。值得认识的不是“更小也完全一样”，而是它用另一条训练路径，把部分推理行为带到较小模型上。

蒸馏和量化，不是同一种缩小

按照官方仓库，这份 7B 权重以 Qwen2.5-Math-7B 为底座，用 R1 生成的样本微调。模型学的是这些样本中的回答与推理方式，底层并不是一份删小了的完整 R1。

量化则是另一件事：在既有模型上改变权重等数据的表示方式，用更低精度适配运行条件。因此，你还可能遇到某个“7B 蒸馏模型的量化版”。名称里同时有蒸馏和量化，不代表它们可以互换解释。

这个差别影响选择。想研究小模型如何处理多步问题，应找到确切的蒸馏权重；想让既定模型适配机器，需要另外看量化格式与推理工具。不能只按文件大小判断自己拿到的是哪种能力。

官方资料把完整 R1 与蒸馏模型分开列出评测，并列出数学、代码等不同任务。读这类表最容易犯的错误，是记住完整模型的结果，再把它贴到本地下载的 7B 身上。

例如，官方在 AIME 2024 数学竞赛题上报告，7B 蒸馏版的 pass@1 为 55.5，完整 R1 在同页主表为 79.8。它们是发布方在这套题及其评测设置下的结果，不是中文办公任务的准确率。两个数字至少说明：不能看着完整 R1 的成绩，去预期本机这份 7B 有相同表现。

轮到自己的任务，也应该让这份具体权重回答能核对的问题，例如带测试的代码或有标准答案的逻辑题。观察它有没有漏条件，比只看思考写得长不长更能判断能否采用。本文没有完成这组本地对测。

生成出长段思考，也不能替代这个检查。模型仍可能推理错误、反复输出或在最后给出不一致结论；如果任务只需要短答案，长输出还会增加等待与资源占用。

模型卡提供对应运行方式，并提醒使用其配置和分词器。不要把完整 R1 的部署要求、别的底座示例以及第三方量化参数混成一份教程。先确认运行器识别的具体模型 ID，再观察它能否稳定完成小任务。

许可也需要按确切权重看：官方将代码与权重按 MIT 提供，同时列出了 Qwen 衍生模型的原始 Apache 2.0 底座关系；不同 Llama 衍生项还有各自底座条件。不能把整个列表一概套用成同一句话。

本文没有下载大体积权重或执行推理。对准备入门的人，最有用的起点是先把模型身份认清：7B 蒸馏版是一条更小规模的实验路线，能让你观察推理模型的行为；它不是把云端完整 R1 的所有表现原样搬进一台个人电脑。