15 · 怎么读一篇论文

核心问题：面对一篇 20 页的论文，怎么在 2 小时内抓住重点？怎么判断一个方法的真实贡献？

一、先纠正一个心态

读论文不是「读完」。 没有人会读完每一篇论文。

真实情况是：

一个研究方向的核心论文（5-10 篇）：精读，动手复现
相关工作（几十篇）：扫读，只看摘要+图+结论
大量论文：只看标题/摘要，或者等别人的综述总结

你要练的不是「读完论文」的能力，是「在 20 分钟内判断这篇论文值不值得精读」的能力。

二、三遍法（Three-Pass Approach）

这个方法来自 Karpathy（CS231n 课程），是最高效的论文阅读框架。

第一遍：5-10 分钟，判断要不要继续读

目标：搞清这篇论文「声称」做了什么。

只读：

标题 + 摘要（Abstract）
** introduction**（通常 1-2 页）
看所有图表（Figure 1~3，Table 1）
结论（Conclusion）

这一遍要能回答：

解决什么问题？
声称的方法是什么？（一句话）
声称的效果如何？
有没有代码/数据链接？

决策点：如果这三遍之后你觉得「这和我在做的事没关系」，就停下。论文不是书，不需要读完。

⚠️ 关键纪律：第一遍不许读方法和实验的细节。 直接翻到实验部分是最大的时间浪费。

第二遍：30-60 分钟，搞懂「怎么做的」

这一遍才开始读正文。

重点读：

方法章节的核心公式和图
实验设置的表格（尤其消融实验）
论文里提到的所有 baseline

要能回答：

方法的核心思想是什么？
它和最相关的已有工作有什么本质区别？
关键的设计选择是什么？为什么这样选而不是那样？
消融实验说明了哪些部分是必要的？

⚠️ 重点：带着问题读。每次读之前先问自己「我想搞懂什么」，然后在论文里找答案。

第三遍：2-4 小时，验证「真的有用吗」

这一遍才是真正的检验。

要做的事：

重现论文的实验（至少跑通一个 baseline）
找出论文没说的限制
想清楚这个方法在什么情况下会失效
判断能不能用在你的问题上

要能回答：

报告的结果可信吗？（数据划分公平吗？超参是对比方法调好的吗？）
消融实验支持作者的结论吗？
这个方法的代价是什么？（参数量、显存、训练时间——论文往往不说）
我能用它做什么？

三、论文的结构解剖（Know where to look）

一篇标准 ML 论文的骨架：

Title / Authors / Affiliations      ← 作者和机构（看是谁做的很关键）
Abstract                ← ★ 第一遍必读
1. Introduction                      ← ★ 第一遍必读：问题、动机、贡献列表
2. Related Work                     ← 扫读：看有没有我要的 baseline
3. Method / Approach       ← ★ 第二遍精读
   3.1 整体框架（通常有 Figure 1）
   3.2 各模块细节
4. Experiments                ← ★ 第二遍：看设置和消融
   4.1 Datasets
   4.2 Baselines
   4.3 Main results (Table 1)
   4.4 Ablation study (Table 2~4)★ 最重要，但很多论文的消融是错的
5. Related Work / Discussion
6. Conclusion / Limitations           ← ★ 第一遍看 limitations
References                            ← 第二遍：找你要读的引用
Appendix                              ← 需要时再读（超参、实现细节）

Table 1 和 Table 2 的区别极其重要：

	内容	作用
Table 1	主结果：你的方法 vs 所有 baseline	证明「有效」
Table 2	消融：去掉某个模块后掉多少	证明「每个模块都有用」

很多论文的 Table 1 很漂亮，但 Table 2 暴露了问题。 详见第四节。

四、批判性阅读：识别可疑论文

这是本篇最有价值的部分。 论文是被 peer review 过的，但 peer review 抓不住所有问题。学会主动质疑，是从「读者」变成「研究者」的分水岭。

4.1 五个必查项

① 数据划分是否公平

重点看：对比方法的超参是否单独调优过。

典型问题：作者把自己的方法调到了最优，而 baseline 用了论文里的默认值（或者作者自己的默认值）。
检测方法：看实验表格的脚注。如果没写「所有方法都在验证集上调优」，就有嫌疑。

举例：新方法 A 报告 85%，baseline B 报告 83%。但 B 的超参是 3 年前别人用 ImageNet 调好的，A 的是作者在 ImageNet 上调了几百轮。这个 2% 可能毫无意义。

② 消融实验是否支持结论

看 Table 2 有没有覆盖论文声称的每个「创新点」。

如果论文声称有 3 个贡献，消融实验应该有三行。如果只有两行，或者其中一个模块消融后性能反而更好，说明那个模块没用。

这是一个非常实用的检查方法，因为消融实验是作者自己做的，很难造假（造假成本高）。而主结果可以做很多手脚。

③ 数据增强/预训练是否一致

典型问题：对比方法没有用预训练权重，新方法用了。
检测方法：看有没有「from scratch」的说明。如果一个用了 ImageNet 预训练、另一个从零训练，对比毫无意义。

④ 参数量和计算量是否被隐藏

很多论文只报告精度，不报告参数量和 FLOPs。

如果新方法精度高 1% 但参数量多 5 倍，那「更好」是没有意义的——除非它确实在某个场景有独特优势（比如推理延迟）。

必查：

参数量
推理延迟（不只是 FLOPs）
训练成本

⑤ 是否在多个随机种子下验证

一次实验的结果可能是运气。
检测方法：看有没有报 ±std。没有的话，结果的可靠性要打折扣。

4.2 「绝对不要信」的信号

信号	为什么危险
只和一个弱 baseline 比	说明强 baseline 打不过
只在自己的数据集上测	说明泛化性存疑
只报最好的一次 run	cherry-picking
「我们达到了 SOTA」但只在一个数据集	泛化性存疑
消融实验里某模块去掉性能更好	那个模块是负担
方法描述模糊，无法复现	可能只是调参技巧

4.3 「可疑但不是造假」的情况

这些是常见问题，不一定是故意的，但你要知道：

问题 1：对比超参不公平

这是论文领域最普遍的问题。不是造假，但结论不可靠。

应对：自己复现时，给每个方法都认真调参，不要用作者报告的数字。

问题 2：消融实验不完整

作者只消融了「显眼」的模块，没消融那些微妙的实现细节（学习率、初始化、数据增强）。

应对：把消融实验当作「论文声称的证据」，不是「完整的证明」。

问题 3：只在特定超参下有效

新方法可能只是「换了一种隐式正则化」，在作者的超参下表现好，换个超参就不如 baseline。

应对：至少试 2-3 组超参，看效果是否稳定。

问题 4：数据泄漏

预处理时用了全量数据算统计量（标准化、词表构建、去重），导致测试集信息泄漏到训练。

应对：检查数据处理 pipeline（第 2 篇讨论过的泄漏类型）。

五、按需的资料检索

5.1 怎么找论文

渠道	特点
Google Scholar	引用数、被引用列表（找后续工作）
arXiv	最新，但未经 peer review
Semantic Scholar	AI 辅助摘要，读不懂时有用
Papers with Code	论文 + 代码 + benchmark 榜单
HuggingFace papers	有讨论和复现情况
领域会议	NeurIPS/ICML/ICLR/CVPR 的 proceedings

搜索引擎语法（很好用）：

site:arxiv.org "flash attention"        限定 arXiv
"chain of thought" filetype:pdf          找 PDF
"github.com" "attention mechanism" 复现  找复现

5.2 怎么判断一篇论文值不值得读

快速筛选清单：

[ ] 标题/摘要和我的问题相关吗？
[ ] 作者是谁？（如果是这个领域的活跃研究者，参考价值更高）
[ ] 引用数 /发表venue 够吗？（引用少可能太新或质量存疑）
[ ] 有代码吗？有复现吗？（有代码的论文优先）
[ ] 有人讨论吗？（HuggingFace / Reddit 上的讨论常常很有价值）
[ ] 后续有没有更好的工作？（如果两年内有更优的替代方案，这篇可以跳过）

一个实用技巧：先看「被引用列表」。如果这篇论文的引用里有很多是「批评它/改进它」的工作，那它至少是重要的；如果你想了解这个方向，读那篇批评它的论文往往收获更大。

5.3 论文的「替代品」

现在有一个重要趋势：很多论文有高质量的博客解释。

来源	特点
原论文的 arXiv HTML 版	有时排版更好
作者博客 / lab 博客	作者自己写的解读
Distill	交互式可视化，顶级解释资源
HuggingFace 博客	工程视角，最实用
JAX / PyTorch 官方文档的模型解析	讲清楚怎么实现

一个省时间的策略：先找一篇高质量的解读，读完再决定要不要读原论文。Distill 上的 Transformer 交互式解释就是经典例子——读完它，Attention 的直觉就建立了。

六、建立知识体系

6.1 论文的连接方式

论文不是孤立的，是一张引用网络。

读一篇论文时，一定看它的「Related Work」——那是一份精选的同方向论文列表。顺着这个网络扩展，比漫无目的地搜索高效得多。

Transformer (2017)
    ├── Attention Is All You Need
    ├── Self-Attention GAN (SAGAN)
    ├── BERT
    │    ├── RoBERTa
    │    ├── ALiBi
    │    └── ELECTRA
    ├── GPT 系列
    │    ├── LLaMA
    │    │    ├── LLaMA2
    │    │    └── LLaMA3
    │    └── Mistral
    └── FlashAttention
         ├── FlashAttention-2
         └── FlashAttention-3

维护一个「我读过的论文笔记」，记录：

解决什么问题
核心方法（一句话）
最关键的一张图
局限是什么
和什么其他工作相关

这是长期复利资产。 我建议用 Obsidian / Notion / 或者单纯的 markdown 文件。

6.2 按主题整理而不是按时间

组织方式	问题
按时间	「2023 年的 LLM 论文」这个分类没意义
按主题	✅ 「高效注意力」「长上下文」「参数高效微调」

推荐的主题划分（LLM 方向）：

基础架构：Transformer, Pre-LN, RMSNorm, SwiGLU, RoPE, GQA
位置编码：绝对位置, ALiBi, RoPE, NTK-scaling, YaRN
长上下文：FlashAttention, 稀疏注意力, 线性注意力, SSM, 外推
高效微调：LoRA, QLoRA, Adapter, Prefix-tuning, 提示工程
对齐：RLHF, PPO, DPO, constitutional AI
推理优化：KV cache, GQA, 量化, continuous batching, speculative decoding

七、动手实践

练习 1：用三遍法读一篇论文

选一篇：ViT（An Image is Worth 16x16 Words），arXiv:2010.11929。

计时：

遍	时间	只看	产出
第一遍	8 分钟	标题、摘要、引言、所有图、结论	一句话总结 + 要不要继续
第二遍	45 分钟	方法全文、实验表格	方法核心 + 消融结论
第三遍	90 分钟	跑代码（如果能）、找限制	我的判断：能用在哪

记录（这是练习的核心产出）：

markdown

## ViT (2020)
- 问题: 卷积网络有很强的归纳偏置，但卷积不适合大规模数据
- 方法: 把图像切成 patch，展平成序列，用标准 Transformer
- 关键发现: 需要更大的模型 + 大量数据才能超过 CNN
- 消融: patch size 越小越好；位置编码可有可无（但用了更好）
- 局限: 小数据集上不如 CNN；自注意力 O(L²)
- 我的判断: 证明了「Transformer 可以做视觉」，直接催生了后续的 CLIP/GPT-V
- 可迁移的点: 「归纳偏置 vs 数据规模」的权衡适用于所有领域

这个练习的价值不在于读懂 ViT，在于建立流程。

练习 2：批判性检查

用第四节那五个必查项检查 ViT 的实验部分：

[ ] 数据划分公平？ ViT 和 BiT、JFT-300M 对比，都是 ImageNet-21k 预训练。算公平
[ ] 消融完整？ 有 Table 3（patch size）、Table 4（位置编码）、Table 5（模型大小）。基本完整
[ ] 预训练一致？ 都标注了预训练数据集
[ ] 参数量报告？ ✅ Table 1 和 Table 2 都有报参数量
[ ] 多随机种子？ ❌ 没报 std ← 这是它的弱点

这个检查让你能独立判断一篇论文的可信度。

八、自测题

Q1：一篇论文报告新方法比 baseline 高 1%，你该怎么做才能确认这个改进是真的？

答案

五步验证：

算置信区间：测试集多大？1000 个样本时 1% 差异可能只是 10 个样本的差别
$\text{SE} = \sqrt{\frac{p(1-p)}{n}}$
$n=1000, p=0.85$ 时 $\text{SE} \approx 1.1\%$ —— 1% 的差异完全在噪声范围内
跑多seed：至少 3 个随机种子，报均值 ± std。如果 std 有 2%，那 1% 的差异毫无意义
配对检验：两个模型在同一批测试样本上评估，用 McNemar 检验（分类任务）而不是独立样本 t 检验
给 baseline 也认真调参：如果 baseline 用的是论文里的默认超参而新方法调了很久，这个对比无效
看是否在其他任务/数据集上还有效：如果只在特定设置下有效，说明是脆弱的改进

如果做完全部五步还站得住，才能说这个改进是真实的。

实践中的简化：至少做第 2 和第 4 步。因为这两步成本最低而收益最高。

Q2：一篇论文的消融实验显示「去掉模块 C 后性能提升了 0.5%」，作者在正文里说「模块 C 有效」。这个说法有问题吗？

答案

有明显问题。作者的说法和自己的数据矛盾。

去掉一个模块性能反而更好，说明这个模块是有害的——至少在当前设置下。作者应该报告的是「去掉 C 更好」这个发现，而不是硬说 C 有效。

这种时候要警惕几种可能：

消融实验的实现有 bug（比如忘记同步改其他地方）
超参没重新调——去掉 C 后模型的最好超参变了，用原来的超参测不公平
0.5% 在噪声范围内——需要多 seed 验证
作者的叙述和实验脱节——论文写完才改数据，或者根本是笔误

正确做法：自己跑一遍「去掉 C」的实验，用相同的数据划分和调优方式。如果确实更好，那论文的这部分结论是错的。

这个例子说明了一件事：消融实验是论文里最可信的部分（因为做起来麻烦、不容易造假），所以它和正文叙述冲突时，相信消融实验。

Q3：怎么判断一个 arXiv 预印本的质量？等 peer review 是不是必须？

答案

不必等。 顶会（NeurIPS/ICML/ICLR）的论文从 arXiv 到会议决议通常有 6-12 个月，领域发展很快，等不起。

判断预印本质量的实用方法：

信号（好的）：

作者背景：这个领域的活跃研究者，之前有靠谱的工作
有开源代码，且代码质量好（有 README、有复现说明、有 issue 讨论）
有社区讨论：HuggingFace / Reddit / Twitter 上有人在讨论甚至复现
后续被引用/被类似工作采用：如果 2024 年的论文引用了它，说明影响开始了
消融实验完整，局限讨论诚实

信号（差的）：

只有 arXiv，投稿了但被拒
没有代码
消融实验缺失或明显敷衍
只在一个数据集上验证
声称 SOTA 但没人跟进

最实用的判断标准：

看有没有人复现它。 一个方法如果 6 个月后还没有第三方复现，要么是太新，要么是有问题。

行动建议：

arXiv 论文：先读摘要和图，决定是否精读
有代码的：跑一下，比读论文更快理解
准备在自己工作里用的：务必先复现，不要直接信论文数字

关于 peer review：它保证的是「没有明显错误」，不是「方法一定好」。很多被拒的论文想法是对的，很多通过评审的论文也有致命问题。

下一篇 → 怎么设计实验

Part 1 · 机器学习基础

Part 2 · 深度学习原理

Part 3 · Transformer 与 LLM

Part 4 · 研究方法论

Part 5 · 附录

15 · 怎么读一篇论文

一、先纠正一个心态

二、三遍法（Three-Pass Approach）

第一遍：5-10 分钟，判断要不要继续读

第二遍：30-60 分钟，搞懂「怎么做的」

第三遍：2-4 小时，验证「真的有用吗」

三、论文的结构解剖（Know where to look）

四、批判性阅读：识别可疑论文

4.1 五个必查项

① 数据划分是否公平

② 消融实验是否支持结论

③ 数据增强/预训练是否一致

④ 参数量和计算量是否被隐藏

⑤ 是否在多个随机种子下验证

4.2 「绝对不要信」的信号

4.3 「可疑但不是造假」的情况

五、按需的资料检索

5.1 怎么找论文

5.2 怎么判断一篇论文值不值得读

5.3 论文的「替代品」

六、建立知识体系

6.1 论文的连接方式

6.2 按主题整理而不是按时间

七、动手实践

练习 1：用三遍法读一篇论文

练习 2：批判性检查

八、自测题

15 · 怎么读一篇论文 ​

一、先纠正一个心态 ​

二、三遍法（Three-Pass Approach） ​

第一遍：5-10 分钟，判断要不要继续读 ​

第二遍：30-60 分钟，搞懂「怎么做的」 ​

第三遍：2-4 小时，验证「真的有用吗」 ​

三、论文的结构解剖（Know where to look） ​

四、批判性阅读：识别可疑论文 ​

4.1 五个必查项 ​

① 数据划分是否公平 ​

② 消融实验是否支持结论 ​

③ 数据增强/预训练是否一致 ​

④ 参数量和计算量是否被隐藏 ​

⑤ 是否在多个随机种子下验证 ​

4.2 「绝对不要信」的信号 ​

4.3 「可疑但不是造假」的情况 ​

五、按需的资料检索 ​

5.1 怎么找论文 ​

5.2 怎么判断一篇论文值不值得读 ​

5.3 论文的「替代品」 ​

六、建立知识体系 ​

6.1 论文的连接方式 ​

6.2 按主题整理而不是按时间 ​

七、动手实践 ​

练习 1：用三遍法读一篇论文 ​

练习 2：批判性检查 ​

八、自测题 ​

15 · 怎么读一篇论文

一、先纠正一个心态

二、三遍法（Three-Pass Approach）

第一遍：5-10 分钟，判断要不要继续读

第二遍：30-60 分钟，搞懂「怎么做的」

第三遍：2-4 小时，验证「真的有用吗」

三、论文的结构解剖（Know where to look）

四、批判性阅读：识别可疑论文

4.1 五个必查项

① 数据划分是否公平

② 消融实验是否支持结论

③ 数据增强/预训练是否一致

④ 参数量和计算量是否被隐藏

⑤ 是否在多个随机种子下验证

4.2 「绝对不要信」的信号

4.3 「可疑但不是造假」的情况

五、按需的资料检索

5.1 怎么找论文

5.2 怎么判断一篇论文值不值得读

5.3 论文的「替代品」

六、建立知识体系

6.1 论文的连接方式

6.2 按主题整理而不是按时间

七、动手实践

练习 1：用三遍法读一篇论文

练习 2：批判性检查

八、自测题