经典 36 篇 · AI 主线综述
来源：张小珺 × 谢青池访谈（谢读 200+ 篇 AI 论文，挑出 36 篇经典）。
谢的读法四个问题：①当时遇到什么问题 ②旧方法为何不够 ③新工作解决了什么 ④为哪些后续铺路。
本文按 4 条主线把因果链串起来，重在链条与洞察，不逐行推公式。建议对照原文摘要/Intro/核心图/Conclusion 阅读。
〇 · 总览：四条主线一张图
模型范式(算力→深度→Attention→Transformer→MoE→推理/Agent)
│ 提供"结构"
├──→ 语言模型线(词向量→预训练→上下文学习→指令助手)
│ ↑
Infra与数据(万卡并行 + 规模定律) ── 提供"燃料与规模"
│
└──→ 多模态线(视频→GAN/扩散→ViT→CLIP→DiT)
贯穿全局的一条暗线 =《The Bitter Lesson》：把通用算力+数据当杠杆，少发特定先验。 几乎所有"翻篇"时刻，都是"旧方法把先验当资产、新方法把先验当负债"的切换。
一 · 模型范式的变迁（13 篇）
问题链：神经网络为何变深 → Attention 为何出现 → Transformer/MoE/推理/Agent 从哪来。
| 阶段 | 论文 | 因果链 |
|---|---|---|
| 算力铺垫 | Brook for GPUs (2004) | 通用 GPU 编程范式（数据并行流）+ C 类语言 → 让"显卡算大规模数值"成为可能。旧：专用硬件/CPU。松绑了后面一切的算力前提。 |
| 深度第一次赢 | AlexNet (2012) | ImageNet 上深度 CNN 大胜。旧：浅层+手工特征。新：深度+大数据+并行 GPU首次系统性兑现。铺路：ResNet/CNN 时代。 |
| 序列建模奠基 | Seq2Seq (2014) | 编码-解码 + RNN 端到端，把"任意长源→任意长目标"变成可学习。旧：phrase-based 统计机器翻译的碎片化。铺路：所有 encoder-decoder。 |
| 注意力诞生 | Neural MT w/ Align and Translate (2014) | 提出 attention：解码时动态对齐源端。旧：Seq2Seq 把全句压成一个定长向量（信息瓶颈）。新：让"对齐"变成网络内部可学习部件。这是"注意力作为机制"的原点。 |
| 知识转移 | Distilling Knowledge (2015) | 大模型→小模型（soft 标签）。铺路：蒸馏一直是压缩/迁移的恒用手段（后续所有 KD）。 |
| 可训练深度 | ResNet (2015) | 残差连接解决深网退化。旧：层越深越难训。新：identity 捷径让梯度直通。现代所有深层网络（含 Transformer）的地基。 |
| 稀疏化 | Sparsely-Gated MoE (2017) | 每 token 路由到部分 expert，不增加推理成本地扩参。铺路：今天所有 MoE LLM（GPT-4/Gemini 系）。 |
| 架构翻篇 | Attention Is All You Need (2017) | Transformer：纯注意力、并行、可扩展。旧：RNN 顺序串行、无法并行。新：全局上下文 + 训练可并行 + 随数据/算力缩放。现代 AI 的主干。 |
| 无监督自博弈 | AlphaGo Zero (2017) | 无人类数据、纯自对弈 + MCTS + 深度网络从零学。旧：AlphaGo 依赖人类棋谱。新："自生成数据 + 搜索"可超越人类监督。铺路：Self-play/RL 无监督范式。 |
| 第一性决策 | The Bitter Lesson (2019, 文章) | 长时间尺度上，通用方法(搜索+学习+算力+数据)恒胜专门先验。这是本篇元纲领。 |
| 高效微调 | LoRA (2021) | 冻结权重 + 低秩增量，极小代价适配大模型。旧：全参微调贵/不可行。铺路：全世界的 LoRA 生态、PEFT。 |
| 推理能力 | Chain-of-Thought (2022) | 让模型"逐步想"再作答 → 涌现推理/可解释。旧：直接给答案爆短板。铺路：o1 类推理模型、thinking。 |
| 工具化智能体 | ReAct (2022) | 推理(Thought)+行动(Action) 交错，调用工具/环境获得反馈。旧：纯推理无行动 or 纯执行无推理。铺路：现代 Agent / Tool-use / MCP 系。 |
洞察：这条线是"先验→结构→算力→数据→交互"的逐层让步史。每一步都是把"人写的规则"换成"可学习的通用部件"。MoE 与 推理/Agent 是当前仍未走完的最前沿：前者解决"更大"，后者解决"会用/会想"。
二 · Infra 与数据（6 篇）
问题链：模型如何从单机 → 万卡？模型/数据/算力如何匹配？
| 论文 | 因果链 |
|---|---|
| ZeRO (2019) | 模型并行/数据并行不解内存墙 → 参数/梯度/优化器状态分片，显存近乎线性省。旧：每卡要放全参。铺路：训练超大规模模型的存储前提。 |
| Scaling Laws (2020, Kaplan) | 模型性能与 N(参数量)、D(数据)、C(算力) 呈幂律 → 不是玄学，是可预测的资源函数。铺路：给"堆算力"一个理论依据。 |
| Chinchilla / Compute-Optimal (2022) | 反直觉结论：此前模型偏大、数据偏少；最优是"模型与数据同步放大"（约 20 tokens/参）。旧：Scaling Laws 主张只堆参数量。铺路：今天"数据重于参数量"的共识。 |
| LAION-5B (2022) | 50 亿图文对开放集。旧：独有/小数据集。铺路：CLIP/Stable Diffusion 等 Open 训练的燃料。 |
| RefinedWeb / Falcon (2023) | 证明只用高质量爬取网页也能训出强模型（无需私有数据）。铺路：开放 web 数据路线的可信度。 |
| MegaScale (2024) | 万卡训练的现实工程：故障、通信、调度、可观测性。旧：几千卡已是极限。铺路：真正万卡集群运营。 |
洞察：这条线证明 "AI 的瓶颈=工程化地把算力和数据变成可预测资源"。Chinchilla 是这条线最反直觉的一篇：它把"参数崇拜"掰回"数据对齐"。
三 · 语言模型的发展（8 篇）
问题链：词→向量 → 预训练为何有效 → 任务微调→上下文学习→指令助手。
| 论文 | 因果链 |
|---|---|
| Word2Vec (2013) | 词→稠密向量，语义/类比靠向量算术。旧：one-hot / 统计稀疏。铺路：一切"先表示后学习"。 |
| GNMT (2016) | 生产级 NMT：attention + 深度 + 工程化。旧：Seq2Seq 实验室demo。铺路：注意力进工业。 |
| GPT-1 (2018) | 生成式预训练 + 微调：先语言建模学通用表示，再下游适配。旧：每任务从头训。铺路：预训练范式正式化。 |
| BERT (2018) | 双向 + Masked LM 预训练 → 理解型任务 SOTA。与 GPT-1 并列把"预训练"扶正。铺路：判别式/理解系。 |
| GPT-2 (2019) | 无监督多任务：纯语言建模=通用学习者，无需显式下游监督。铺路：把"预训练即能力"做大。 |
| GPT-3 (2020) | 规模→涌现 + In-context Learning：few-shot 提示即可，不微调。旧：要微调才可用。铺路：Prompt 时代、涌现研究。 |
| InstructGPT (2022) | RLHF / 人类反馈对齐：把"会"变成"听话"。旧：能力≠遵从指令。铺路：ChatGPT、RLHF 工业化。 |
| Tulu 3 (2024) | 开放复现"对齐全程"（SFT+DPO+RLVR 等），质疑私有配方。铺路：可复现对齐。 |
一句话因果：Word2Vec(表示) → GPT/BERT(预训练) → GPT-2(无监督通用) → GPT-3(规模+上下文学习) → InstructGPT(对齐) → Tulu(可复现对齐)。"能力"与"对齐"是两根独立且都必须的支柱——这条线终点把两者明确分开了。
四 · 多模态模型的发展（9 篇）
问题链：深度学习如何进视频/图像生成？Transformer 如何扩展到视觉与扩散？
| 论文 | 因果链 |
|---|---|
| Large-Scale Video ConvNets (2014) | CNN 上视频、探索时空卷积。旧：静态图像 CNN。铺路：视频理解。 |
| Two-Stream ConvNets (2014) | 空间流(帧)+时序流(光流) 双路动作识别。铺路：双流结构。 |
| GAN (2014) | 生成器+判别器对抗 → 可学习的数据分布生成。旧：显式密度/自回归难采样。铺路：整个生成对抗族。 |
| Deep Unsupervised via Nonequilibrium Thermo (2015) | 扩散理论雏形：逐步加噪/去噪生成。铺路：DDPM。 |
| DDPM (2020) | 扩散模型可用化：加噪前向 + 学习去噪反向。旧：GAN 训练不稳/模式坍缩。新：稳定、高质量、易训练。铺路：Stable Diffusion、Sora 等一切扩散。 |
| ViT (2020) | 图像分 patch → 纯 Transformer，去掉 CNN 归纳偏置。旧：CNN 主导视觉。新：统一视觉/文本架构。铺路：多模态主干。 |
| CLIP (2021) | 图文对比学习 + 大规模配对 → 对齐视觉与语言语义。铺路：文本条件生成、检索、开放集视觉。 |
| Latent Diffusion / Stable Diffusion 底座 (2021) | 在潜空间做扩散（而非像素）。旧：像素扩散太贵。新：可控、高效、可文本条件。铺路：AIGC 爆发。 |
| DiT (2022) | 扩散 = Transformer 主干（而非 UNet）。旧：扩散用 CNN。新：语义统一 + 可规模。铺路：Sora 等视频生成。 |
洞察：多模态线本质 = 两条收敛：①生成从 GAN→扩散（稳与质量），②视觉从 CNN→ViT→与文本共用 Transformer。终点（DiT + CLIP + Latent）把"图文视频"统一到同一套可扩展架构——这就是当下多模态大模型的配方。
五 · 两项补充阅读
| 论文 | 作用 |
|---|---|
| The Hardware Lottery (2020) | 研究是否"原地不动"取决于硬件/生态是否恰好支持该算法；与 Bitter Lesson 互为镜像（强调生态偶然性）。 |
| PPO (2017) | 稳定、易用的策略梯度 RL 算法（clip 目标）。RLHF/InstructGPT 的算法底座、当下 RL 最高频默认。 |
六 · 横切洞察（这篇笔记的真价值）
- 唯一弦 = Bitter Lesson：AI 每一个"翻篇"都是把手工先验换成可学习的通用机制 + 算力/数据。AlexNet→ResNet→Transformer→扩散→MoE→推理/Agent，全都是这条弦。
- Chinchilla 是"数据觉醒"：把「堆参数量」掰正为「数据×算力对齐」，直接预言今天的"数据工程"战略地位。
- 架构收敛于 Transformer + 扩散：语言(Transf) 与 视觉生成(扩散) 正在被 DiT/视频多模态二次统一。
- 能力 ≠ 对齐 ≠ 会思考：GPT-3(能力)→InstructGPT(对齐)→CoT/ReAct/o1(思考/工具)——三者是叠加的三层，不是一步。
- 对当下(2026)的勾连：MoE=扩参降本；CoT/o1=推理时间算力；ReAct/MCP=Agent 化；LoRA=低成本适配；Scaling~Chinchilla=数据与算力预算。五股力量共同构成今天 LLM/Agent 的形态。
- 与"数据×训练"研究纲领的共鸣（本 vault 主线）：Scaling Laws/Chinchilla/RefinedWeb/LAION 全是"数据数量与质量如何决定有效训练"的早期证据——这正是我们 EGO/企业数据研究的祖先。
七 · 快速查询：36 篇索引
模型范式(13)：Brook GPU · AlexNet · Seq2Seq · Attention(NMT) · Distill · ResNet · MoE · Transformer · AlphaGoZero · BitterLesson · LoRA · CoT · ReAct
Infra与数据(6)：ZeRO · ScalingLaws · Chinchilla · LAION-5B · RefinedWeb · MegaScale
语言模型(8)：Word2Vec · GNMT · GPT-1 · BERT · GPT-2 · GPT-3 · InstructGPT · Tulu3
多模态(9)：VideoCNN · TwoStream · GAN · NoneqThermo · DDPM · ViT · CLIP · LatentDiff · DiT
补充(2)：HardwareLottery · PPO