Skip to content

经典 36 篇 · 主线展开：Infra 与数据（「数据觉醒」线）

承接《经典36篇·AI主线综述》主线二。
这条线回答两个问题：模型怎么从单机扩到万卡？模型/数据/算力怎么匹配？
更深一层：这是"数据觉醒"线——AI 从"算力/参数崇拜"转向"数据与算力、数据质量决定有效训练"的转折点，正是本 vault「数据×训练」研究纲领的祖先。

0. 因果总链

ZeRO(显存分片,单机能存) → Scaling Laws(性能=幂律,可预测)
 → Chinchilla(反直觉:数据才是短板,数据×参数对齐)
 → LAION-5B(开放数据能凑够规模) → RefinedWeb(爬的网页也够强)
 → MegaScale(工程化把以上压到 10000+ GPU)

一句话：先解决"存得下、跑得动"，再证明"堆量有规律可预测"，再把"数据"从配角扶正为主角，最后做成可运营的万卡工程。

1. ZeRO（2019）—— 把"存"与"跑"解耦

当时的问题：模型并行（tensor parallel）与数据并行（DP）都不够：DP 要求每卡放全量参数+梯度，模型一大就 OOM；模型并行有通信墙、不灵活。

旧方法为什么不够： - 数据并行：每卡复制全参 → 内存随模型线性爆。 - 模型并行/流水线：能跑更大，但通信开销 + 负载不均，扩展性差。

新工作做了什么：DeepSpeed ZeRO把数据并行下"冗余的"状态分片（参数 / 梯度 / 优化器状态三态各自切分到所有卡），每卡只持有自己的分片，通信只在需要时（forward/backward gather）。配合 CPU offload。

铺了什么路：训练超大规模模型（千亿/万亿级）的内存前提；今天所有大厂大规模训练的内存方案基本都是 ZeRO 这套思路（或其变体 FSDP）。

洞察：它把"模型太大放不下"从"硬件问题"变成"软件调度问题"——内存不再是不可跨越的墙，而是可以怎么分片都可以。这是"工程化解算力墙"的样板。

2. Scaling Laws（2020, Kaplan）—— 堆量有规律可预测

当时的问题：谁也说不清"加参数/加数据/加算力到底能带来多少提升"；训练大模型像玄学，凭手感。

新工作做了什么：在 8 个量级上做了大量跨规模实验，拟合出性能（loss）与三个量的幂律关系：

L ≈ a·N^(-α) + b·D^(-β) + c·C^(-γ)   （N=参数量 D=数据量 C=算力量）

核心是：测试 loss 与 N、D、C 各自呈幂律（对数-对数近似直线）；且有"超出某一点，单扩参数量收效骤减、必须扩数据/算力"的性质。

铺了什么路： - 给"堆算力堆数据"一个理论依据（可预测、可预算）。 - 直接引出后续"规模即能力"叙事（GPT-3 时代）。

洞察：Scaling Laws 的意义不是"公式"，而是"训练不是一个点而是一条可外推曲线"。它让人敢在一个预算下预判最终收益——这是"算力/数据变成可规划资源"的第一个科学化表达。

注意留下的问题：Kaplan 的结论偏"算力受限（compute-bound）"——在给定算力下最优是堆参数。这正是 Chinchilla 要纠正的。

3. Chinchilla（2022）—— 反直觉：数据才是短板（这篇最关键）

当时的问题 / 旧方法为何不够：按 Scaling Laws 的 compute-bound 直觉，大家倾向于参数越多越好，哪怕数据相对少（因为参数量是"地位"）。GPT-3 时代普遍"模型大、数据相对不足"。

新工作做了什么：做了 400+ 次更小规模的跨尺度实验，拟合出同参数量下不同数据量的 loss，得到最优 token/参数比例 ≈ 20 tokens per parameter。即：在给定算力预算下，最优策略是"模型与数据同步放大"，而不是单扩参数量。据此训练 70B 参数的 Chinchilla，用 1.4T token，在同样算力下超过当年参数量大得多的模型。

铺了什么路： - 把"参数崇拜"掰回"数据×算力对齐"。 - 直接塑造后来所有前沿模型的数据规模策略（模型参数与训练 token 按~20:1 对齐）。 - 让"数据工程"从边缘变成核心战略。

洞察（这是全线的中心）：

瓶颈不在模型能装多少，而在有没有足够好、足够多的数据来装满它。

这是"数据觉醒"的正式宣言：有效训练的尺度由数据决定，不是由参数量决定。在我们 faint 里就是："数据供给"决定了模型真正能用几个比特的能力。

给"数据×训练"纲领的钩子：Chinchilla 只回答了"数据数量该多少"（20:1）。而"数据的质量/多样性/形态（ego、仿真、力同步、配对）到底带来多少有效训练"——这正是我们 EGO/企业数据研究要补的下一层。Chinchilla 是"量"的觉醒，我们要做的是"质/性"的觉醒。

4. LAION-5B（2022）—— 开放数据能凑够规模

当时的问题：CLIP/Stable Diffusion 这类需要海量图文对，但高质量数据多被大厂私有圈住；社区没这么多开放数据。

旧方法为何不够：早期数据集（ImageNet 等）百万/千万级，远不够训多模态大模型的图文对齐。

新工作做了什么：从 Common Crawl 抓取 + 过滤，公开 58.5 亿图文对（含英文 ~2.3B 等分语言子集），并开源抓取/过滤工具链。

铺了什么路：成为 CLIP、Stable Diffusion、多种开放多模态模型的训练燃料；确立"开放 Web 也能攒出够规模的配对数据"。

洞察：LAION 证明"数据规模可以靠持续抓取 + 工程化过滤来'攒'，而不必依赖独占私有库"。规模（scale）可以开源化。 这是"数据供给"开放化的里程碑。

给纲领的钩子：对应我们"开放数据集（OXE / EgoVerse / 光轮）能否靠联盟+开放凑规模"的命题——LAION 是图文界的先例，证明只要管道工程化、质量标准清晰，开放数据能支撑规模。

5. RefinedWeb / Falcon（2023）—— 爬的网页也够强

当时的问题 / 旧方法为何不够：主流观点认为要训强 LLM 必须靠"私有/手工精挑"数据（如 C4、The Pile 之外还要更高质）。开了"高质量数据是被私库垄断"的怀疑。

新工作做了什么：只用公开爬取的网页，靠（相对简单但有效的）去重 + 质量过滤 造出 RefinedWeb，并据此训出 Falcon 系列，达到当时闭源领先水平的成绩——证明不需要私有数据也能训出强模型。

铺了什么路：为"开放 Web 数据路线"背书；让"数据质量 = 过滤流水线"而不是"数据稀缺性"。

洞察：RefinedWeb 的激进结论 = 决定数据好坏的主要不是"来源独家性"，而是"去重与过滤的质量"。质量是一种可复现的工程，而非不可获取的资产。 与 LAION 合起来：规模可开、质量可工程化——两座"数据护城河"都可能被拆掉。

6. MegaScale（2024）—— 把以上压成 10000+ GPU 的现实工程

当时的问题：论文都在讲"算法能训多大"，但现实中到万卡级别，各种故障、慢卡、通信、调度、断点恢复会让实际吞吐远低于峰值；且 scoping 越大越难 debug。

旧方法为何不够：分布式框架多停留在千卡级；万卡下任何一台慢卡/坏卡、任何一次通信抖动都会拖垮整轮训练。

新工作做了什么：一份系统性工程方法论/系统设计报告，讲怎么把 LLM 训练扩展到 10,000+ GPU：从硬件/网络拓扑、容错（故障检测+快速恢复）、通信优化、数据加载、到可观测性/诊断，讲"怎么让集群真的跑满"。

铺了什么路：为"万卡训练是工程问题"提供模板；让"前沿规模"从"实验室 demo"变成"可运营基础设施"。

洞察：Scaling Laws 说"量有规律"，Chinchilla 说"数据要够"，MegaScale 说"这些都建立在你真能把集群稳定跑满上"。理论承诺的收益，要靠工程化兑现。 这条线从"存得下（ZeRO）"到"证明有规律"再到"真能规模化运营"是闭环的。

7. 收束：这条线给本 vault 的启示（最重要）

  1. 三层因果关系：
  2. ZeRO = 让"能存"（前提）
  3. Scaling Laws/Chinchilla = 让"该堆什么、堆多少"可预测（理论）
  4. LAION/RefinedWeb = 让"数据够不够"可开源化（供给）

  5. MegaScale = 让"真跑得起来"（工程）

  6. Chinchilla 是本线枢纽：它把瓶颈从"参数"移到"数据"。"数据决定有效训练的量"——这正是我们研究纲领的第一性前提。

  7. 两条护城河都可被拆：LAION/RefinedWeb 告诉我们，数据的"量"与"质"都未必是私有资产，可以被开放管道 + 过滤工程化复制。这对我们判断"企业数据集（光轮/它石）能否被开源联盟追上"是一个重要镜鉴。

  8. 缺口 = 缺"质/性"维度：Chinchilla 讲"多少数据"，但没讲"哪种数据更有价值"。我们 EGO/企业数据研究要回答的，恰恰是"1 小时力同步工业数据 ≈ 多少小时通用真机数据？1 小时配对金标准 ≈ 多少小时 EGO 视频？"——这是对 20:1 的"类型化缩放律"的探索，是 Chinchilla 在数据性质上的自然延伸。

一句话：这条"数据觉醒"线证明"数据数量与算力对齐（Chinchilla）"是有效训练的起点；而我们整条 EGO/企业数据研究，就是在问它的下一层——"数据性质（形态/质量/配对）如何决定有效训练"。

8. 相关链接（vault 内）

  • 经典36篇·AI主线综述（总纲）
  • 「数据×训练」研究纲领
  • 「数据×训练」证据清单
  • EGO 数据线 · 数据集路线研究
  • 企业/工业数据集版图（五条供给哲学）