2015 年 AlphaGo 训练用了 1920 块 CPU + 280 块 GPU，成本约 3500 万美元（折算电费 + 硬件）。2024 年 GPT-4 训练用了 25000 块 H100 集群，成本超过 1 亿美元。2025 年 Meta 公布的「Llama 4 Behemoth」训练用 100000 块 H100，预计成本 5 亿美元。10 年间 AI 训练算力增长 10000 倍，训练成本从千万级跃升到亿级到十亿级——这背后的「算力军备竞赛」正在重塑整个科技产业的资本分配和地缘政治格局。
一、AlexNet 时代：单卡 GPU 训练的工程革命（2012-2015）
2012 年 AlexNet 训练用了 2 块 NVIDIA GTX 580 GPU 跑了 5-6 天，总成本约 1000 美元。这是「深度学习 GPU 训练」的开端——AlexNet 论文首次证明 GPU 训练比 CPU 快 10-100 倍，从此 GPU 成为深度学习标配。
2014 年 Google 内部开始用 1000 块 GPU 训练 Inception V3 神经网络。2015 年 1 月 OpenAI 成立时，Andrej Karpathy 在博客《The Unreasonable Effectiveness of Recurrent Neural Networks》证明 LSTM 在字符级语言建模上的惊人能力——这一年是深度学习「工业化前夜」，但 GPU 资源仍然是稀缺品。
2015 年 AlphaGo 第一版训练用了 1920 块 CPU + 280 块 GPU，训练时间 3-4 周，硬件 + 电费约 3500 万美元（DeepMind 官方未披露，但 Nature 论文估计）。DeepMind 在《自然》论文中公开了训练细节：策略网络 + 价值网络 + 蒙特卡洛树搜索三个组件。AlphaGo 击败樊麾是 2015 年 10 月——这一年成为「深度学习 + 强化学习」从研究走向工程的转折点。
二、BERT 时代：TPU 集群与千卡规模（2017-2019）
2016 年 5 月 Google 发布 TPU v1（Tensor Processing Unit）——这是 Google 专门为深度学习设计的 ASIC 芯片，单卡 23 TFLOPS（FP16）。TPU 的意义不是性能本身，而是「Google 用自有硬件替代 NVIDIA」的开端——这让 Google 成为当时唯一不依赖 NVIDIA 的 AI 巨头。
2018 年 Google 发布 BERT-Large（3.4 亿参数），训练用了 64 块 TPU v2 集群跑 4 天，成本约 5000 美元。OpenAI GPT-2（15 亿参数）用了 512 块 TPU v3 跑 1 周，成本约 5 万美元。同年 Google 发布 TPU v3（420 TFLOPS），成为大模型训练的主流硬件。
2019 年 Google 发布 TPU v4——单卡 275 TFLOPS（BF16），4 块 TPU v4 组成一个「pod」（1024 块），单 pod 算力 275 PFLOPS。这是当时全球最大 AI 训练集群——OpenAI 后续与 Microsoft 合作建造的超级计算机也用类似规模。
三、GPT-3 时代：万卡集群与十亿级成本（2020-2022）
2020 年 OpenAI GPT-3（1750 亿参数）训练用了 1 万块 V100 GPU 集群跑 14 天，总成本约 500-1200 万美元。Microsoft 专门为 OpenAI 建造了一台超级计算机——5 万块 V100 GPU、285000 块 CPU、400 Gbps InfiniBand 网络。GPT-3 训练用总算力 ≈ 3640 PetaFLOPS-days（1 PetaFLOPS-day = 1 块 PetaFLOPS GPU 跑 1 天）。
2021 年 Google 发布 PaLM（5400 亿参数），用 6144 块 TPU v4 集群训练 50 天，总成本约 1000-2000 万美元。PaLM 训练用总算力 ≈ 25 万 PetaFLOPS-days——是 GPT-3 的 7 倍。
2022 年 NVIDIA H100 发布——单卡 989 TFLOPS（FP8）/ 1979 TFLOPS（理论峰值 FP16）。H100 的 FP8 精度让大模型训练成本再降 50%——同等性能下训练成本从 1000 万美元降至 500 万美元。H100 在发布 12 个月内成为「AI 训练的硬通货」，2023 年单卡炒到 4 万-5 万美元（官方价 3 万美元）。
四、GPT-4 时代：十万卡集群与地缘政治（2023-2025）
2023 年 OpenAI GPT-4 训练用了 25000 块 H100 集群（2 万块用于训练，5000 块用于推理），总成本超过 1 亿美元。Meta LLaMA-65B 训练用了 2048 块 A100 80GB 集群，成本约 500 万美元（公开权重版本）。
2024 年 NVIDIA H100 成为大模型训练「硬通货」：单卡 989 TFLOPS（FP8）/1979 TFLOPS（理论峰值 FP16）。OpenAI 与 Microsoft 建造 10 万块 H100 集群（5 亿美元+），xAI 在 122 天内建成 10 万块 H100 的 Colossus 集群（创历史最快数据中心建设速度）。
2024 年美国出口管制升级：2022 年 10 月首次限制 A100/H100 对中国出口，2023 年 10 月扩大到 A800/H800，2024 年扩大到 H20、B30 等降级版本。2025 年 1 月美国发布「AI 扩散规则」(AI Diffusion Rule)——把全球分成 3 等级，中国被划入「Tier 3」严格管控区。中国被迫发展国产 GPU 替代（华为昇腾 910C、寒武纪、海光 DCU、海光 Z100），2025 年国产 GPU 性能达 H100 70-80% 水平。
五、Stargate 与十万卡集群：AGI 算力霸权（2025-2026）
2025 年大模型训练进入「十万卡集群」时代：Meta Llama 4 Behemoth 训练用 10 万 H100，预计成本 5 亿美元。Microsoft / OpenAI 2025 年宣布 Stargate Project（5000 亿美元 AI 基础设施投资，10 年内建成 10 GW 数据中心）。
AI 算力军备竞赛引发「地缘政治 + 能源 + 半导体」三重共振：(1) 美国 2022 年起禁止 NVIDIA 向中国出口 A100/H100，2025 年扩大到 H20/B30 等降级版本——中国被迫发展国产 GPU 替代（华为昇腾、寒武纪、海光）。(2) 单个 10 万卡集群功耗 200-300 MW，相当于一个中等城市用电量——美国数据中心 2024 年占总用电量 4%，2028 年预计 12%。(3) NVIDIA H100 供应链由台积电 4nm 制程独家生产，2025 年美国要求台积电亚利桑那工厂优先供应美国客户。
算力军备竞赛的下一个临界点是「兆瓦级单卡」：2025 年 NVIDIA Blackwell B200（2.5 PFLOPS FP8）、AMD MI400、Intel Gaudi 3 三大芯片厂商竞相发布下一代 AI 加速器。Google TPU v6、AWS Trainium 3、Microsoft Maia 100 等自研芯片加入战局——「单集群算力 1 EFLOPS」将成为 2027 年的新基准。
