编译器是 AI 落地最成功的领域之一 —— 因为它的正确性可以完全自动验证。这个特性让「学出来的优化决策」可以放心地用:编译结果要么与语义等价,要么不是。这条路线在硬件复杂度指数增长的三十年里被反复重新发明。

一、2010-2015:性能建模与代价模型学习
2010 年代初,基于随机森林与回归的代价模型被用于编译器中的循环变换决策,替代传统的手写启发式。同期出现了用机器学习预测编译器 pass 序列收益的工作,试图把「该做哪一步优化」从规则变为学习问题。这一时期的核心困难是数据:不同目标架构的性能特征差异巨大,在一种硬件上学到的决策迁移到另一种往往失效。而编译器的正确性要求又限制了空间 —— 任何变换必须保证语义等价,这让可接受的学习空间比推荐系统窄得多。
早期研究用统计模型预测不同变换的收益,从而替代固定顺序的优化流水线。同期也出现了用强化学习决定优化 pass 顺序的尝试,但训练成本与真实编译流程的差距始终很大。这一阶段的关键约束是数据标注:一次完整的编译实验成本很高,能用于训练的样本远少于自然语言。一个被低估的前提是编译器工具链的可复现性,只有这样实验结果才有比较意义。
二、2016-2020:自动调优与超参数搜索
2016 年后,机器学习被用于为特定工作负载生成定制化的编译器运行库与编译参数配置。这一时期最有影响的实践是把整个编译与调参过程自动化:给定目标程序与目标硬件,自动搜索出一套最优编译选项。2017 年前后,主流编译器开始内置自动调优模式,把数十亿种编译选项组合的搜索自动化,用户只需提供一个代表性数据集。它的价值被反复验证:同一份源码在不同机器上能自动找到差异很大的优化路径,这是手工调参难以企及的。
2017 年前后,主流编译器内置了自动调优模式,用户只需提供代表性输入数据集即可搜索编译选项。这一实践的价值在跨硬件时尤为明显:同一份源码在不同架构上自动找到的优化路径差异很大。同期出现的编译缓存与分布式编译,也降低了自动调优的迭代成本。一个被承认的局限是:自动调优需要用户有代表性数据集,而这一点在很多项目中并不容易满足。
三、2021-2024:GPU 内核生成与学习式优化
2021 年后,学习模型被用于 GPU 内核的生成与调优,尤其是矩阵乘法这类高度模式化的操作。同期出现了端到端的算子生成工作:模型直接生成针对特定形状的 GPU 内核代码,并通过实际运行验证性能。这一时期还出现了一个新的验证工具:形式化验证被用于证明生成的 GPU 内核与参考实现等价,这在过去不可想象。一个被承认的现实限制是适用范围:生成方案在常见算子上表现突出,但对高度特化的融合内核仍不敌专家手写。
2021 年后,学习模型被用于生成针对特定形状的 GPU 内核,性能在常见算子上接近甚至超过手写。同期出现了用形式化方法证明生成内核与参考实现等价的工作,这在工程上极为罕见但价值极高。另一个方向是自动生成编译器优化 pass 本身,把「写优化」也纳入自动化范围。被承认的现实限制是适用范围:高度特化的融合内核仍然依赖专家手写。
四、2025:编译器作为智能体的执行环境
2025 年的新角色是:编译器不再只是优化工具,而成为代码智能体的工作环境 —— 它负责提供语义反馈、错误信息与性能剖析。这一转变依赖前面十五年的积累:足够准的代价模型与足够快的验证手段,才让模型能靠编译器反馈自我迭代。同期被讨论的新问题是验证责任:模型的编译决策最终由谁负责,是工具链作者、模型提供方还是使用者。整体趋势是编译器从「确定性变换」向「可验证的智能搜索」演进,而验证仍是它不可让渡的底线。
2024 年后,编译器开始为代码智能体提供专门的接口:结构化的错误信息、语义查询与性能剖析。这依赖过去十年积累的验证能力:只有足够准的代价模型,模型才能靠编译器反馈自我迭代。同期被讨论的责任问题是:编译器接受了模型建议并生成了最终代码,责任如何在工具链与模型间划分。整体趋势是编译器从确定性变换工具,演变为可被智能体使用且能被形式化验证的工作环境。
资料来源
- Srinivasa et al., VTA / 性能建模相关编译器论文, ASPLOS 2010-2015
- LLVM Polly / GCC 自动调优相关的公开工程文档
- Cesar et al., Proof-carrying GPU kernel generation 相关论文, 2022-2024
- 各编译器项目关于 MLIR 与 AI 辅助优化的公开技术博客