CertiK与哥伦比亚大学研究人员发布TensorLean技术成果,全球首次完成DeepSeek与FlashAttention生产级AI算子形式化验证

  • CertiK与哥伦比亚大学研究人员公布TensorLean技术成果,称完成全球首次生产级AI算子形式化验证。
  • 团队评估149个已编译GPU内核实例,形式化验证其中83个,在6个库发现38个正确性问题。
总结

11 月 20 日,CertiK 公布了与哥伦比亚大学研究人员共同取得的 TensorLean 技术成果,完成全球首次生产级 AI 算子形式化验证。这项突破让数学证明能够用于经过复杂性能优化的真实 AI 计算代码,为大模型厂商在提高训练速度、降低推理成本时,提供更严格的正确性保证。

大模型训练和生成回答,依赖 AI 算子库中的底层计算程序。这些运行在 GPU 上的程序称为 GPU 内核。一处错误就可能让系统在照常运行时悄悄算出错误结果,影响后续输出,甚至让训练偏离预期。以情景测算为例,一次投入 1 亿美元算力的训练,若有 1% 的计算因错误需要重做,就意味着额外花费 100 万美元。

形式化验证的核心价值,是用数学证明排除错误与漏洞。常规测试通过具体样例寻找问题;形式化验证则能够证明,程序在规定的输入和运行条件下始终符合要求,不存在验证范围内的错误与漏洞。

将这一方法用于生产级 AI 代码,难在处理真实的性能优化。GPU 程序会边搬运数据边计算,随任务大小调整运行安排,并采用更低精度的运算。TensorLean 能够同时处理这些复杂条件,直接验证程序编译后生成的 PTX 代码,证明计算在规定条件和误差范围内符合要求。所有证明均在 Lean 中完成,可由机器验证。

TensorLean 研究团队成员强巍和杨淦翔表示:“这些复杂优化,恰恰是生产级 AI 代码跑得快的原因。我们的挑战,是在不忽略这些真实运行条件的前提下完成证明,让严格验证能够适用于实际使用的高性能代码。”

研究团队对 149 个已编译的 GPU 内核实例进行了评估,并通过形式化证明验证了其中 83 个符合相应的 Lean 规格。此次研究覆盖不同代际的 GPU 架构,并涉及 DeepSeek 的 DeepGEMM 和广泛使用的 FlashAttention 算子库。团队共在 6 个库中发现 38 个正确性问题,其中 DeepGEMM 有 2 个,FlashAttention 有 23 个。

CertiK 联合创始人、哥大计算机系教授顾荣辉表示:“发现漏洞之后,还需要证明修复后的程序在规定条件下符合要求。对大模型厂商而言,每一次提速都应有可靠的正确性依据。我们希望让这种严格验证跟上代码迭代,把计算错误的风险尽量挡在大规模训练和部署之前。”

这项成果对大模型厂商的实际价值,落在每一轮性能优化上。代码更新后,研发团队除了测量速度提升,还可以重新执行验证,检查优化是否引入计算错误,并对满足要求的程序给出可由机器核验的证明。这有助于降低算力浪费、训练返工和错误结果流入后续计算的风险。

同类计算还可以复用已有的验证要求,使这套方法能够用于更多内核,并随代码更新反复执行,为持续提高 AI 计算效率提供更可靠的基础。

今年 10 月,Anthropic 也公布了利用 Claude 为开源软件构造数学证明的研究。TensorLean 聚焦 AI 自身的底层计算,展示了自动化形式化验证在生产级 AI 代码中的应用价值。

媒体联系人:

Elisa Yiting Xu

yiting.xu@certik.com

分享至:

作者:项目动态 · PA官方账号,连接项目最新动态。

本文为PANews入驻专栏作者的观点,不代表PANews立场,不承担法律责任。

文章及观点也不构成投资意见

图片来源:项目动态如有侵权,请联系作者删除。

关注PANews官方账号,一起穿越牛熊
PANews APP
软银孙正义曾探讨以1万亿美元收购SK海力士
PANews 快讯