11 月 20 日,CertiK 公佈了與哥倫比亞大學研究人員共同取得的 TensorLean 技術成果,完成全球首次生產級 AI 算子形式化驗證。這項突破讓數學證明能夠用於經過複雜性能優化的真實 AI 計算代碼,為大模型廠商在提高訓練速度、降低推理成本時,提供更嚴格的正確性保證。
大模型訓練和生成回答,依賴 AI 算子庫中的底層計算程序。這些運行在 GPU 上的程序稱為 GPU 內核。一處錯誤就可能讓系統在照常運行時悄悄算出錯誤結果,影響後續輸出,甚至讓訓練偏離預期。以情景測算為例,一次投入 1 億美元算力的訓練,若有 1% 的計算因錯誤需要重做,就意味著額外花費 100 萬美元。
形式化驗證的核心價值,是用數學證明排除錯誤與漏洞。常規測試通過具體樣例尋找問題;形式化驗證則能夠證明,程序在規定的輸入和運行條件下始終符合要求,不存在驗證範圍內的錯誤與漏洞。
將這一方法用於生產級 AI 代碼,難在處理真實的性能優化。GPU 程序會邊搬運數據邊計算,隨任務大小調整運行安排,並採用更低精度的運算。TensorLean 能夠同時處理這些複雜條件,直接驗證程序編譯後生成的 PTX 代碼,證明計算在規定條件和誤差範圍內符合要求。所有證明均在 Lean 中完成,可由機器驗證。
TensorLean 研究團隊成員強巍和楊淦翔表示:「這些複雜優化,恰恰是生產級 AI 代碼跑得快的原因。我們的挑戰,是在不忽略這些真實運行條件的前提下完成證明,讓嚴格驗證能夠適用於實際使用的高性能代碼。」
研究團隊對 149 個已編譯的 GPU 內核實例進行了評估,並通過形式化證明驗證了其中 83 個符合相應的 Lean 規格。此次研究覆蓋不同代際的 GPU 架構,並涉及 DeepSeek 的 DeepGEMM 和廣泛使用的 FlashAttention 算子庫。團隊共在 6 個庫中發現 38 個正確性問題,其中 DeepGEMM 有 2 個,FlashAttention 有 23 個。
CertiK 聯合創始人、哥大計算機系教授顧榮輝表示:「發現漏洞之後,還需要證明修復後的程序在規定條件下符合要求。對大模型廠商而言,每一次提速都應有可靠的正確性依據。我們希望讓這種嚴格驗證跟上代碼迭代,把計算錯誤的風險盡量擋在大規模訓練和部署之前。」
這項成果對大模型廠商的實際價值,落在每一輪性能優化上。代碼更新後,研發團隊除了測量速度提升,還可以重新執行驗證,檢查優化是否引入計算錯誤,並對滿足要求的程序給出可由機器核驗的證明。這有助於降低算力浪費、訓練返工和錯誤結果流入後續計算的風險。
同類計算還可以複用已有的驗證要求,使這套方法能夠用於更多內核,並隨代碼更新反覆執行,為持續提高 AI 計算效率提供更可靠的基礎。
今年 10 月,Anthropic 也公佈了利用 Claude 為開源軟件構造數學證明的研究。TensorLean 聚焦 AI 自身的底層計算,展示了自動化形式化驗證在生產級 AI 代碼中的應用價值。

