CertiK與哥倫比亞大學研究人員發布TensorLean技術成果,全球首次完成DeepSeek與FlashAttention生產級AI算子形式化驗證

  • CertiK與哥倫比亞大學研究人員公布TensorLean技術成果,稱完成全球首次生產級AI算子形式化驗證。
  • 團隊評估149個已編譯GPU內核實例,形式化驗證其中83個,在6個庫發現38個正確性問題。
總結

11 月 20 日,CertiK 公佈了與哥倫比亞大學研究人員共同取得的 TensorLean 技術成果,完成全球首次生產級 AI 算子形式化驗證。這項突破讓數學證明能夠用於經過複雜性能優化的真實 AI 計算代碼,為大模型廠商在提高訓練速度、降低推理成本時,提供更嚴格的正確性保證。

大模型訓練和生成回答,依賴 AI 算子庫中的底層計算程序。這些運行在 GPU 上的程序稱為 GPU 內核。一處錯誤就可能讓系統在照常運行時悄悄算出錯誤結果,影響後續輸出,甚至讓訓練偏離預期。以情景測算為例,一次投入 1 億美元算力的訓練,若有 1% 的計算因錯誤需要重做,就意味著額外花費 100 萬美元。

形式化驗證的核心價值,是用數學證明排除錯誤與漏洞。常規測試通過具體樣例尋找問題;形式化驗證則能夠證明,程序在規定的輸入和運行條件下始終符合要求,不存在驗證範圍內的錯誤與漏洞。

將這一方法用於生產級 AI 代碼,難在處理真實的性能優化。GPU 程序會邊搬運數據邊計算,隨任務大小調整運行安排,並採用更低精度的運算。TensorLean 能夠同時處理這些複雜條件,直接驗證程序編譯後生成的 PTX 代碼,證明計算在規定條件和誤差範圍內符合要求。所有證明均在 Lean 中完成,可由機器驗證。

TensorLean 研究團隊成員強巍和楊淦翔表示:「這些複雜優化,恰恰是生產級 AI 代碼跑得快的原因。我們的挑戰,是在不忽略這些真實運行條件的前提下完成證明,讓嚴格驗證能夠適用於實際使用的高性能代碼。」

研究團隊對 149 個已編譯的 GPU 內核實例進行了評估,並通過形式化證明驗證了其中 83 個符合相應的 Lean 規格。此次研究覆蓋不同代際的 GPU 架構,並涉及 DeepSeek 的 DeepGEMM 和廣泛使用的 FlashAttention 算子庫。團隊共在 6 個庫中發現 38 個正確性問題,其中 DeepGEMM 有 2 個,FlashAttention 有 23 個。

CertiK 聯合創始人、哥大計算機系教授顧榮輝表示:「發現漏洞之後,還需要證明修復後的程序在規定條件下符合要求。對大模型廠商而言,每一次提速都應有可靠的正確性依據。我們希望讓這種嚴格驗證跟上代碼迭代,把計算錯誤的風險盡量擋在大規模訓練和部署之前。」

這項成果對大模型廠商的實際價值,落在每一輪性能優化上。代碼更新後,研發團隊除了測量速度提升,還可以重新執行驗證,檢查優化是否引入計算錯誤,並對滿足要求的程序給出可由機器核驗的證明。這有助於降低算力浪費、訓練返工和錯誤結果流入後續計算的風險。

同類計算還可以複用已有的驗證要求,使這套方法能夠用於更多內核,並隨代碼更新反覆執行,為持續提高 AI 計算效率提供更可靠的基礎。

今年 10 月,Anthropic 也公佈了利用 Claude 為開源軟件構造數學證明的研究。TensorLean 聚焦 AI 自身的底層計算,展示了自動化形式化驗證在生產級 AI 代碼中的應用價值。

分享至:

作者:项目动态 · PA官方账号,连接项目最新动态。

本文為PANews入駐專欄作者的觀點,不代表PANews立場,不承擔法律責任。

文章及觀點也不構成投資意見

圖片來源:项目动态如有侵權,請聯絡作者刪除。

關注PANews官方賬號,一起穿越牛熊
PANews APP
香港打擊虛擬資產業務冒牌宣傳:冒稱牌照申請人可判監兩年,違規使用稱銜可罰10萬港元
PANews 快訊