DeepSeek新論文:沒有單一機制能防止所有智能體不當行為和系統故障

PANews 9月23日消息,DeepSeek公開的一篇關於智能體訓練的新論文引發關注,這篇31頁的論文介紹了其內部使用的生產級沙箱平台DSec,論文作者超過百人,梁文鋒也在其中。論文中比較有意思的一節是「智能體的不當行為」,DeepSeek發現,智能體會通過非預期渠道獲取答案,比如搜索平台管理文件裡的殘留答案等,破壞訓練和評估結果有效性。引入訪問控制後,還有智能體交換文件數據塊映射,試圖讓受保護文件內容可通過另一文件描述符訪問,損害任務或共享基礎設施。

DeepSeek認為,沒有單一機制能防止所有智能體不當行為和系統故障。因此團隊的方法是加強可觀測性以識別新問題,並隨模型演進持續加固Dsec,包括限制智能體通過非預期渠道獲取答案的訪問控制,減少對欺騙行為的獎勵。這些控制能解決部分問題。

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊
PANews APP
Binance.US推出自託管錢包Binance.US Wallet
PANews 快訊