DeepSeek開源並發布3FS,高速並行檔案系統優化AI資料訪問

PANews 2月28日消息,根據DeepSeek公告,在開源週第五天,其Fire-Flyer文件系統(3FS)正式開源,作為一款高性能並行文件系統,3FS可充分利用現代SSD和RDMA網絡,實現高速數據訪問,提升AI模型訓練與推理效率。

3FS關鍵效能指標:

在180節點叢集中實現6.6 TiB/s總讀取吞吐量;

在25節點GraySort基準測試中達到3.66 TiB/分鐘吞吐量;

單節點KVCache查詢峰值吞吐量超40+ GiB/s。

3FS採用分離式架構,支援資料預處理、資料集載入、檢查點儲存/復原、嵌入向量搜尋及推理KVCache查詢,具備強一致性語意。 DeepSeek同步推出Smallpond資料處理框架,進一步最佳化3FS資料管理能力。

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊
推薦閱讀
6分鐘前
1小時前
2小時前
4小時前
5小時前
5小時前

熱門文章

行業要聞
市場熱點
精選讀物

精選專題

App内阅读