作者：Jeff ， IOSG Ventures

為什麼需要私有 AI

7 月 1 日，Palantir CEO Alex Karp 在 CNBC 上貢獻了20分鐘被一些媒體稱為「精神崩潰」的採訪。按 Karp 的說法，企業正在給前沿實驗室支付 token 溢價，同時眼看自家 IP 流向模型商。他稱這種洩漏為 alpha 的轉移，而轉移正發生在架構層：每一條發往閉源模型的請求，都以明文的形式抵達服務商的伺服器。就在節目播出的幾天前，Palantir 剛宣布與 NVIDIA 合作，在客戶自控的環境裡跑開放的 Nemotron 模型，還附上一份九條的 AI 主權宣言。CNBC 節目播出後，PLTR 跳漲 8%。

過去二十年，企業靠協議層面的信任採用雲軟體，而且行得通。每家 SaaS 廠商只看到企業數據的切片，多數也沒什麼動力拿客戶數據反哺核心產品。Salesforce 看到銷售渠道，Workday 看到人事，Jira 看到開發迭代，AWS 提供儲存與運算的底座。然而今天的 AI 工作流主張一次性上傳全部家當，連同串起各部門的結構化上下文，以求生產力最大化。拋開善意不談，上游服務商如今可以拿這些數據去做新功能，而不是讓它們躺在伺服器裡吃灰。

沒有人減速，Anthropic 的年化營收 5 月達到 470 億美元，較 2025 年底的 90 億美元大幅躍升，OpenAI 則在 2 月突破 9 億週活躍用戶。兩家公司今年春天都完成了新一輪融資，估值逼近 1 兆美元，並且預計將以更高的市值 IPO。多年的隱私與 IP 指控，都沒有讓兩家公司損失一點勢頭。

有一部分企業早已做出了行動。2023 年 2 月，ChatGPT 發布不到的三個月內，華爾街主要銀行就已限制其使用。2023 年 5 月，在三星工程師把晶片原始碼洩漏進 ChatGPT 後，公司全網封禁生成式 AI。作為回應，OpenAI 當年 8 月上線 ChatGPT Enterprise，承諾不用商業數據訓練，外加零數據留存 (zero-data-retention, ZDR) 協議，後者此後成了企業採購的標配要求。

但合約只鎖住了公司帳號。IBM 發現，到 2025 年，影子 AI（員工透過個人帳號把公司數據餵進未經批准的 AI 工具）已捲入五分之一的數據外洩事件，而重度影子 AI 使用給外洩成本平均多添 67 萬美元。在安全培訓公司 Anagram 的一項 2025 年調查裡，四成員工表示為了更快完成任務，他們願意違反 AI 使用政策。

企業至少可以花錢買出路，ZDR 合約，不訓練的服務檔，如果你是政府或 Palantir 的客戶還有主權部署。而對於你我這樣的普通用戶，隱私 AI 重不重要至今仍有爭論，直到法院傳票找上了門。

2025 年 5 月的一紙法院命令，迫使 OpenAI 連用戶已刪除的消費級聊天都要留存，11 月，法官又下令把其中 2000 萬條移交《紐約時報》的律師作為證據開示材料。接著是刑事案件：Palisades 大火縱火案被告的 ChatGPT 記錄進入證據，佛羅里達一起雙屍命案的宣誓書引用了嫌疑人關於如何處理屍體的提問。Sam Altman 也在 2025 年 7 月的訪談中承認，ChatGPT 對話不受法律特權保護，在訴訟中 OpenAI「可能被要求交出」用戶聊天記錄。

重點不是只有罪犯才需要私密對話。人們和 AI 的對話被留檔、可傳喚，是一塊多數用戶不知道存在的監控面。Kolmogorov Law 在 2025 年 10 月對 1000 名美國 AI 用戶的調查發現，50% 的人不知道這些對話可以被傳喚，同時三分之二的人認為這些聊天應當獲得與諮詢律師或醫生同等的保護。

自託管或跑在可驗證環境裡的開源模型正在快速追趕，但最強的一批在通用能力上仍落後前沿閉源模型約 4 個月。這讓 tokenmaxxing 的企業和個人站在岔路口，要麼為了這份隱私放棄幾個月的模型品質，要麼繼續把敏感材料傳上 Anthropic 的伺服器，因為競爭對手正是這麼搶生產力優勢的。

目前市場上並沒有完美的解決方案，這份報告梳理各方縮小差距的嘗試，觀測可證明隱私之下的前沿智能距離交付到企業和普通用戶手裡還有多遠。

隱私目前怎麼實現

隱私 AI 不是單一工程，但目前市場裡的每種機制，處理的都是同一個事件： 一條 prompt 離開你的設備，穿過網路，落在跑模型的機器上，再返回一條回覆。而機制之間的差別在於明文在這條路徑的哪裡存在，誰能在那裡讀到它，以及靠什麼來驗證回覆的私密性。

協議級隱私

在這一層，除你之外還有人讀到你的明文 prompt，接下來發生什麼，全憑一句承諾。

• 合約式零留存是企業版方案。服務商知道你是誰，處理你的 prompt，並承諾不留存，執行靠合約和聲譽。
• 匿名代理抹掉你是誰，但不加密你說什麼，下游服務商依舊按自家政策處理明文。各家條款不一，比如Duck.ai (DuckDuckGo 的聊天機器人產品) 這類代理會與模型商談刪除協議，Venice 則直接讓用戶假定服務商會存下一切，但兩邊都無從驗證。

機器與機器之間的每一段路都跑在 TLS 上，它只加密管道，收取的那一方可以讀到所有資訊。中繼通常用 Oblivious HTTP (RFC 9458) 把這份知情權拆開，原理像託朋友遞紙條。朋友知道是誰遞的但讀不了內容，收件人讀得了內容但不知道是誰寫的。OHTTP 自 2024 年 1 月起就成為了 IETF 標準，目前已有很多公司把生產流量跑在從 Cloudflare 和 Fastly 租來的 OHTTP 中繼上。

這也是訪問閉源模型所能得到的隱私上限，其原因是一道算術題。一次旗艦級訓練如今的花費在十億美元量級，而這些實驗室近兆美元的估值押的就是模型權重的獨佔。模型能力差距撐多久，溢價就撐多久，所以實驗室把權重檔案當國家機密看守。

Meta 已經被動做過這場實驗。2023 年 2 月發布的LLaMA 一開始僅向研究者開放，但不到一週，權重就以種子形式洩漏到 4chan。又過一週，llama.cpp 就讓其中最小的 7B 模型在一台 MacBook 上本地作答，三天後，史丹佛又在同一個模型上用不到 600 美元微調出了聊天助手 Alpaca。這次洩漏把 Llama 的運行成本打到了電費，任何拿到檔案的人都能在家跑。2023 年 7 月，Meta 正式以附帶 7 億月活排除條款的商業授權開源了Llama 2。權重跑了，溢價也跟著跑了。

前沿實驗室理論上可以為閉源模型的推理做 attestation（遠端證明），但 attestation 只能證明是哪段程式碼讀了 prompt，證明不了這段程式碼拿它做了什麼。要弄清伺服器有沒有保留數據，我們需要審計服務程式碼 (serving code) 並把它重構到硬體所報告的那個哈希。可一旦交出服務程式碼，實驗室也就交出了支撐利潤率的批次處理和快取技巧，而這些技巧會遷移到未來每一代模型上。Apple 和 Meta 之所以可以為 iPhone 和 WhatsApp 背後的服務棧做遠端證明，是因為它們的利潤在設備和廣告裡，公開服務程式碼幾乎不花什麼代價。

這就是旗艦模型的權重和服務程式碼到不了外部運營方手裡的原因。而沒有外部運營方，就沒有第三方 attestation，沒有 attestation，可驗證的隱私就只存在於開源模型之上。

結構級隱私

這一類裡的每種機制，都用基於硬體、密碼學或物理的證明取代信任承諾，不過各自都要為隱私升級付出不同的代價，首要的就是它們只能跑開源模型。

• TEE（可信執行環境）機密計算把推理放進硬體 enclave（晶片上一個連機器營運方都打不開的密封艙）裡跑，晶片會簽署一份 attestation，寫明到底跑了哪個模型、哪段程式碼。
• prompt 只在終點被封住。經平台代理中轉的路徑上仍留著一個能讀明文的角色，而阻止代理記錄或洩漏中轉內容的，只有協定。
• E2EE（端對端加密）封掉了可讀的中繼。用戶設備用 enclave 的金鑰加密 prompt，中間每一跳攜帶的都是只有 enclave 能拆的密封信封。
• 信任落在客戶端。負責加密 prompt、校驗 attestation 的程式碼同樣有能力撤銷這份保證。因此可驗證的 E2EE 既需要經過證明的 enclave，也同樣需要開放、可重現的客戶端程式碼。
• 相比 TEE 的簡潔，E2EE 的代價是工程負擔，這也拖慢了功能整合。E2EE 把代理變成一個盲送的信使，於是所有靠讀明文才能運轉的功能都得圍繞客戶端金鑰重建，或只在 enclave 內部重建。
• FHE（全同態加密，及 MPC 變體）乾脆去掉了受信任方。伺服器在一個它永遠打不開的上鎖盒子裡對密文做計算，鑰匙只在你手上，MPC（多方安全計算）則把 prompt 拆成秘密份額分給多方，除非所有參與方合謀，效果等同。
• 代價是速度。FHE 原生只會做加法和乘法，所以 transformer 運轉所需的非線性步驟，都得以高昂的成本被重建。密文上的推理成本是明文的 1 萬到 10 萬倍，小模型上每個 token 也要幾秒到幾分鐘，而不加密的情況下只需毫秒。
• 為加密運算訂製的晶片有望縮小差距，但第一塊原型 2026 年初才完成 demo，商用版本還得再等幾年。
• 本地推理直接刪掉了這條路徑。模型跑在你自己的硬體上，沒有中繼，沒有伺服器，沒有服務商，也沒驗證需求。
• 顯而易見的代價是成本和模型能力。gpt-oss-120b 在 Artificial Analysis 指數上得分約為 GLM-5.2 的一半，但體積 65GB，超過市面上兩張旗艦遊戲顯示卡的顯示記憶體之和。而全精度的 GLM-5.2 只能跑在 8 卡資料中心節點上，光 GPU 就要 30 多萬美元。

不過在這些結構性限制之外，把推理放進 enclave 的成本正在壓縮。單卡推理上，enclave 雲端服務商 Phala 的基準測試顯示，enclave 模式的 H100 吞吐損失平均不到 7%，而在大型模型上接近零，因為主要成本在把資料搬進晶片，而不是在裡面算。多卡推理上，NVIDIA 新一代 GPU Blackwell 已支援晶片間流量的直接加密，而老 H100 要到達同樣效果只能以七分之一頻寬繞到 CPU 主機。NVIDIA 自家在 Blackwell 上的基準測試顯示，397B 模型在 enclave 模式下的吞吐損失不到 8%。有了這些進展，隱私推理本身的效能損耗已不再是決定性約束。

事實上，enclave 本身幾乎不給營運方增加額外運作成本。2023 年之後的每一塊 H100 都自帶 enclave 模式，額外成本是加密帶來的吞吐損失，而不是多出來的晶片。目前 Azure 上的機密 H100 SKU 租價仍是每小時 8.90 美元，不開 enclave 則是 6.98 美元，相當於在傳統雲端設施上加價 27%。而另一邊，在 Phala 這樣的專門提供 enclave 的營運商上，機密模式的 H100 正以每小時 3.80 美元起出租，低於 Lambda 普通 SXM 卡 3.99 到 4.29 美元的價格區間。託管 API 方案上，NEAR AI 附帶 attestation 的端點按每百萬 token 輸入 0.15 美元、輸出 0.55 美元提供 gpt-oss-120b，與明文路線上的 Amazon Bedrock、Together 和 Groq 持平。即便是需要多晶片並行的模型，NEAR AI 在 GLM 5.2 上定價與 Fireworks 一分不差，並在更大的 Kimi K2.6 上輸入便宜 15%、輸出便宜 4%。

雖然這些新的隱私推理服務商可能在燒利潤搶市佔（這話放在市場裡任何想增長的公司身上都成立），但結構性的走向是，隱私的成本對消費者和營運方都在下降。

開源模型怎麼贏？

儘管效能開銷在壓縮，前沿模型與 SOTA 開源模型之間仍有一段肉眼可見的差距，一個追求生產力最大化的主體想留在最前排，仍得信任前沿實驗室不竊取自己的 IP。

差距還在，但 Bridgewater 旗下 AIA Labs 與 Thinking Machines 在 6 月 30 日給出了一個案例：一個用專家標註微調的開放模型，在準確率和成本上同時擊敗了前沿模型。

研究中，團隊在 Tinker（Thinking Machines 的託管微調 API 服務）上微調 Qwen3-235B。他們先從供應商處採購標註，用這批資料訓練第一輪，再把分歧樣本轉給公司的投資人員重新標註。訓練跑的是強化學習（GRPO），外加三處修改：round-robin batching（各任務輪流出一個批次）、CISPO loss（限制單條答案能把模型拉動多遠的上限）、on-policy distillation（錨定當前最優 checkpoint，確保模型不會向更弱的副本學習）。

任務全部取自投資人員的日常工作流：一篇新聞對 C-suite 級投資專業人士是否重要，一份央行文件是否暗示未來利率變動的方向，一份文件或一封郵件裡的模板套話從哪裡開始。評分來自獨立測試集，前沿模型在簡單 prompt 下平均得分約 50%，配上專家 prompt 也只衝到 78.2%，低於投資人員設置的 80% 門檻。而微調後的 Qwen 拿到 84.7%，按原文的口徑，這相當於比前沿最優少犯 29.8% 的錯，推理成本低 13.8 倍。

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

這個案例證明了開源模型能在準確率和成本上取勝，但訓練過程仍然不是私有的。過程中使用的專家標註是 Bridgewater 的私有資料，途經 Tinker 的第三方服務，落在與 ZDR 協定同一個信任層級。基金還租用了算力，整場訓練跑在它從未掌控的機器上。想要這套配方又不想背信任假設的買家，今天的選擇很少。租裸 GPU 叢集，訓練過程對雲端營運方可讀。買下叢集解決了資料託管問題，但成本一飛沖天。

附帶 attestation 的路線剛剛到來。3 月，Workshop Labs 和 Tinfoil 發布了 Silo，一套跑在 Tinfoil enclave 裡、單個 8 卡節點上的後訓練棧，鑰匙只由客戶掌控。文章給出的 enclave 成本是，兩小時的訓練多花 11 分鐘，而且這套棧透過凍結基座權重、只在其上訓練小型 adapter，可以裝得下一個萬億參數模型（Kimi K2 Thinking）。難點在於，強化學習需要在各組件之間來回搬資料，而搬資料恰恰是 enclave 成本所在。

Silo 發布後不到一個月，Workshop Labs 就被 Thinking Machines 收購，在 enclave 裡跑下一個 Bridgewater 式 RL 循環所需的部件，如今都歸到了同一家公司名下。

Harness 層的隱私

還有一個問題橫在所有私有推理機制之外。這些機制各自管的是 prompt 到模型的路徑，而 agent 發起的每一次外部工具呼叫，都開出一條推理層根本碰不到的路。最近的 harness engineering 風潮把問題成倍放大，接在模型周圍的每個工具、記憶庫和資料源，都是又一個以明文讀取自己那份工作流切片的目的地。日曆伺服器讀到日程，資料庫伺服器讀到查詢。一個完全本地的 agent 如果只要想要訓練集之外的任何東西，還是需要把搜尋詞以明文形式遞給搜尋引擎，伺服端讀不了明文，就回答不了問題。

主流解法仍默認落在協議層。Runlayer 和 MintMCP 這類公司用一個中央網關管控全部工具流量，在請求出門前遮蔽個人身份資訊(PII)。網關同時決定哪些伺服器能接到流量，把未經審查的擋在門外，並記錄每次調用的目的地和內容以備取證。即便這些管控掛著獨立審計 (SOC 2)，工具伺服器還是得讀明文查詢才能作答，它留不留副本取決於自家的留存條款，並且要乘上 harness 裡的每一個工具。此外，網關本身也是路徑上多出來的一個依賴信任的讀取方，而不是驗證。

結構級的方案打到了中間那一層。比如 Phala 把 MCP server 直接託管進 TEE，目錄覆蓋錢包、代碼執行和資料源，用戶可以憑一份 attestation 驗證隱私聲明，而不是信任運營方。然而 TEE 託管的工具最終還是要把查詢以明文交給服務提供方，enclave 封住的只是信使，不是目的地。

只有少數目的地學會了不讀也能作答，但僅限結構化查詢。Apple 為 iPhone 提供私有資訊檢索，讓來電號碼比對垃圾電話庫時無需暴露號碼，Microsoft 在 Edge 瀏覽器裡對密碼用了同一種方案。MongoDB 的 Queryable Encryption 讓客戶端在欄位離開前就加密，伺服器僅憑密文就可以完成等值和範圍匹配。

但對於開放式搜尋，今天最好的答案止步於信任，可驗證的加密搜尋還沒走出實驗室。Brave 在自家 400 億頁的索引（而非 Google 的）上承諾零資料留存，可它依然落在協定層。Exa 建了一套神經索引，把用戶的關鍵詞嵌入成語義，按語義匹配給結果排序，但嵌入這一步仍在 Exa 的伺服器上從明文算起。MIT 2023 年的 Tiptoe 論文在 3.6 億網頁上完成排序而不暴露查詢，但每次搜尋都要燒掉大量伺服器算力，排序品質與不加密的搜尋有差距。Apple 2024 年的 Wally 論文通過把真實查詢藏進一堆誘餌裡，使得通訊成本最多壓低 31 倍，但這套數學要到數百萬併發查詢才變得便宜，而這個規模，今天沒有任何私有搜尋系統擁有。

加密搜尋做得到，只是效能和價格都還沒到商用可行的地步。

展望

私有 AI 的需求在增長。Venice AI 最近突破 350 萬註冊用戶和每月 1.3 兆 token 的吞吐，隨後完成新一輪估值 10 億美元的 Series A 股權融資。Proton 是它的直接競爭對手，其聊天產品 Lumo 上線一年內用戶破 1000 萬。基礎設施方面，Phala 目前在 OpenRouter 上就日均跑 20 到 30 億 token。Duck.ai 把 gpt-oss-120b 和 Gemma 路由進 Tinfoil 的 enclave，給用戶代理之外的可驗證隱私。這還沒算自託管，它很可能是私有推理最大的渠道，畢竟模型跑在自己的硬體上，不留任何使用痕跡。

然而放在主流 AI 的大浪潮裡，隱私 AI 僅佔極小一部分，而這個差距只有在前沿實驗室有意滿足這份需求時才會合攏。5 月，Google 全線產品處理了 3200 兆 token，照此計算，Venice 一個月的吞吐約等於 Google 的 18 分鐘。去年 11 月，Google 上線 Private AI Compute（PAC），把部分 Gemini 驅動的功能放進與公司自身隔離的密封 TPU enclave 裡跑，並且設計由 NCC Group 獨立審計。但問題在於，PAC 只覆蓋個人化推薦、錄音摘要這樣少數 Pixel 功能，並不覆蓋數億人在用的 Gemini 應用。Google 敢把設計交給審計方，是因為這些功能靠裝置和廣告變現，不靠賣 token。

當下的託管方案也不完美。想通過 E2EE 拿到最高隱私的用戶，得等新功能在服務商讀不到的地方重建一遍。私有 harness 在服務層仍然依賴協定。價格合理的後訓練，想拿到最好的微調結果仍得信任第三方供應商。自託管一次性甩開所有服務商，但在本地跑最強的開源模型，花的錢可能比插著它的那棟房子還貴。

缺陷歸缺陷，私有 AI 已經是一個真實且負擔得起的選項，剩下的缺口也在收窄。對普通消費者，在 Lumo 和 Venice 上，無日誌承諾下的開放模型私密聊天分文不花，Venice 或 Tinfoil 的 18 到 20 美元訂閱則把同樣的聊天封進 enclave，不比一份 ChatGPT 訂閱貴。對企業工作流，帶 attestation 的端點如今比明文路線甚至更便宜。NEAR 的 E2EE API 這樣的端點已經能把加密的上下文帶進 enclave，記憶、檔案上傳、自訂指令今天都能在 E2EE 之上運轉。至於帶 attestation 的後訓練，NVIDIA 即將推出的 Vera Rubin NVL72 會把機密運算從 Blackwell 的 8 卡節點擴展到 72 卡機架，讓前沿 RL 循環在不暴露 IP 的前提下更加可行。

然而關鍵的價值捕獲，則落在這些價格壓縮的層級之外。隱私在它已經存在的地方近乎免費，但還沒覆蓋主流的 agentic 工作流。專注租售 enclave 的運營商握著的是標準晶片上的一個開關，不是護城河，而協定層的閘道則跟傳統中介軟體同場競爭。可防守的陣地，是這份報告裡還沒被解決的那一半：關在 enclave 裡的訓練循環、端到端封死的工具調用、看不見詞條的搜尋索引。誰先把其中一件做出來，賣的就是任何價格戰都無法商品化的東西。追逐隱私 AI 的資本，該買的是缺口，不是那個開關。

所以，信任還是驗證？對於重執行、重 agent 的任務，選信任，因為每一次工具調用本來就把明文交到了 enclave 封不住的目的地，而前沿模型在這類循環裡配得上它的價格。至於把一家公司同對手區分開來的高階思考，選驗證。戰略、規劃，以及多年專業經驗提煉出的判斷，恰恰就是爭議中的那份 alpha。往前的路，是在公司自控的邊界內，用這些專有洞見微調開源模型。在一家公司 alpha 所在的領域裡，專家調校的開放模型已經在準確率和成本上同時擊敗前沿，而在隱私環境下構建它的基礎設施，正一個節點一個節點地到來。