2026 年 3 月 5 日，電影數據網站 The Numbers 突發下線。

對於一個運行了 30 年、擁有約 200 萬個頁面、積累了 78396 部電影和 236176 人數據的資料庫來說，這並不是一次常規的停機維護。一週後的 3 月 13 日，網站以精簡版恢復上線，但歷史圖表、單部電影詳情頁以及核心的 Report Builder 功能均被移除。

據 Stephen Follows 報導轉述創始人 Bruce Nash 的說法，導致這一切的直接原因是 AI 爬蟲與智能體流量佔其總流量的 90%，伺服器持續過載崩潰。與此同時，系統日誌還記錄到針對後門的惡意攻擊行為——攻擊的動機可能與預測市場有關，因為 Polymarket 等平台以 The Numbers 的數據作為結算依據，搶先獲取數據意味著交易優勢。但攻擊的具體技術細節和攻擊者身份至今未披露，Bruce Nash 本人也沒有對此做更多展開。

當人類訪客成了零頭，流量從資產變成了負債。一個核心問題浮出水面：傳統網站是否都面臨 The Numbers 式的重構，這個判斷的邊界在哪裡？

截肢求生：一個30年數據站的8天斷電史

The Numbers 不是一家初創公司，它是一個活化石。

1997 年 10 月 17 日，Bruce Nash 在 Geocities 上創建了這個網站。那時候互聯網還是一片荒原，網頁數量稀少，搜尋引擎剛剛起步，「爬蟲」這個詞還沒有被賦予今天這種令人焦慮的含義。The Numbers 從一個個人項目慢慢長成了一個行業工具——它追蹤票房、記錄發行數據、為電影從業者和媒體提供權威的數字參考。

在 AI 爬蟲大軍壓境之前，The Numbers 的年訪客量超過 800 萬。對於一個垂直數據網站來說，這是一個相當可觀的規模。它的數據庫裡存著 78396 部電影、178375 條發行記錄和 236176 人的信息，頁面總量約 200 萬，源文件約 16 萬個。這些數字在人類瀏覽時代是寶貴的數據資產，是網站的核心競爭力。

但在 2026 年 3 月的那 8 天裡，這個老牌站點經歷了一場斷電式的生存危機。

Bruce Nash 透露，在舊系統時代，團隊 90% 的時間都花在了維持網站運行上，而不是開發新功能或優化數據。這個數字本身就說明了很多問題：一個運行了 30 年的系統，其技術債務已經積累到了令人窒息的程度。16 萬個源文件意味著無數的依賴關係、過時的框架、被遺忘的腳本和沒人敢動的「黑箱」模塊。每修一個 bug 可能引發三個新的崩潰，每加一個功能可能拖垮一個未知的子系統。

當 AI 爬蟲的流量洪峰到來時，這個舊架構顯得毫無招架之力。

這裡需要理解一個關鍵的技術細節：傳統數據型網站的架構通常是為人類瀏覽設計的。一個用戶訪問一個頁面，伺服器渲染一次 HTML，返回一次響應，用戶停留幾秒後離開。這種模式下，伺服器的併發壓力是可控的，因為人類瀏覽有天然的「節流」機制——人需要時間閱讀，不會在一秒內請求幾百個頁面。

但 AI 爬蟲沒有這種節流。它們以機器速度運作，可以在極短時間內發起海量請求，不需要「閱讀」時間，不需要等待頁面渲染完成，甚至不需要遵守合理的請求間隔。當一個為人類瀏覽設計的舊架構，遭遇以機器速度發起的指數級請求時，結果就是伺服器持續過載、數據庫連接池耗盡、響應時間飆升，最終崩潰。

The Numbers 的舊系統在這種衝擊下，已經沒有修補的空間。你可以優化一個查詢，但 16 萬個源文件中可能藏著無數個低效查詢；你可以加一台伺服器，但舊架構可能不支持水平擴展；你可以加緩存，但 200 萬個頁面的緩存命中率在長尾分佈下極低。修補舊系統的邊際成本，遠高於在全新基礎設施上重建。

恢復上線的精簡版網站，不是一次功能升級，而是一次截肢式收縮。砍掉歷史圖表和詳情頁，意味著放棄了大量長尾內容——那些頁面恰恰是 AI 爬蟲最喜歡抓取的目標，因為它們包含結構化的、可被直接消費的數據。移除 Report Builder，意味著砍掉了核心的付費工具屬性，犧牲了產品的商業價值來換取基礎設施的生存。

這種決絕的收縮背後，是舊架構在新型流量面前已無修補價值的殘酷現實。放棄 30 年的積累，本身就是判斷「重構必要性」的最好樣本。

1:38000的掠奪：被打破的流量默契

要理解 The Numbers 為什麼會被壓垮，必須看清 AI 爬蟲與傳統搜索引擎爬蟲在行為邏輯上的本質區別。

在過去的互聯網生態中，網站與搜索引擎之間存在一種心照不宣的價值交換默契：網站允許搜索引擎抓取內容，搜索引擎則通過搜索結果為網站帶來人類訪客。這種默契建立在相對合理的「交換比」之上。據 Cloudflare 數據顯示，Google 每發送 1 個人類訪客，大約會抓取 5 個頁面。這個比例意味著，網站為搜索引擎付出的帶寬成本，可以通過搜索引擎回流的人類流量來變現——通過廣告、通過訂閱、通過品牌曝光。這是一筆算得過來的賬。

然而，AI 爬蟲的出現徹底打破了這種平衡。

同樣是 Cloudflare 的數據，OpenAI 每發送 1 個訪客，會抓取超過 1000 個頁面；而 Anthropic 的交換比更是達到了驚人的 1:38000 以上。這意味著什麼？意味著一個 AI 爬蟲在消耗你伺服器資源的同時，幾乎不帶來任何等價的人類流量回饋。它拿走你的數據，用來訓練模型或生成搜索摘要，但用户最終消費這些數據的場景不在你的網站上——他們在 ChatGPT 裡提問，在 AI 搜索引擎裡看摘要，你的網站只是數據供應鏈上一個看不見的底層供應商。

這種單向的掠奪式抓取，直接導致了流量結構的倒掛。

據 Cloudflare 雷達數據，截至 2026 年 6 月，機器人佔 HTML 頁面請求的比例已經達到 57.5%，人類流量成了少數。HUMAN Security 的 2026 年報告更是指出，智能體流量在 2025 年增長了 7851%，AI 驅動流量整體增長了 187%，自動化流量的增速是人類流量的 8 倍。Thales 的 Bad Bot Report 也給出了類似的判斷：2025 年機器人佔全球網頁流量的 53%。

這些數字指向一個共同的結論：互聯網的流量主體已經從人類變成了機器。

在 The Numbers 的案例中，90% 的流量來自機器。這些機器訪客不點廣告、不買訂閱、不產生任何商業價值，卻真實地消耗著帶寬和算力。傳統的「允許抓取以換取流量」的商業邏輯，在 1:38000 的交換比面前徹底失效。數據型網站的生存根基——用免費內容吸引人類流量，再通過人類流量變現——正在被這種不對等的流量結構動搖。

更值得警惕的是，這種流量結構的變化不是暫時的。隨著越來越多的 AI 應用依賴實時數據抓取——AI 搜索、AI 助手、AI 智能體——機器流量的佔比只會繼續上升。據 Cloudflare 數據，2026 年上半年的 AI 爬蟲請求中，52.3% 用於訓練，34.2% 用於混合用途，10.1% 用於搜索，只有 2.6% 是用戶觸發的。這意味著絕大多數 AI 流量是「主動抓取」而非「被動響應」，它們不會因為人類用戶減少而減少。

算不清的伺服器賬：機器訪客的真實成本

機器流量到底要花多少錢？The Numbers 並未公開具體的帶寬或伺服器成本金額，但我們可以從其他同類案例中窺見一斑。

開源文檔託管平台 Read the Docs 曾在官方博客中披露過一個令人震驚的數字：單個 AI 爬蟲在一個月內就給他們帶來了 73TB 的帶寬消耗，成本超過 5000 美元。對於一個非營利組織來說，這是一筆足以危及生存的額外開支。更令人憤怒的是，Read the Docs 發現這些爬蟲並不總是遵守 robots.txt 的規則——它們可以無視網站的抓取限制，以自己的節奏和方式獲取數據。

維基媒體基金會的處境更為典型。據其官方部落格透露，多媒體內容的頻寬需求自 2024 年初增長了 50%，而其中 65% 的昂貴流量來自機器人，儘管這些機器人僅佔頁面瀏覽量的 35%。這意味著維基百科在為機器訪客支付不成比例的基礎設施成本。更嚴峻的是，由於 AI 搜尋摘要的普及，用戶越來越不需要點擊進入 Wikipedia 頁面就能獲得答案——Wikipedia 的人類流量在 2025 年 5 至 8 月間同比下降了 8%。流量成本在上升，而能夠變現的人類流量在下降，這種剪刀差正在吞噬內容平台的利潤空間。

維基百科的情況揭示了一個更深層的問題：AI 不僅在消耗網站的頻寬，還在截斷網站的人類流量來源。當 AI 搜尋引擎直接在搜尋結果頁面給出答案摘要，用戶就沒有理由再點擊原始連結。這意味著網站不僅為 AI 爬蟲付了頻寬費，還因為 AI 搜尋摘要的存在而失去了本應回流的人類訪客。這是一種雙重打擊：成本上升，收入下降。

對於中小團隊來說，情況更為絕望。代碼託管服務 SourceHut 的創始人 Drew DeVault 在部落格中憤怒地表示，他每週有 20% 到 100% 的運維時間都在用於對抗爬蟲，網站每週因此發生數十次短暫當機。他的憤怒是直接而真實的：「停止把你的成本外部化到我臉上。」這不是一個技術問題，而是一個公平問題——AI 公司把數據抓取的成本轉嫁給了內容生產者。

LWN 的編輯 Jonathan Corbet 甚至直接將這種爬蟲流量定性為「就是 DDoS 攻擊」。Triplegangers，一個只有 7 人的電商公司，曾因 OpenAI 的 GPTBot 在營業時段瘋狂抓取而導致網站當機，其 CEO 稱這「基本上就是 DDoS 攻擊」。iFixit 則記錄到 Anthropic 的 ClaudeBot 在單日內對其網站發起了近 100 萬次請求。

這些案例證明，機器流量不是虛擬的數字，它是真實的頻寬費用、真實的 CPU 佔用、真實的運維人力。當 The Numbers 的伺服器在 90% 的機器流量下持續過載崩潰時，Bruce Nash 面對的不是一個技術優化問題，而是一個算不清帳的生存問題。

可以做一個粗略的推演：如果 The Numbers 的年訪客量超過 800 萬，而機器流量佔 90%，那麼機器請求量至少是數千萬級別甚至更高（考慮到爬蟲的抓取深度遠超人類瀏覽）。即使每次請求的成本極低，累積起來的頻寬和算力消耗也足以讓一個沒有企業級基礎設施支撐的獨立團隊入不敷出。Bruce Nash 選擇放棄舊系統，不是因為他不懂技術，而是因為在舊的成本結構下，這個網站已經無法維持。

哪些網站最脆弱？重構必要性的判斷邊界

The Numbers 的倒下，是否意味著所有網站都必須立即重構？答案是否定的。重構的必要性取決於網站的類型和流量結構。

最脆弱的是像 The Numbers 這樣的資料密集型網站。它們通常具備幾個共同特徵。

第一，長尾頁面多。The Numbers 有 200 萬個頁面，每一個頁面都是 AI 爬蟲可以抓取的目標。長尾頁面越多，爬蟲的抓取面就越大，伺服器需要回應的請求就越多。一個只有幾十個頁面的企業官網，即使被爬蟲盯上，也不會有太大的頻寬壓力。

第二，內容可靜態抓取。The Numbers 的資料頁面無需登入即可訪問，爬蟲可以直接獲取結構化的票房資料、演員資訊、發行記錄。這種「裸奔」的資料暴露面，是 AI 爬蟲最理想的資料來源。

第三，高度依賴人類流量變現。The Numbers 的商業模式建立在「免費內容吸引人類訪客→人類訪客產生廣告收入或付費轉化」的邏輯上。當 90% 的流量變成機器流量，這個商業邏輯就失效了——機器不點廣告、不買訂閱。

Box Office Mojo 和 IMDb 雖然是同類電影資料網站，但它們的抗風險能力遠高於獨立營運的 The Numbers。Box Office Mojo 被 Amazon 收購後有企業級基礎設施支撐，可以承受遠超獨立站點的流量衝擊；IMDb 同屬 Amazon 旗下，且有登錄牆和付費層（IMDbPro），部分核心資料隱藏在認證之後，爬蟲無法像對待 The Numbers 那樣無障礙抓取。

相對安全的是幾類網站。

互動型網站，如社交平台，其核心內容產生於用戶互動，且大量資料隱藏在登入之後，爬蟲難以大規模獲取。即使爬蟲抓取了公開頁面，也無法複製社交關係的動態網絡。

即時服務類網站，如電商和 SaaS 產品。電商網站的庫存和價格即時變動，靜態抓取的資料價值有限且時效性極差；SaaS 產品的核心價值在於服務而非資料，爬蟲無法直接複製其業務邏輯和後端整合。

有付費牆或認證機制的網站。登錄牆天然就是一道流量過濾器，未認證的爬蟲只能獲取有限的公開內容，無法像對待 The Numbers 那樣對全站進行無差別抓取。

因此，判斷一個網站是否面臨重構壓力，關鍵看兩個指標：資料暴露面和流量變現依賴度。如果一個網站的資料可以被輕易抓取（無需登入、內容靜態、長尾頁面多），且其商業模式高度依賴這些資料帶來的人類流量（廣告或免費轉付費），那麼它就是 AI 爬蟲的下一個目標。對於這類網站，重構不僅僅是技術架構的升級，更是商業邏輯的重寫：如何在機器訪客佔主導的世界裡，找到新的成本分擔和價值變現機制。

反過來，如果一個網站的資料暴露面小（登入牆後、即時變動、互動產生），或者其商業模式不依賴人類瀏覽量變現（B2B 服務、API 授權、企業級合約），那麼它暫時不需要像 The Numbers 那樣進行截肢式重構。它需要做的事情是基礎的流量監控和防護，但不是推倒重來。

防線與出路：站長的應對路徑

面對 AI 爬蟲的洪流，站長和開發者能做什麼？

最直覺的反應是修改 robots.txt。但現實是，這層防線已經名存實亡。Read the Docs 的案例顯示，許多 AI 爬蟲可以直接無視 robots.txt 的規則。HUMAN Security 的報告也指出，大量爬蟲甚至偽裝成合法身分來規避檢測。據 Cloudflare 數據，目前只有 7.9% 的 AI 爬蟲請求被伺服器主動通過 403 狀態碼拒絕。單靠應用層的規則，已經無法阻擋基礎設施層面的流量衝擊。

robots.txt 的失效，本質上是因為它是一種「君子協定」——它依賴於爬蟲營運商自覺遵守。在搜尋引擎時代，Google 等公司有商業動機遵守 robots.txt，因為它們需要與網站保持良好的合作關係以獲取持續的內容供給。但 AI 公司的動機不同：它們需要盡可能多的數據來訓練模型，遵守 robots.txt 意味著放棄部分數據來源，這在激烈的模型競賽中是一種競爭劣勢。當遵守規則的代價高於違反規則的代價時，君子協定就會崩潰。

真正的應對必須從基礎設施層入手。

2025 年 7 月，Cloudflare 推出了 Pay-per-Crawl 機制，允許網站對 AI 爬蟲的抓取行為收費。據其官方公告，從 2026 年 9 月 15 日起，Cloudflare 將默認屏蔽未付費的「混合用途」爬蟲。這是行業層面試圖重建價值交換機制的重要嘗試——如果 AI 公司需要數據來訓練模型或提供搜尋摘要，它們就必須為獲取這些數據的頻寬和算力成本買單。這個機制的落地效果還有待觀察，但它代表了一個正確的方向：將機器流量的成本從內容生產者轉移回數據消費者。

對於獨立站長和中小創業團隊來說，應對路徑可以分為幾個層次。

第一層是識別。通過日誌分析明確 AI 流量的佔比和來源，不要把伺服器崩潰簡單歸結為業務增長。很多站長在網站變慢或當機時，第一反應是升級伺服器或優化代碼，但如果不識別出機器流量是根因，升級伺服器只是用更高的成本延緩崩潰，治標不治本。The Numbers 的案例中，Bruce Nash 發現 90% 流量來自機器，這個認知本身就是決策的起點。

第二層是隔離。利用邊緣計算和 WAF（Web 應用防火牆）規則，將機器流量導向靜態緩存或輕量級響應，避免直接衝擊資料庫和動態渲染邏輯。對於資料密集型網站，這意味著將高頻請求的頁面預渲染為靜態檔案，讓爬蟲拿到的是緩存的 HTML 而非即時查詢的結果。這不解決根本問題，但可以為重構爭取時間。

第三層是重構商業模型。如果 90% 的訪客不再是人，那麼基於人類瀏覽量的廣告模式就必須調整。可能的出路包括：API 付費訪問（讓 AI 公司為結構化數據接口付費）、數據授權（將數據作為產品直接授權給 AI 公司）、更深的登入牆（將核心數據移至認證之後，減少暴露面）。這些方向都不是簡單的技術調整，而是對網站商業模式的重新定義。

The Numbers 用放棄 30 年舊系統的代價，為整個行業敲響了警鐘。在 AI 作為瀏覽量主力的新時代，流量不再是單純的資產，它可能是一筆需要仔細核算的負債。傳統網站的重構，不是要不要做的問題，而是如何在算清這筆帳之後，找到新的生存邊界。對於數據密集型、依賴人類流量變現的獨立網站來說，The Numbers 的今天可能就是它們的明天。而對於那些數據暴露面小、商業模式不依賴瀏覽量變現的網站來說，現在要做的，是保持警覺，持續監控流量結構的變化，在機器流量真正成為負擔之前，提前佈局防線。

網際網路的流量主體已經換了。網站的主人，是時候重新算帳了。

X產品負責人Nikita Bier：已移除4.2萬個使用聊天機器人自動回覆的帳戶

熱門文章