90% 방문객은 사람이 아니다: 30년 영화 데이터 사이트의 '절단' 생존기

2026년 3월 5일, 영화 데이터 사이트 The Numbers가 갑작스럽게 오프라인 상태가 되었다.

30년간 운영되며 약 200만 개의 페이지, 78,396편의 영화와 236,176명에 대한 데이터를 축적해 온 방대한 데이터베이스로서, 이는 일상적인 점검 차원의 서버 중단이 아니었다. 일주일 후인 3월 13일, 사이트는 간소화 버전으로 복구되었지만, 과거 차트와 개별 영화 상세 페이지, 그리고 핵심 기능인 Report Builder가 모두 제거된 상태였다.

스티븐 팔로우스(Stephen Follows)가 창립자 브루스 내시(Bruce Nash)의 말을 인용해 보도한 바에 따르면, 이 모든 사태의 직접적 원인은 AI 크롤러와 에이전트 트래픽이 전체 트래픽의 90%를 차지하면서 서버가 지속적으로 과부하로 다운된 데 있었다. 동시에 시스템 로그에는 백도어를 노린 악의적 공격 행위도 기록되었다. 공격 동기는 예측 시장과 관련되었을 가능성이 있는데, Polymarket과 같은 플랫폼이 The Numbers의 데이터를 결제 기준으로 삼기 때문에 데이터를 선점하면 거래상 우위를 갖게 되기 때문이다. 그러나 공격의 구체적인 기술적 세부 사항과 공격자 신원은 현재까지 공개되지 않았으며, 브루스 내시 본인도 이에 대해 더 이상 언급하지 않았다.

인간 방문자가 극소수에 그치자 트래픽은 자산에서 부채로 바뀌었다. 핵심 질문이 떠오른다. 기존 웹사이트들은 모두 The Numbers식 재구축에 직면하게 될까? 그 판단 기준은 어디까지일까?

절단으로 살아남다: 30년 된 데이터 사이트의 8일 정전사

The Numbers는 신생 스타트업이 아니다. 살아있는 화석과 같다.

1997년 10월 17일, 브루스 내시는 지오시티즈(Geocities)에 이 사이트를 만들었다. 당시 인터넷은 아직 황무지였고, 웹 페이지 수는 적었으며, 검색 엔진은 이제 막 시작된 단계였고, ‘크롤러’라는 단어가 오늘날처럼 불안을 불러일으키는 의미를 갖기 전이었다. The Numbers는 개인 프로젝트에서 시작해 업계의 도구로 서서히 성장했다. 박스오피스를 추적하고, 배급 데이터를 기록하며, 영화 관계자와 미디어에 권위 있는 수치 기준을 제공했다.

AI 크롤러 대군이 밀어닥치기 전, The Numbers의 연간 방문자 수는 800만 명을 넘었다. 수직적 데이터 사이트로서는 상당한 규모다. 데이터베이스에는 78,396편의 영화, 178,375건의 배급 기록, 236,176명의 정보가 저장되어 있었고, 총 페이지 수는 약 200만 개, 소스 파일은 약 16만 개에 달했다. 이 수치들은 인간이 브라우징하던 시대에는 귀중한 데이터 자산이자 사이트의 핵심 경쟁력이었다.

그러나 2026년 3월의 그 8일 동안, 이 노장 사이트는 전력이 끊긴 듯한 생존 위기를 겪었다.

브루스 내시는 구 시스템 시절, 팀은 시간의 90%를 사이트 유지에 쏟았으며, 새로운 기능 개발이나 데이터 최적화에는 거의 신경을 쓰지 못했다고 밝혔다. 이 수치 자체가 많은 것을 말해준다. 30년간 운영된 시스템의 기술 부채는 숨이 막힐 정도로 쌓여 있었다. 16만 개의 소스 파일은 곧 무수한 의존성, 구식 프레임워크, 잊힌 스크립트, 그리고 아무도 손대지 못하는 ‘블랙박스’ 모듈을 의미한다. 버그 하나를 고치면 세 개의 새로운 충돌이 발생할 수 있고, 기능 하나를 추가하면 알려지지 않은 하위 시스템이 마비될 수 있다.

AI 크롤러의 트래픽 급증이 닥쳐왔을 때, 이 낡은 아키텍처는 속수무책이었다.

여기서 중요한 기술적 세부 사항을 이해해야 한다. 기존 데이터 중심 웹사이트의 아키텍처는 보통 인간의 브라우징을 염두에 두고 설계된다. 한 이용자가 페이지를 방문하면 서버가 HTML을 한 번 렌더링하고 한 번 응답하며, 이용자는 몇 초간 머무르다 떠난다. 이 모드에서 서버의 동시 접속 부하는 관리 가능한 수준이다. 인간의 브라우징에는 ‘사람은 읽는 데 시간이 걸리며, 1초에 수백 개의 페이지를 요청하지 않는다’는 자연스러운 ‘스로틀링’ 메커니즘이 있기 때문이다.

하지만 AI 크롤러에게는 이런 스로틀링이 없다. 이들은 기계 속도로 작동해 극히 짧은 시간 안에 방대한 요청을 보낸다. ‘읽는’ 시간도 필요 없고, 페이지 렌더링이 완료되기를 기다릴 필요도 없으며, 합리적인 요청 간격조차 지키지 않는다. 인간의 브라우징을 위해 설계된 낡은 아키텍처가 기계 속도로 발생하는 기하급수적인 요청을 만나면, 서버는 지속적으로 과부하되고, 데이터베이스 커넥션 풀이 고갈되며, 응답 시간이 급증하다 결국 다운된다.

The Numbers의 구 시스템은 이 충격 앞에서 더 이상 보수할 여지가 없었다. 하나의 쿼리를 최적화할 수는 있지만, 16만 개의 소스 파일 안에는 무수히 많은 비효율적인 쿼리가 숨어 있을 수 있다. 서버 한 대를 추가할 수는 있지만, 구 아키텍처는 수평 확장을 지원하지 않을 수 있다. 캐시를 추가할 수는 있지만, 200만 개 페이지의 캐시 히트율은 롱테일 분포 아래에서 극히 낮다. 구 시스템을 보수하는 한계 비용은 전혀 새로운 인프라에서 재구축하는 것보다 훨씬 높았다.

복구된 간소화 버전 웹사이트는 기능 업그레이드가 아니라 절단식 축소였다. 과거 차트와 상세 페이지를 없앤 것은 방대한 롱테일 콘텐츠를 포기한 것이다. 그 페이지들은 구조화되어 있어 AI 크롤러가 가장 좋아하는 수집 대상이었다. Report Builder를 제거한 것은 핵심 유료 도구로서의 속성을 포기하고, 인프라의 생존을 위해 제품의 상업적 가치를 희생한 것이다.

이러한 과감한 축소 배경에는, 새로운 유형의 트래픽 앞에서 구 아키텍처에 더 이상 보수할 가치가 없다는 냉혹한 현실이 있다. 30년간 쌓아온 것을 포기하는 것은 그 자체로 ‘재구축 필요성’을 판단하는 최고의 표본이다.

1:38,000의 약탈: 깨져버린 트래픽 불문율

The Numbers가 왜 짓눌려 버렸는지 이해하려면, AI 크롤러와 전통적인 검색 엔진 크롤러 사이의 행동 논리의 본질적 차이를 명확히 봐야 한다.

과거 인터넷 생태계에서 웹사이트와 검색 엔진 사이에는 암묵적인 가치 교환의 불문율이 존재했다. 웹사이트는 검색 엔진이 콘텐츠를 수집하도록 허용하고, 검색 엔진은 검색 결과를 통해 웹사이트에 인간 방문자를 데려다주었다. 이 불문율은 비교적 합리적인 ‘교환 비율’에 기초하고 있었다. Cloudflare 데이터에 따르면, 구글은 인간 방문자 1명을 보낼 때마다 약 5개의 페이지를 수집했다. 이 비율은 웹사이트가 검색 엔진을 위해 지불하는 대역폭 비용을, 검색 엔진이 되돌려주는 인간 트래픽(광고, 구독, 브랜드 노출 등)을 통해 수익화할 수 있음을 의미했다. 계산이 서는 장사였던 것이다.

그러나 AI 크롤러의 등장은 이 균형을 완전히 깨뜨렸다.

동일한 Cloudflare 데이터에 따르면, OpenAI는 방문자 1명을 보낼 때마다 1,000개가 넘는 페이지를 수집했고, Anthropic의 교환 비율은 무려 1:38,000 이상에 달했다. 이는 무엇을 의미할까? AI 크롤러가 서버 리소스를 소비하면서도 그에 상응하는 인간 트래픽을 거의 되돌려주지 않는다는 뜻이다. 그들은 데이터를 가져가 모델을 훈련시키거나 검색 요약을 생성하지만, 사용자가 그 데이터를 소비하는 최종 장면은 더 이상 당신의 웹사이트가 아니다. 사용자는 ChatGPT에 질문하고, AI 검색 엔진에서 요약을 본다. 당신의 웹사이트는 데이터 공급망의 보이지 않는 최하위 공급자에 불과할 뿐이다.

이러한 일방적 약탈형 수집은 트래픽 구조의 역전을 직접적으로 초래했다.

Cloudflare 레이더 데이터에 따르면, 2026년 6월 기준으로 봇이 HTML 페이지 요청에서 차지하는 비율이 57.5%에 이르렀으며, 인간 트래픽은 소수에 그쳤다. HUMAN Security의 2026년 보고서는 더 나아가 에이전트 트래픽이 2025년에 7,851% 증가했고, AI 기반 트래픽은 전체적으로 187% 증가했으며, 자동화 트래픽의 증가율은 인간 트래픽의 8배에 달한다고 지적했다. Thales의 Bad Bot Report 역시 2025년에 봇이 전 세계 웹 트래픽의 53%를 차지했다고 비슷한 진단을 내렸다.

이 수치들은 하나의 공통된 결론을 가리킨다. 인터넷의 트래픽 주체가 인간에서 기계로 바뀌었다는 것이다.

The Numbers 사례에서 트래픽의 90%는 기계로부터 발생했다. 이 기계 방문자들은 광고를 클릭하지 않고, 구독을 신청하지 않으며, 아무런 상업적 가치도 창출하지 않으면서 실제로 대역폭과 컴퓨팅 파워를 소모한다. ‘수집을 허용하는 대가로 트래픽을 얻는다’는 기존 비즈니스 논리는 1:38,000의 교환 비율 앞에 완전히 무력해졌다. 무료 콘텐츠로 인간 트래픽을 유치하고, 이를 통해 수익을 창출한다는 데이터 기반 웹사이트의 생존 기반이 이 불균등한 트래픽 구조에 의해 흔들리고 있는 것이다.

더욱 경계해야 할 점은 이러한 트래픽 구조 변화가 일시적이지 않다는 사실이다. AI 검색, AI 비서, AI 에이전트 등 점점 더 많은 AI 애플리케이션이 실시간 데이터 수집에 의존함에 따라, 기계 트래픽의 비중은 앞으로도 계속 증가할 것이다. Cloudflare 데이터에 따르면 2026년 상반기 AI 크롤러 요청 중 52.3%가 훈련용, 34.2%가 혼합 용도, 10.1%가 검색용이었으며, 사용자가 촉발한 것은 2.6%에 불과했다. 이는 대다수의 AI 트래픽이 ‘수동적 응답’이 아닌 ‘능동적 수집’이며, 인간 사용자가 줄어든다고 해서 이 트래픽이 감소하지는 않음을 의미한다.

계산되지 않는 서버 비용: 기계 방문자의 실제 비용

기계 트래픽에 드는 비용은 과연 얼마나 될까? The Numbers는 구체적인 대역폭이나 서버 비용을 공개하지 않았지만, 유사한 다른 사례들을 통해 짐작해 볼 수 있다.

오픈 소스 문서 호스팅 플랫폼 Read the Docs는 공식 블로그에서 충격적인 수치를 공개한 적이 있다. 단일 AI 크롤러가 한 달 동안 무려 73TB의 대역폭을 소비해 5,000달러 이상의 비용을 초래했다. 비영리 단체로서는 생존을 위협할 만한 추가 지출이었다. 더욱 화나는 점은, Read the Docs가 이들 크롤러가 항상 robots.txt 규칙을 준수하지는 않는다는 사실을 발견했다는 것이다. 이들은 사이트의 수집 제한을 무시하고 자신들의 속도와 방식으로 데이터를 가져갈 수 있다.

위키미디어 재단의 상황은 더욱 전형적이다. 공식 블로그에 따르면, 멀티미디어 콘텐츠의 대역폭 수요가 2024년 초 대비 50% 증가했으며, 그중 65%의 고비용 트래픽이 봇에서 발생했다. 이 봇들은 페이지 조회수의 35%만을 차지할 뿐이다. 이는 위키피디아가 기계 방문자를 위해 과도한 인프라 비용을 부담하고 있음을 의미한다. 더 심각한 문제는 AI 검색 요약이 보편화되면서 사용자들이 점점 더 위키피디아 페이지를 클릭하지 않고도 답을 얻을 수 있게 되었다는 점이다. 위키피디아의 실제 사용자 트래픽은 2025년 5월에서 8월 사이 전년 동기 대비 8% 감소했다. 트래픽 비용은 상승하는 반면 수익화할 수 있는 실제 사용자 트래픽은 감소하는 이 격차가 콘텐츠 플랫폼의 수익 마진을 잠식하고 있다.

위키백과 상황은 더 깊은 문제를 드러냅니다. AI는 웹사이트의 대역폭을 소모할 뿐만 아니라 웹사이트로 유입되는 인간 트래픽의 원천을 차단하고 있습니다. AI 검색 엔진이 검색 결과 페이지에서 바로 답변 요약을 제공하면 사용자가 원본 링크를 클릭할 이유가 사라집니다. 이는 웹사이트가 AI 크롤러에 대역폭 비용을 지불했을 뿐만 아니라 AI 검색 요약으로 인해 원래 돌아왔어야 할 인간 방문자까지 잃었다는 뜻입니다. 이는 비용 상승과 수익 하락이라는 이중의 타격입니다.

중소 규모 팀에게는 상황이 더욱 절망적입니다. 코드 호스팅 서비스 SourceHut의 설립자 Drew DeVault는 블로그에서 분노를 표하며, 매주 운영 시간의 20%에서 100%를 크롤러와 싸우는 데 사용하고 있으며 이로 인해 웹사이트가 매주 수십 차례 일시적 다운을 겪는다고 밝혔습니다. 그의 분노는 직접적이고 진심입니다. "당신의 비용을 내 얼굴에 전가하지 마라." 이는 기술 문제가 아니라 공정성 문제입니다. AI 기업이 데이터 수집 비용을 콘텐츠 생산자에게 전가하고 있기 때문입니다.

LWN의 편집자 Jonathan Corbet은 이런 크롤러 트래픽을 '사실상 DDoS 공격'이라고 규정하기까지 했습니다. 직원 7명뿐인 전자상거래 회사 Triplegangers는 OpenAI의 GPTBot이 영업 시간 동안 무차별적으로 데이터를 긁어가 웹사이트가 다운된 적이 있는데, CEO는 이를 '기본적으로 DDoS 공격'이라고 말했습니다. iFixit은 Anthropic의 ClaudeBot이 하루 동안 자사 사이트에 거의 100만 건의 요청을 보낸 사례를 기록했습니다.

이 사례들은 머신 트래픽이 가상의 숫자가 아니라 실제 대역폭 비용, 실제 CPU 점유율, 실제 운영 인력으로 이어진다는 사실을 증명합니다. The Numbers의 서버가 머신 트래픽 90% 속에서 계속해서 과부하로 다운될 때, Bruce Nash가 맞닥뜨린 것은 기술적 최적화 문제가 아니라 수지타산이 맞지 않는 생존 문제였습니다.

대략적으로 추산해 볼 수 있습니다. The Numbers의 연간 방문자 수가 800만 명이 넘고 머신 트래픽이 90%를 차지한다면, 머신 요청량은 최소 수천만 건에서 그 이상일 것입니다(크롤러의 수집 깊이가 인간의 브라우징보다 훨씬 깊다는 점을 고려하면). 요청당 비용이 아무리 낮더라도 누적된 대역폭과 컴퓨팅 자원 소모는 엔터프라이즈급 인프라 지원 없이 독립적으로 운영되는 팀의 지출을 감당할 수 없게 만듭니다. Bruce Nash가 기존 시스템을 포기하기로 선택한 것은 기술을 몰라서가 아니라, 기존 비용 구조 아래에서는 이 사이트를 더 이상 유지할 수 없었기 때문입니다.

어떤 사이트가 가장 취약한가? 재구축 필요성의 판단 기준

The Numbers의 붕괴가 모든 웹사이트가 즉시 재구축해야 한다는 의미일까요? 답은 '아니요'입니다. 재구축의 필요성은 사이트의 유형과 트래픽 구조에 따라 달라집니다.

가장 취약한 것은 The Numbers와 같은 데이터 집약적 사이트입니다. 이들은 일반적으로 몇 가지 공통 특징을 가지고 있습니다.

첫째, 롱테일 페이지가 많습니다. The Numbers에는 200만 개의 페이지가 있으며, 모든 페이지가 AI 크롤러의 수집 대상이 될 수 있습니다. 롱테일 페이지가 많을수록 크롤러의 스캔 범위가 넓어지고 서버가 응답해야 하는 요청이 많아집니다. 페이지가 수십 개에 불과한 기업 홈페이지는 크롤러의 표적이 되더라도 대역폭 부담이 크지 않습니다.

둘째, 콘텐츠를 정적으로 수집할 수 있습니다. The Numbers의 데이터 페이지는 로그인 없이 접근 가능하며, 크롤러는 구조화된 박스 오피스 데이터, 배우 정보, 배급 기록을 직접 가져갈 수 있습니다. 이렇게 '무방비'로 노출된 데이터 표면은 AI 크롤러에게 가장 이상적인 데이터 소스입니다.

셋째, 인간 트래픽에 의한 수익화에 크게 의존합니다. The Numbers의 비즈니스 모델은 '무료 콘텐츠로 인간 방문자 유입 → 인간 방문자가 광고 수익 또는 유료 전환을 창출'하는 논리 위에 세워져 있습니다. 트래픽의 90%가 머신 트래픽이 되면 이 비즈니스 논리는 무효가 됩니다. 기계는 광고를 클릭하지도 않고 구독을 구매하지도 않기 때문입니다.

Box Office Mojo와 IMDb는 동종 영화 데이터 사이트이지만, 독립적으로 운영되는 The Numbers보다 위험 저항 능력이 훨씬 높습니다. Box Office Mojo는 Amazon에 인수된 후 엔터프라이즈급 인프라 지원을 받아 독립 사이트보다 훨씬 큰 트래픽 충격을 견딜 수 있습니다. IMDb 역시 Amazon 산하에 있으며 로그인 장벽과 유료 계층(IMDbPro)을 갖추고 있어, 핵심 데이터 일부가 인증 뒤에 숨겨져 있기 때문에 크롤러는 The Numbers를 대상으로 하듯 아무런 장애 없이 수집할 수 없습니다.

상대적으로 안전한 부류의 웹사이트도 있습니다.

소셜 플랫폼과 같은 상호작용형 사이트는 핵심 콘텐츠가 사용자 상호작용에서 생성되고, 많은 데이터가 로그인 뒤에 숨겨져 있어 크롤러가 대규모로 확보하기 어렵습니다. 크롤러가 공개 페이지를 긁어가더라도 소셜 관계의 동적인 네트워크를 복제할 수 없습니다.

전자상거래나 SaaS 제품과 같은 실시간 서비스 사이트도 안전한 편입니다. 전자상거래 사이트의 재고와 가격은 실시간으로 변동하므로 정적으로 수집한 데이터의 가치는 제한적이고 시의성이 매우 떨어집니다. SaaS 제품의 핵심 가치는 데이터가 아닌 서비스에 있으므로, 크롤러가 비즈니스 로직과 백엔드 통합을 직접 복제할 수 없습니다.

페이월이나 인증 메커니즘을 갖춘 사이트도 있습니다. 로그인 장벽은 그 자체로 트래픽 필터 역할을 하므로, 인증되지 않은 크롤러는 제한된 공개 콘텐츠만 얻을 수 있으며 The Numbers처럼 사이트 전체를 차별 없이 수집할 수 없습니다.

따라서 어떤 사이트가 재구축 압력에 직면했는지 판단하려면 두 가지 지표, 즉 데이터 노출 면적과 트래픽 수익화 의존도를 살펴보는 것이 핵심입니다. 만약 웹사이트의 데이터가 쉽게 수집될 수 있고(로그인 불필요, 콘텐츠 정적, 롱테일 페이지 다수), 비즈니스 모델이 이러한 데이터가 가져오는 인간 트래픽(광고 또는 무료에서 유료로의 전환)에 크게 의존한다면, 그곳은 바로 AI 크롤러의 다음 표적입니다. 이런 유형의 사이트에서 재구축은 단순히 기술 아키텍처의 업그레이드가 아니라 비즈니스 논리를 다시 쓰는 일입니다. 머신 방문자가 지배하는 세상에서 새로운 비용 분담과 가치 실현 메커니즘을 찾아내는 것입니다.

반대로, 웹사이트의 데이터 노출 면적이 작거나(로그인 장벽 뒤, 실시간 변동, 상호작용 생성), 비즈니스 모델이 인간 페이지뷰 수익화에 의존하지 않는다면(B2B 서비스, API 라이선스, 엔터프라이즈 계약), 당장은 The Numbers처럼 신체 일부를 절단하는 듯한 재구축을 할 필요가 없습니다. 그런 사이트가 해야 할 일은 기본적인 트래픽 모니터링과 방어이지 전면 재구축은 아닙니다.

방어선과 출구: 사이트 운영자의 대응 경로

AI 크롤러의 홍수 앞에서 사이트 운영자와 개발자는 무엇을 할 수 있을까요?

가장 직관적인 반응은 robots.txt를 수정하는 것입니다. 하지만 현실은 이 방어선이 이미 유명무실해졌다는 점입니다. Read the Docs의 사례는 많은 AI 크롤러가 robots.txt의 규칙을 그냥 무시할 수 있음을 보여줍니다. HUMAN Security의 보고서 역시 다수의 크롤러가 탐지를 피하기 위해 정당한 신분으로 위장하기까지 한다고 지적합니다. Cloudflare 데이터에 따르면, 현재 AI 크롤러 요청 중 서버가 403 상태 코드로 능동적으로 거부하는 비율은 7.9%에 불과합니다. 애플리케이션 계층의 규칙만으로는 인프라 계층의 트래픽 충격을 막을 수 없게 된 것입니다.

robots.txt가 무력화된 이유는 본질적으로 이것이 '신사 협정'이기 때문입니다. 크롤러 운영자의 자발적인 준수에 의존합니다. 검색 엔진 시대에는 Google과 같은 회사들이 지속적인 콘텐츠 공급을 위해 웹사이트와 우호적인 협력 관계를 유지해야 했기 때문에 robots.txt를 준수할 상업적 동기가 있었습니다. 그러나 AI 기업의 동기는 다릅니다. 그들은 모델 훈련을 위해 가능한 한 많은 데이터가 필요하며, robots.txt를 준수한다는 것은 일부 데이터 소스를 포기한다는 의미인데, 이는 치열한 모델 경쟁에서 경쟁 열위로 작용합니다. 규칙을 지키는 대가가 규칙을 위반하는 대가보다 높아지면 신사 협정은 무너집니다.

진정한 대응은 인프라 계층에서 시작해야 합니다.

2025년 7월, Cloudflare는 Pay-per-Crawl 메커니즘을 출시하여 웹사이트가 AI 크롤러의 데이터 수집 행위에 요금을 부과할 수 있도록 했습니다. 공식 발표에 따르면, 2026년 9월 15일부터 Cloudflare는 요금을 지불하지 않은 '혼합 용도' 크롤러를 기본적으로 차단할 예정입니다. 이는 업계 차원에서 가치 교환 메커니즘을 재구축하려는 중요한 시도입니다. AI 기업이 모델 훈련이나 검색 요약 제공을 위해 데이터가 필요하다면, 그 데이터를 얻기 위한 대역폭과 컴퓨팅 비용을 반드시 지불해야 한다는 것입니다. 이 메커니즘의 실질적 효과는 좀 더 지켜봐야겠지만, 머신 트래픽 비용을 콘텐츠 생산자에서 데이터 소비자에게로 되돌리는 올바른 방향을 제시합니다.

독립적인 사이트 운영자와 중소 스타트업 팀의 대응 경로는 몇 가지 단계로 나눌 수 있습니다.

첫 번째 단계는 식별입니다. 로그 분석을 통해 AI 트래픽의 비중과 출처를 명확히 파악하여, 서버 다운을 단순히 비즈니스 성장으로 치부하지 않아야 합니다. 많은 운영자가 사이트가 느려지거나 다운될 때 가장 먼저 서버를 업그레이드하거나 코드를 최적화하려 하지만, 머신 트래픽이 근본 원인이라는 사실을 파악하지 못한다면 서버 업그레이드는 더 높은 비용으로 다운 시기를 늦출 뿐 근본적인 해결책이 되지 못합니다. The Numbers 사례에서 Bruce Nash는 트래픽의 90%가 머신에서 발생한다는 사실을 알아챈 것 자체가 의사 결정의 출발점이었습니다.

두 번째 단계는 격리입니다. 엣지 컴퓨팅과 WAF(웹 애플리케이션 방화벽) 규칙을 활용해 머신 트래픽을 정적 캐시나 가벼운 응답으로 유도하여 데이터베이스와 동적 렌더링 로직에 직접적인 충격이 가해지지 않도록 합니다. 데이터 집약적 사이트라면, 빈도가 높은 요청의 페이지를 정적 파일로 사전 렌더링하여 크롤러가 실시간 쿼리 결과가 아닌 캐시된 HTML을 가져가도록 하는 것이 이에 해당합니다. 이것이 근본 문제를 해결해 주지는 않지만, 재구축을 위한 시간을 벌어줄 수 있습니다.

세 번째 단계는 비즈니스 모델 재구축입니다. 방문자의 90%가 더 이상 사람이 아니라면, 인간 페이지뷰에 기반한 광고 모델은 반드시 조정되어야 합니다. 가능한 출구로는 API 유료 접근(AI 기업이 구조화된 데이터 인터페이스에 대해 비용을 지불하도록 하는 방식), 데이터 라이선스(데이터를 제품으로 삼아 AI 기업에 직접 라이선싱), 더욱 강화된 로그인 장벽(핵심 데이터를 인증 뒤로 옮겨 노출 면적을 줄이는 방식) 등이 있습니다. 이러한 방향들은 단순한 기술 조정이 아니라 웹사이트 비즈니스 모델에 대한 재정의입니다.

The Numbers는 30년 된 기존 시스템을 포기하는 대가를 치르며 업계 전체에 경종을 울렸다. AI가 트래픽의 주역이 된 새로운 시대에, 트래픽은 더 이상 단순한 자산이 아니다. 오히려 면밀히 따져봐야 할 부채가 될 수 있다. 전통적인 웹사이트의 재구축은 ‘해야 하느냐 마느냐’의 문제가 아니라, 이 계산을 명확히 마친 후 새로운 생존 경계를 어떻게 찾을 것인가의 문제다. 데이터 집약적이고 인간 트래픽 기반의 수익화에 의존하는 독립 웹사이트들에게, The Numbers의 오늘이 곧 그들의 내일이 될 수 있다. 반면 데이터 노출 범위가 작고 비즈니스 모델이 페이지뷰 수익화에 의존하지 않는 웹사이트라면, 지금 해야 할 일은 경계를 늦추지 않고 트래픽 구조의 변화를 지속적으로 모니터링하며, 머신 트래픽이 진정한 부담이 되기 전에 미리 방어선을 구축하는 것이다.

인터넷 트래픽의 주체가 이미 바뀌었다. 웹사이트의 주인은 이제 셈을 다시 할 때다.