AI 재난이 1년 안에 발생할까? Anthropic·OpenAI, 비공개로 최악 시나리오 시뮬레이션

AI 업계가 규제 변화를 초래할 수 있는 대형 사고에 대비하는 모습이 포착됐다. Anthropic과 OpenAI 등 주요 AI 기업 고위 관계자들은 AI로 인한 심각한 현실 피해 발생 시 미국 사회와 정치권의 반응을 비공개로 시뮬레이션하고 있다.

시나리오는 대규모 사이버 공격, 금융·인터넷·전력·수도 시스템 마비 등 극단적 상황을 포함
업계는 향후 6~12개월 내 중대 사고 발생 가능성을 점치며, 사고 후 규제 환경 변화에 대비해 미국 의회와 선제적 소통을 진행 중
핵심 우려는 불안전한 AI 사고가 대중의 반AI 정서를 부추기고, 기업과 경영진에 대한 압박이 커지는 것

AI 기업들은 레드팀 테스트로 최악의 시나리오를 검증하는 한편, 의원들에게 AI 관련 지식을 전파하는 등 규제 논의에 선제적으로 참여하려는 움직임을 보인다. 초지능 금지나 첨단 AI 개발 일시 중단 같은 제안도 있지만, 긴급 차단 스위치 도입처럼 초당적 지지를 받는 방안도 있다. 다만 오픈소스 AI 모델 확산과 AI 인프라가 글로벌 경제와 깊게 연결된 점은 규제 강화의 현실적 걸림돌로 작용할 전망이다. 정치적 균열 속에서도 위기 시 초당적 협력이 가능할지가 관건이다.

작성자: 부수칭(卜淑情), 월스트리트견문(华尔街见闻)

인공지능 업계는 규제 구도를 바꿀 수 있는 중대 사고에 대비하고 있다.

Axios의 최신 보도에 따르면, Anthropic, OpenAI 등 기업의 경영진은 AI가 심각한 현실적 피해를 초래할 경우 미국 사회와 정계가 어떻게 반응할지 비공개로 시뮬레이션하고 있다.

이러한 시뮬레이션은 금융 서비스, 인터넷 연결, 나아가 전력·상수도 시스템 중단을 포함한 대규모 사이버 공격 등 극단적 시나리오에 초점을 맞춘다. 업계 관계자들은 안전하지 않은 AI로 인한 중대 사고가 발생하면, 원래 이 기술에 신중한 태도를 보이던 대중이 더욱 반대 쪽으로 돌아서고 AI 기업과 경영진도 더 큰 여론 압박에 직면할 것을 우려한다.

보도에 따르면, 다수의 AI 업계 관계자들은 향후 6~12개월 내에 중대한 사건이 발생할 수 있다고 본다.企업 경영진은 이에 따라 미국 의회 의원들과 사전에 소통하기 시작했으며, 위기가 실제로 발생한 뒤 미국 정부가 제정하는 관련 법률과 정책에 영향을 미치기를 바라고 있다.

AI 기업, 중대 사고로 인한 대중 반발 우려

Axios 보도에 따르면, AI 기업들은 중대 사고 발생 후 나타날 수 있는 정치적·사회적 반응을 평가하고 있다. 관련 시나리오에는 내부 테스트 환경의 제한을 벗어난 통제 불능의 AI 에이전트 집단, 또는 악의적 행위자가 기존 모델을 이용해 공격을 감행하는 경우가 포함된다.

기업들은 AI가 처음으로 심각한 현실적 피해를 초래하면, 원래 이 기술에 신중한 태도를 보이던 대중이 더욱 반대 쪽으로 돌아설 것을 우려한다.

Anthropic CEO 다리오 아모데이(Dario Amodei), OpenAI CEO 샘 올트먼(Sam Altman) 등 업계 리더와, AI 규제 강화를 꺼린다는 비판을 받아온 도널드 트럼프 미국 대통령은 모두 더 큰 여론 압박에 직면할 수 있다.

기업, 사전 소통으로 사고 후 규제 대비

보도에 따르면, AI 기업들은 레드팀 테스트를 통해 최악의 시나리오를 시뮬레이션하는 한편, 미국 의회 의원들에게 AI 관련 지식을 보급하는 속도를 높이고 있다.

기업 경영진은 현재 규제 입법을 추진할 여건이 제한적이지만, 중대 사고가 정책 논의의 방향을 바꿀 수 있다고 본다. 따라서 그들은 관련 논의에 사전에 참여해 미국 정부가 그때 제정할 수 있는 법률과 정책에 영향을 미치기를 바라고 있다.

일부 민주당 인사들은 초지능 금지 또는 첨단 AI 개발 일시 중단 등의 주장을 내놓았다. 또 다른 제안들은 초당적 지지를 얻었고 일부 업계 관계자의 동의까지 얻었는데, 예를 들어 첨단 AI 시스템에 비상 정지 스위치를 설치하도록 요구하는 안이 있다. 다만 전문가들은 모든 AI 시스템을 전면 중단하는 것이 실제 운영상 가능한지에 대해서도 의문을 제기한다.

한편, 다수의 오픈 웨이트(open-weight) 모델이 이미 무료로 다운로드·사용될 수 있어 위험 관리의 복잡성을 높이고 있다. 많은 사이버 보안 전문가들은 AI를 활용해 악성 AI에 맞서는 것이 이 문제에 대응하는 방안 중 하나라고 본다.

규제 강화, 현실적 제약에 직면

중대한 AI 사고가 강한 반발을 불러일으키더라도, 미국 정부는 대응 정책을 마련하는 과정에서 여러 제약에 직면할 수 있다.

AI 인프라 구축은 이미 글로벌 경제와 깊이 얽혀 있다. 관련 구축 속도를 늦추면 이미 취약한 경제에 충격을 줄 수 있다. 이는 정부가 AI 규제 강화를 고려할 때 관련 경제적 영향도 함께 감당해야 함을 의미한다.

정치적 분열 역시 기업들이 주목하는 문제다. 일부 AI 업계 관계자들은 민주당이 중간선거 이후 더 엄격한 AI 제한 조치를 추진할 수 있다고 예상하지만, 민주당이 하원과 상원을 동시에 장악하더라도 당내 분열이 정책 추진에 영향을 미칠 수 있다.

Axios가 한 민주당 보좌관의 견해를 인용해 전한 바에 따르면, 실제로 위기가 발생하면 워싱턴의 양당은 일시적으로 이견을 접을 수 있다. 코로나19 팬데믹과 2008년 금융위기 당시의 협력 경험이 가능한 참고 사례로 여겨진다.

현재 AI 중대 사고가 향후 6~12개월 내에 발생할지는 여전히 불확실하다. 확실한 것은 Anthropic, OpenAI 등 기업이 이미 사고 발생 후의 정책 시나리오를 시뮬레이션하기 시작했고, 관련 규제 논의에 사전에 참여하려 시도하고 있다는 점이다.