세계 최초의 사례로서, 선전 데이터 거래소(SDEX)는 Web3 인프라를 통해 분산형 커뮤니티 기여 AI 데이터를 실제 산업 응용 시나리오에 도입하는 거래를 촉진했습니다. 선전 데이터 거래소는 중국 디지털 경제의 데이터 시장화와 국경 간 유통을 위한 최대 규모의 국가적 데이터 거래 플랫폼으로서, 기업과 사용자가 효율적으로 데이터 거래를 완료할 수 있도록 규정 준수 보장, 유통 지원, 공급과 수요 매칭, 생태 개발을 포함한 다양한 서비스를 제공합니다.

저는 이전 기사에서 데이터가 글로벌 AI 경쟁의 다음 전장이 될 것이라고 거듭 강조했습니다. 이 글에서는 선전 데이터 과학 연구소가 분산형 AI(DeAI)를 기반으로 한 상용화 모델을 통해 국경 간 데이터 수집에서 중요한 단계를 어떻게 밟았는지 자세히 살펴봅니다.

AI의 병목 현상: 데이터

첫째, 현재 글로벌 AI 산업이 직면한 가장 큰 병목 현상인 데이터 부족을 다시 한번 강조해야 합니다.

점점 더 많은 산업과 회사가 혁신을 위해 AI 모델에 의존함에 따라 고품질 학습 데이터에 대한 수요가 급격히 증가하고 있습니다. 이 과제는 다양한 분야에 걸쳐 있습니다.

• 의료: AI 기반 진단 시스템은 질병을 정확하게 식별하기 위해 엄청난 양의 의료 이미지와 의료 기록 데이터가 필요합니다.

• 자율 주행: 자율 주행 차량은 복잡한 현실 세계 시나리오를 안전하게 처리하기 위해 수백만 마일에 달하는 다양한 주행 데이터가 필요합니다.

• 재무 모델링: 사기 탐지나 시장 예측에 사용되는 AI 알고리즘은 대량의 거래 데이터에 의존합니다.

• 스마트 제조: 장비, 재료, 결함의 이미지와 같은 고해상도 데이터는 자동화 및 품질 관리에서 컴퓨터 비전 모델의 핵심입니다.
  
  

따라서 핵심 질문은 다음과 같습니다. 어떻게 이렇게 엄청난 양의 데이터를 대규모로 얻을 수 있을까요?

기존의 중앙 집중식 데이터 수집 방법에는 많은 한계가 있습니다.

• 지정학적, 규제적 제한으로 인해 국경 간 데이터 공유가 어렵습니다.

• 유럽 ​​GDPR과 같은 데이터 개인정보 보호 규정은 데이터 수집 및 사용에 대해 엄격한 요구 사항을 부과합니다.

• 중앙화된 데이터 세트는 다양성이 부족하여 AI 모델에 편향이 생기기 쉽습니다.

• 데이터 액세스가 불평등하여 대형 기술 기업만이 고가 데이터 레이크를 제어할 수 있어 "울타리로 둘러싸인 정원" 효과가 발생합니다.

DeepMind가 DeAI를 사용하여 달성한 실용적인 혁신

칩을 둘러싼 전쟁이 언론의 헤드라인을 장식하는 동안, 똑같이 중요한 데이터를 둘러싼 전쟁이 조용히 진행되고 있습니다. 최근 선전 데이터 과학 기술 연구소는 중국 상장 AI 기업인 선전 윈티엔라이페이와 분산형 AI 솔루션 제공업체인 OORT를 포함한 참여 당사자들과 광범위한 사업 거래를 진행했습니다.

인텔리퓨전은 전문 보호 마스크, 밀폐된 공간의 환기 덕트 등 산업 데이터에 대한 수요를 포함하여 스마트 팩토리의 역량을 강화하기 위해 업계별 AI 솔루션을 개발해 왔습니다. OORT는 자사 제품인 OORT DataHub를 통해 130개국 이상의 글로벌 커뮤니티에 데이터 작업을 분산하여 이러한 데이터를 공개합니다. 참여자는 데이터를 제공하고 암호화폐로 인센티브를 받을 수 있는데, 이는 기존 은행이나 Web2 플랫폼에서는 불가능한 메커니즘입니다.

이 거래는 진정으로 상업적으로 실행 가능한 최초의 글로벌 분산형 데이터 수집 모델을 실현하는 것을 의미하며, 국경 간 데이터 서비스 분야에 큰 혁신을 가져올 것입니다.

ADX와 같은 기존 플랫폼의 한계

Amazon의 AWS Data Exchange(ADX)와 같은 플랫폼은 잘 알려져 있지만 AI 글로벌화의 다음 단계를 추진하는 데 상당한 한계가 있습니다.

• 커뮤니티에서 기여한 공개 데이터 부족: ADX는 주로 상업 기업이 주도하는 B2B 시장으로, 개발 도상국, 지역사회, 학술 연구, 오픈 소스 조직의 귀중한 데이터를 배제합니다. 예를 들어, 인도 농촌 지역의 수질에 대한 시민 과학 데이터나 아프리카 농부들이 수집한 농업 데이터는 AI 모델을 훈련하는 데 매우 귀중할 수 있습니다.

• 국경 간 규정 준수 과제: 중국, 인도, 유럽 연합과 같이 엄격한 데이터 현지화 법률이 있는 관할권에서는 국경 간 데이터 전송이 많은 제한에 직면합니다.

• 중앙 집중식 액세스 모델: 사용자는 AWS 계정과 Amazon의 인프라와 정책을 신뢰해야 합니다. 내장된 데이터 소유권 검증이나 자체 주권 ID가 부족하고, 게시자는 구독 및 청구 관리를 위해 AWS에 의존할 수밖에 없습니다.

• 전 세계적인 과소 대표성: 데이터 제공자는 주로 미국과 유럽에 집중되어 있는 반면, 아프리카, 라틴 아메리카, 동남아시아의 중소기업과 연구자, 토착 데이터 보유자, 커뮤니티/장치에서 생성된 데이터(예: 농촌 IoT 데이터)는 심각하게 과소평가됩니다.

• 제한적인 상호 운용성: ADX는 AWS 생태계와 잘 통합되어 있지만 다른 클라우드 플랫폼 및 Web3 도구와의 개방형 상호 운용성이 부족하여 Google Cloud, IPFS/Filecoin, 분산 컴퓨팅 계층 및 기본 블록체인 애플리케이션과의 통합이 어렵습니다.

DeAI는 과장된 광고를 넘어 실제 적용을 향해 나아갑니다.

이러한 배경 속에서 분산형 AI(DeAI) 분야는 상당한 진전을 이루고 있으며, 대기업이 주도하는 AI 환경에서 더욱 개방적인 미래를 구축하고자 노력하고 있습니다.

최근, 같은 날 두 개의 DeAI 제휴가 발표되었습니다.

첫 번째는 OORT, YGG, NEO, io.net 등 13개 Web3 기관이 시작한 HumanAIx로, 모든 당사자를 원활하게 연결하도록 설계된 개방형 프로토콜을 출시했습니다. 각 회원은 검증, 저장, 컴퓨팅, 데이터라는 핵심 구성 요소를 제공하여 허가가 필요 없고 확장 가능하며 검증 가능한 DeAI 인프라를 함께 구축합니다. 이 프로토콜은 인터페이스 계층, 프로토콜 계층(컴퓨팅, 스토리지, 데이터 통합), 보안 계층의 3계층 아키텍처를 채택하여 업계 경험을 결합하여 개방형 DeAI 개발 환경을 조성합니다.

동시에 NEAR, Aethir, Coinbase를 포함한 또 다른 Web3 리더 그룹이 AI의 보안, 오픈 소스, 경제성 및 공정한 사용을 보장하기 위해 노력하는 Open Agents Alliance(OAA)를 공동으로 결성했습니다.

현재 암호화폐 시장 침체와 AI를 둘러싼 과대 광고에도 불구하고, 업계의 주요 참여자들이 광범위하고 지속 가능한 솔루션을 개발하기 시작했다는 점은 고무적입니다. 결국에는 실행 가능한 사업 모델을 갖춘 프로젝트만이 생존할 수 있을 것입니다. 선전 데이터 과학 연구소는 분산형 데이터 수집을 통해 중요한 단계를 밟았으며, 이는 글로벌 데이터 환경에 변화를 가져왔습니다. 이는 AI 개발에서 데이터를 수집, 검증, 관리하는 방식을 재고해야 할 때가 되었다는 점을 일깨워줍니다.