DeAI가 중앙 집중형 AI와 경쟁하는 방식: 장점, 응용 분야 및 자금 조달

작성자: 0xJeff , Crypto KOL

편집자: Felix, PANews

요즘은 음식, 주택, 백과사전, 전자제품, 앱, 그리고 가장 최근에는 AI까지, 누구나 물건을 판매하고 있습니다.

과거에는 마슬로의 욕구 단계 중 하위 단계를 충족하는 실용적인 품목을 판매했지만, 지금은 특히 암호화된 AI 분야에서 화려한 모습으로 포장된 꿈과 희망을 판매합니다.

암호화된 AI 제품과 인프라는 이해하기 어려운 경우가 많아, 팀에서는 커뮤니케이션에 기술 전문 용어를 너무 많이 사용하여 사용자의 참여를 유도하지 못합니다.

더욱이 실제 AI 랩(단순한 랩이 아닌)을 시작하려면 인재, 기여자, 컴퓨팅 리소스 및 기타 필요한 리소스를 지원하기 위한 상당한 자금이 필요합니다.

고급 기업용 AI 연구실은 연간 수백만 달러의 비용이 소요될 수 있습니다. 최첨단 AI 모델을 연구, 학습 및 최적화하는 데는 수억 달러의 비용이 들 수 있습니다. H100 GPU는 2만 5천 달러에서 4만 달러 사이이며, 최신 Blackwell B200 및 GB200 GPU는 3만 달러에서 7만 달러 사이입니다. 최첨단 모델 하나를 학습하는 데 수천 개의 GPU가 필요할 수 있습니다.

분산형 AI(DeAI)의 장점: 더 작은 모델 + 강화 학습

단일 모델을 학습하기 위해 컴퓨팅 리소스를 전 세계적으로 조정하는 분산 시스템을 선택하면, 전 세계적으로 사용 가능한 유휴 GPU 네트워크를 활용할 수 있으므로 이론적으로 GPU 비용을 크게 절감(30%~90% 절감)할 수 있습니다. 그러나 실제로 이러한 GPU를 조정하고 모든 GPU가 고품질로 작동하도록 보장하는 것은 매우 어렵습니다. 따라서 아직까지 어떤 분산형 AI 연구실도 분산형 학습의 어려움을 극복하지 못했습니다.

하지만 몇몇 연구실에서 분산 강화 학습 분야에서 고무적인 성과를 거두었기 때문에 미래에 대한 희망은 여전히 남아 있습니다. 이러한 자가 학습과 자가 재생 과정을 통해 작은 모델이 매우 지능적으로 발전할 수 있습니다.

모든 상황에서 대규모 언어 모델(LLM)이 필요한 것은 아닙니다. 도메인별 모델을 학습시키고 강화 학습(RL)을 통해 모델의 역량을 개선하고 향상시키는 것이 엔터프라이즈급 AI 솔루션을 제공하는 가장 비용 효율적인 방법입니다. 궁극적으로 고객은 결과(규정 준수, 보안, 비용 효율성, 생산성 향상)를 원하기 때문입니다.

2019년, OpenAI Five는 Dota 2에서 당시 세계 챔피언이었던 OG를 물리쳤습니다. 이는 우연이 아니라, OG를 두 경기 연속으로 물리치며 완벽한 대승을 거두었습니다.

어떻게 그런 일이 일어나는지 궁금하실 겁니다.

도타 2는 5명의 플레이어가 서로 경쟁하여 다양한 목표를 달성하고 상대의 기지를 파괴하는 매우 복잡한 멀티플레이어 온라인 전투 경기장 게임입니다.

AI가 최고의 플레이어와 경쟁하기 위해 다음 단계를 따랐습니다.

처음부터 시작하여 직접 연습해 보세요. 기본기를 익히고 수백만 번의 연습 경기에 참여해 보세요. 승리하면 전략이 탄탄하다는 것을 의미하고, 패배하면 전략에 결함이 있다는 것을 의미합니다(즉, 대규모 시행착오를 겪음).
승리로 이어질 가능성이 높은 긍정적인 기대 가치(EV)를 지닌 행동(예: 포탑 파괴 또는 영웅 처치)에 대해 인센티브를 제공하는 보상 시스템(포인트)을 설정하고, 부정적인 기대 가치를 지닌 행동에 대해서는 포인트를 차감합니다.
이 훈련 방식은 "PPO"라는 강화 학습 알고리즘을 사용합니다. AI는 경쟁 중에 특정 행동을 시도하고, PPO는 그 결과를 피드백으로 처리합니다. 결과가 좋으면 더 많은 행동을 수행하고, 결과가 좋지 않으면 더 적은 행동을 수행합니다. 이 방식은 AI를 점진적으로 올바른 방향으로 안내합니다.
수백 개의 GPU가 거의 1년 동안 실행되어 AI를 훈련시켰는데, AI는 끊임없이 학습하고 게임 버전 업데이트와 변경 사항에 적응하고 있습니다.
일정 기간이 지난 후, 이 게임은 스스로 복잡한 전략을 모색하기 시작했습니다(레인 희생, 적절한 시기에 보수적이거나 공격적인 접근 방식 채택, 대규모 공격의 기회 포착 등). 또한 인간 플레이어와 경쟁하고 승리하기 시작했습니다.

OpenAI Five는 더 이상 사용되지 않지만, 작은 모델이 특정 도메인 작업에서는 매우 효과적일 수 있다는 점이 입증되었습니다(OpenAI Five의 매개변수는 58MB에 불과합니다).

OpenAI와 같은 대규모 AI 연구소는 강화 학습 모델을 훈련할 자금과 자원을 보유하고 있기 때문에 이를 실현할 수 있습니다. 만약 기업이 사기 탐지, 공장 로봇, 자율주행차, 또는 금융 시장 거래를 위한 자체 OpenAI Five를 구축하려면 상당한 자금이 필요할 것입니다.

분산형 강화 학습은 이러한 문제를 해결합니다. Nous Research, Pluralis, gensyn, Prime Intellect, Gradient와 같은 분산형 AI 연구소에서는 글로벌 GPU 네트워크를 구축하여 강화 학습 모델을 협력적으로 훈련하고, 기업 수준의 도메인별 AI를 위한 인프라를 제공하고 있습니다.

일부 연구실에서는 H100 대신 RTX 5090/4090을 사용하여 강화 학습 모델을 학습하는 등 비용을 더욱 절감하는 방법을 모색하고 있습니다. 다른 연구실에서는 강화 학습을 활용하여 대규모 기반 모델의 지능을 향상시키는 데 주력하고 있습니다.

연구 초점과 관계없이, 분산형 AI는 가장 유망한 개발 방향 중 하나가 될 것입니다. 분산형 강화 학습 솔루션이 대규모로 상업적으로 구축될 수 있다면, 기업 고객들은 AI에 막대한 투자를 할 것이고, 더 많은 분산형 AI 팀이 연간 8~9자리 수의 매출을 달성하는 모습을 보게 될 것입니다.

조정 계층을 통한 DeAI 자금 조달 및 확장

그러나 연간 8~9자리 수의 수익을 올리려면 상업적으로 실행 가능한 강화 학습 솔루션을 지속적으로 연구하고 구현하고 전환해야 하며, 이를 위해서는 상당한 자금이 필요합니다.

Bittensor와 같은 조정 계층을 통해 자금을 조달하는 것이 가장 좋은 방법 중 하나입니다. 수백만 달러 규모의 TAO 인센티브가 매일 서브넷(스타트업 및 AI 연구실)에 분배되고, 기여자(AI 인재)는 인센티브의 일부를 받는 대가로 관심 있는 서브넷에 기여합니다.

Bittensor를 통해 기여자는 AI 개발에 참여할 수 있고, 투자자는 DeAI 기술에 기여하는 AI 연구실에 투자할 수 있습니다.

현재 Bittensor 생태계에는 양자 컴퓨팅, 분산형 학습, AI 에이전트, 예측 시스템 등 몇 가지 핵심 DeAI 하위 분야가 두드러지게 나타나고 있습니다(강화 학습은 현재 그 중 하나가 아니지만, 3개 이상의 서브넷이 분산형 강화 학습에 적극적으로 집중하고 있습니다).

분산형 강화 학습의 현재 진행 상황은 어떻습니까?

강화 학습은 확장성이 입증되었지만 아직 산업화되지는 않았습니다. 다행히도 실제 피드백을 통해 학습할 수 있는 AI 에이전트에 대한 비즈니스 수요가 빠르게 증가하고 있습니다. 실제 환경, 영업 및 고객 서비스 통화, 그리고 시장 변화에 적응할 수 있는 거래 모델 등을 통해 학습할 수 있는 에이전트가 그 예입니다. 이러한 자가 학습 시스템은 기업에 수백만 달러의 비용을 절감하거나 창출할 수 있습니다.

개인정보 보호 기술 또한 부상하고 있습니다. 신뢰 실행 환경(TEE), TEE 내 암호화 임베딩, 그리고 피드백 루프 내 차등 개인정보 보호와 같은 기술을 적용하면 개인정보를 암호화하고 보호하는 데 도움이 되며, 이를 통해 의료, 금융, 법률 등 민감한 산업 분야에서 규정을 준수하는 동시에 강력하고 도메인별 자율 학습 AI 에이전트를 활용할 수 있습니다.

그 다음에는 무슨 일이 일어날까요?

강화 학습은 AI를 더욱 똑똑하게 만드는 가장 좋은 방법입니다. 강화 학습은 AI를 생성 시스템에서 능동적이고 지능적인 AI 에이전트로 전환합니다.

개인정보 보호와 강화 학습을 결합하면 실제 기업 도입이 촉진되어 고객에게 규정을 준수하는 솔루션을 제공할 수 있습니다.

강화 학습은 에이전트가 컴퓨팅 리소스를 구매하고, 서로 협상하고, 서비스를 제공하는 "에이전트 경제"를 가능하게 합니다.

분산형 강화 학습은 비용 효율성 덕분에 강화 학습 훈련의 확장을 위한 기본 방법이 될 것입니다.

연합 강화 학습이 등장하여 여러 당사자가 민감한 로컬 데이터를 공유하지 않고도 협업적으로 학습할 수 있게 될 것입니다. 이는 개인정보 보호와 자가 학습을 결합하여 규정 준수 요건을 충족하는 동시에 지능을 크게 향상시킬 것입니다.