강화 학습과 웹3의 진정한 기회는 오픈AI의 분산 버전을 복제하는 데 있는 것이 아니라 "지능형 생산 관계"를 재정립하는 데 있습니다.

작성자: 0xjacobzhao

본 독립 연구 보고서는 IOSG Ventures의 지원을 받아 작성되었습니다. 연구 및 집필 과정은 Sam Lehman(Pantera Capital)의 강화 학습 보고서에서 영감을 받았습니다. Ben Fielding(Gensyn.ai), Gao Yuan(Gradient), Samuel Dare & Erfan Miahi(Covenant AI), Shashank Yadav(Fraction AI), 그리고 Chao Wang의 귀중한 제안에 감사드립니다. 객관성과 정확성을 추구했으나, 일부 관점에는 주관적인 판단과 편향이 포함될 수 있습니다. 독자 여러분의 양해를 부탁드립니다.

인공지능은 주로 '패턴 학습'에 초점을 맞춘 통계적 학습에서 '구조적 추론'을 중심으로 하는 능력 시스템으로 진화하고 있으며, 사후 학습의 중요성이 빠르게 증가하고 있습니다. DeepSeek-R1의 등장은 대규모 모델 시대의 강화 학습에 패러다임 전환을 가져왔고, 사전 학습이 범용 모델 구축의 기반이 되며, 강화 학습은 더 이상 단순한 값 정렬 도구가 아니라 추론 과정의 질과 복잡한 의사 결정 능력을 체계적으로 향상시키는 기술로 자리매김하게 되었다는 업계의 공감대를 형성했습니다.

한편, 웹3는 분산 컴퓨팅 네트워크와 암호화 기반 인센티브 시스템을 통해 AI 생산 관계를 재편하고 있습니다. 롤아웃 샘플링, 보상 신호, 검증 가능한 학습 등 강화 학습의 구조적 요구 사항은 블록체인의 컴퓨팅 파워 협업, 인센티브 배분, 검증 가능한 실행과 자연스럽게 부합합니다. 본 보고서는 AI 학습 패러다임과 강화 학습 기술의 원리를 체계적으로 분석하고, 강화 학습과 웹3의 결합이 갖는 구조적 이점을 밝히며, 프라임 인텔렉트, 젠신, 누스 리서치, 그래디언트, 그레일, 프랙션 AI 등의 프로젝트를 분석합니다.

I. AI 훈련의 세 단계: 사전 훈련, 명령어 미세 조정, 사후 훈련 정렬

현대의 대규모 언어 모델(LLM)의 전체 학습 수명 주기는 일반적으로 사전 학습, 지도 미세 조정(SFT), 사후 학습/강화 학습의 세 가지 핵심 단계로 나뉩니다. 이 세 단계는 각각 "세계 모델 구축, 작업 기능 주입, 추론 및 가치 형성"이라는 기능을 수행하며, 각 단계의 계산 구조, 데이터 요구 사항 및 검증 난이도에 따라 분산 매칭 정도가 결정됩니다.

대규모 자기지도 학습을 통해 모델의 언어 통계 구조와 교차 모달 세계 모델을 구축하는 사전 학습은 LLM 기능의 기반입니다. 이 단계는 수조 개의 코퍼스를 전 세계적으로 동기적으로 학습해야 하며, 수천에서 수만 개의 H100 이미지로 구성된 동질적인 클러스터에 의존해야 하므로 전체 비용의 80~95%를 차지하고 대역폭 및 데이터 저작권에 매우 민감합니다. 따라서 고도로 중앙 집중화된 환경에서 수행해야 합니다.

지도 미세 조정은 작업 기능과 명령어 형식을 주입하는 데 사용됩니다. 이 과정은 소량의 데이터만 필요로 하며 전체 비용의 약 5~15%를 차지합니다. 미세 조정은 전체 매개변수 학습 또는 매개변수 효율 미세 조정(PEFT) 방법을 사용하여 수행할 수 있으며, 업계에서는 LoRA, Q-LoRA, Adapter가 주류 방법입니다. 그러나 여전히 기울기 동기화가 필요하기 때문에 분산 환경에서의 활용 가능성이 제한됩니다.

훈련 후 단계는 모델의 추론 능력, 가치, 안전 한계를 결정하는 여러 반복적인 하위 단계로 구성됩니다. 사용되는 방법에는 강화 학습 시스템(RLHF, RLAIF, GRPO), 강화 학습을 사용하지 않는 선호도 최적화 방법(DPO), 프로세스 보상 모델(PRM) 등이 있습니다. 이 단계는 데이터 양과 비용이 상대적으로 적고(5~10%), 주로 롤아웃 및 정책 업데이트에 집중합니다. 또한 비동기 및 분산 실행을 자연스럽게 지원하며, 노드는 전체 가중치를 보유할 필요가 없습니다. 검증 가능한 연산과 온체인 인센티브를 결합하여 개방형 분산 훈련 네트워크를 구축할 수 있으므로 Web3에 가장 적합한 훈련 단계입니다.

II. 강화 학습 기술의 개괄적 고찰: 아키텍처, 프레임워크 및 응용 2.1 강화 학습의 시스템 아키텍처 및 핵심 구성 요소

강화 학습(RL)은 "환경과의 상호작용-보상 피드백-정책 업데이트" 과정을 통해 모델이 자율적으로 의사결정 능력을 향상시키도록 합니다. RL의 핵심 구조는 상태, 행동, 보상, 정책으로 구성된 피드백 루프로 볼 수 있습니다. 완전한 RL 시스템은 일반적으로 정책(정책 네트워크), 롤아웃(경험 샘플링), 학습기(정책 업데이트)의 세 가지 구성 요소로 이루어져 있습니다. 정책은 환경과 상호작용하여 궤적을 생성하고, 학습기는 보상 신호에 따라 정책을 업데이트하여 지속적이고 반복적인 최적화 학습 과정을 형성합니다.

정책 네트워크: 환경 상태로부터 행동을 생성하며 시스템 의사 결정의 핵심입니다. 학습 단계에서는 일관성 유지를 위해 중앙 집중식 역전파가 필요하지만, 추론 단계에서는 병렬 실행을 위해 여러 노드에 분산될 수 있습니다.

배포: 노드는 정책에 따라 환경과 상호 작용하며 상태, 행동, 보상과 같은 궤적을 생성합니다. 이 프로세스는 고도로 병렬화되어 있고 통신량이 매우 적으며 하드웨어 차이에 영향을 받지 않으므로 분산 환경에서 확장에 가장 적합한 구성 요소입니다.

학습기는 모든 롤아웃 궤적을 집계하고 정책 경사 업데이트를 수행합니다. 이 모듈은 컴퓨팅 성능과 대역폭에 대한 요구 사항이 가장 높기 때문에 수렴 안정성을 보장하기 위해 일반적으로 중앙 집중식 또는 부분적으로 중앙 집중식 방식으로 배포됩니다.

2.2 강화 학습 단계 프레임워크 (RLHF → RLAIF → PRM → GRPO)

강화 학습은 일반적으로 다섯 단계로 나눌 수 있으며, 전체적인 과정은 다음과 같습니다.

데이터 생성 단계(정책 탐색): 입력 단서가 주어지면 정책 모델 πθ는 여러 후보 추론 체인 또는 완전한 궤적을 생성하여 후속 선호도 평가 및 보상 모델링을 위한 샘플 기반을 제공하고 정책 탐색의 범위를 결정합니다.

선호도 피드백 단계(RLHF/RLAIF):

RLHF(인간 피드백 기반 강화 학습)는 여러 개의 후보 답변, 인간 선호도 주석, 보상 모델(RM) 학습, 그리고 PPO 최적화 전략을 활용하여 모델 출력이 인간의 가치관과 더욱 일치하도록 만듭니다. 이는 GPT-3.5에서 GPT-4로의 전환에 있어 핵심적인 단계입니다.

RLAIF(Reinforcement Learning from AI Feedback)는 수동 주석 작업을 AI Judge 또는 헌법 규칙으로 대체하여 선호도 획득을 자동화하고 비용을 크게 절감하며 확장성을 제공합니다. Anthropic, OpenAI, DeepSeek과 같은 기업에서 주류 정렬 패러다임으로 자리 잡았습니다.

보상 모델링 단계: 선호도 기반 보상 모델은 출력을 보상에 매핑하는 방법을 학습합니다. 보상 모델링(RM)은 모델에게 "정답이 무엇인지"를 가르치고, 선호도 기반 보상 모델링(PRM)은 모델에게 "올바른 추론 방법"을 가르칩니다.

보상 모델(RM)은 최종 답변의 품질을 평가하는 데 사용되며, 출력 결과에만 점수를 부여합니다.

프로세스 보상 모델(PRM)은 최종 답변만 평가하는 것이 아니라 추론의 각 단계, 각 토큰, 그리고 각 논리적 구간에 점수를 매깁니다. 이는 OpenAI o1과 DeepSeek-R1의 핵심 기술이며, 본질적으로 모델에게 사고하는 방법을 가르치는 역할을 합니다.

보상 검증 단계(RLVR): 보상 신호 생성 및 사용 과정에서 "검증 가능한 제약 조건"을 도입하여 보상이 재현 가능한 규칙, 사실 또는 합의에 기반하도록 함으로써 보상 조작 및 편향 위험을 줄이고 개방형 환경에서 감사 가능성과 확장성을 향상시킵니다.

정책 최적화는 보상 모델의 신호에 따라 정책 매개변수 θ를 업데이트하여 추론 능력이 더 강하고 보안성이 더 높으며 동작 패턴이 더 안정적인 정책 πθ′를 얻는 과정입니다. 주요 최적화 방법에는 다음과 같은 것들이 있습니다.

PPO(근접 정책 최적화): RLHF에서 사용되는 전통적인 최적화 알고리즘으로 안정성이 뛰어나지만, 수렴 속도가 느리고 복잡한 추론 작업에서 안정성이 부족한 등의 한계에 직면하는 경우가 많습니다.

그룹 상대 정책 최적화(GRPO)는 DeepSeek-R1의 핵심 혁신 기술입니다. 단순히 후보 답변 그룹들의 순위를 매기는 대신, 그룹 내 이점 분포를 모델링하여 기대값을 추정합니다. 이 방법은 보상 크기 정보를 보존하고, 추론 체인 최적화에 더욱 적합하며, 학습 과정이 더욱 안정적입니다. PPO 이후 심층 추론 시나리오를 위한 중요한 강화 학습 최적화 프레임워크로 여겨집니다.

DPO(Direct Preference Optimization): 강화 학습 방식이 아닌 사후 학습 방법입니다. 궤적을 생성하거나 보상 모델을 구축하는 대신, 선호 쌍을 직접 최적화합니다. 비용이 저렴하고 안정적이어서 Llama, Gemma와 같은 오픈 소스 모델의 정렬에 널리 사용되지만, 추론 능력 향상에는 기여하지 않습니다.

새로운 정책 배포 단계: 최적화된 모델은 향상된 시스템 2 추론 능력, 인간 또는 AI 선호도에 더욱 부합하는 행동, 낮은 오류 발생률, 그리고 높은 보안성을 보여줍니다. 지속적인 반복을 통해 모델은 선호도를 학습하고, 프로세스를 최적화하며, 의사결정 품질을 개선하여 폐쇄 루프를 형성합니다.

2.3 강화 학습의 산업 응용 분야 5가지 주요 범주

강화 학습은 초기 게임 이론적 지능에서 발전하여 다양한 산업 분야에서 자율적 의사결정을 위한 핵심 프레임워크로 자리 잡았습니다. 기술적 성숙도와 산업적 구현 정도에 따라 강화 학습의 적용 시나리오는 크게 다섯 가지 유형으로 분류할 수 있으며, 각 유형은 해당 분야에서 중요한 혁신을 이끌어 왔습니다.

게임 및 전략 시스템: 이는 강화 학습이 가장 먼저 검증된 분야입니다. 알파고, 알파제로, 알파스타, 오픈AI 파이브와 같이 "완벽한 정보 + 명확한 보상" 환경에서 강화 학습은 인간 전문가와 견줄 만하거나 심지어 능가하는 의사결정 능력을 보여주었으며, 현대 강화 학습 알고리즘의 토대를 마련했습니다.

로봇공학 및 인공지능 구현: 강화 학습(RL)은 로봇이 지속적인 제어, 동적 모델링 및 환경과의 상호작용을 통해 조작, 동작 제어 및 교차 모달 작업(예: RT-2 및 RT-X)을 학습할 수 있도록 합니다. 강화 학습은 산업화 단계로 빠르게 나아가고 있으며, 로봇의 실세계 적용을 위한 핵심 기술입니다.

디지털 추론(LLM 시스템-2): 강화 학습(RL)과 확률적 추론(PRM)을 결합하여 대규모 모델을 "언어 모방"에서 "구조적 추론"으로 발전시킵니다. 대표적인 성과로는 DeepSeek-R1, OpenAI o1/o3, Anthropic Claude, AlphaGeometry 등이 있습니다. 이 시스템의 핵심은 최종 답만 평가하는 것이 아니라 추론 과정 단계에서 보상을 최적화하는 것입니다.

과학적 발견과 수학적 최적화(강화 학습): 강화 학습은 레이블이 지정되지 않은 복잡한 보상과 방대한 탐색 공간에서 최적의 구조 또는 전략을 찾는 기술로, 알파텐서, 알파데브, 퓨전 강화 학습과 같은 근본적인 혁신을 이루어 인간의 직관을 뛰어넘는 탐색 능력을 입증했습니다.

경제적 의사결정 및 거래: 강화 학습(RL)은 전략 최적화, 고차원적 위험 관리, 적응형 거래 시스템 생성에 사용됩니다. 기존의 정량적 모델과 비교하여 불확실한 환경에서도 지속적으로 학습할 수 있으며, 지능형 금융의 중요한 구성 요소입니다.

III. 강화 학습과 Web3의 자연스러운 결합

강화 학습(RL)과 웹3의 높은 호환성은 둘 다 본질적으로 "인센티브 기반 시스템"이라는 사실에서 비롯됩니다. RL은 보상 신호를 활용하여 전략을 최적화하고, 블록체인은 경제적 인센티브를 통해 참여자들의 행동을 조정하므로 메커니즘 수준에서 자연스럽게 유사합니다. RL의 핵심 요구 사항인 대규모 이기종 배포, 보상 분배, 그리고 진위 검증은 웹3의 구조적 이점이 발휘되는 부분과 정확히 일치합니다.

추론과 훈련의 분리: 강화 학습의 훈련 과정은 크게 두 단계로 나눌 수 있다.

롤아웃(탐색적 샘플링): 이 모델은 현재 정책을 기반으로 대량의 데이터를 생성하는데, 이는 계산 집약적이지만 통신 빈도가 낮은 작업입니다. 노드 간 빈번한 통신이 필요하지 않으며, 전 세계적으로 분산된 일반 소비자용 GPU에서 병렬로 생성하기에 적합합니다.

업데이트(매개변수 업데이트): 수집된 데이터를 기반으로 모델 가중치를 업데이트합니다. 이 작업을 완료하려면 높은 대역폭을 가진 중앙 집중식 노드가 필요합니다.

"추론-학습 분리"는 분산형 이기종 컴퓨팅 파워 구조에 자연스럽게 적용됩니다. 배포는 개방형 네트워크에 위탁하고 토큰 메커니즘을 통해 기여도에 따라 정산하는 반면, 모델 업데이트는 안정성을 보장하기 위해 중앙 집중식으로 관리됩니다.

검증 가능성: ZK(Zero Knowledge)와 학습 증명(Proof-of-Learning)은 노드가 실제로 추론을 수행하는지 검증하는 수단을 제공하여 개방형 네트워크의 정직성 문제를 해결합니다. 코딩이나 수학적 추론과 같은 결정론적 작업에서 검증자는 작업량을 확인하기 위해 답만 확인하면 되므로 분산형 강화 학습 시스템의 신뢰성을 크게 향상시킵니다.

인센티브 계층은 토큰 기반 피드백 생성 메커니즘에 기반합니다. Web3의 토큰 메커니즘은 RLHF/RLAIF 선호도 피드백 제공자에게 직접 보상을 제공하여 선호도 데이터 생성에 투명하고, 정산 가능하며, 허가가 필요 없는 인센티브 구조를 구현합니다. 스테이킹 및 슬래싱은 피드백 품질을 더욱 엄격하게 관리하여 기존 크라우드소싱보다 효율적이고 균형 잡힌 피드백 시장을 형성합니다.

다중 에이전트 강화 학습(MARL)의 잠재력: 블록체인은 본질적으로 공개적이고 투명하며 지속적으로 진화하는 다중 에이전트 환경입니다. 계정, 계약 및 에이전트는 인센티브 기반 조건 하에서 전략을 끊임없이 조정하므로 대규모 MARL 테스트 환경을 구축할 수 있는 자연스러운 잠재력을 지니고 있습니다. 아직 초기 단계이지만, 공개 상태, 검증 가능한 실행 및 프로그래밍 가능한 인센티브라는 블록체인의 특징은 MARL의 미래 발전에 근본적인 이점을 제공합니다.

IV. 기존 Web3 + 강화 학습 프로젝트 분석

위의 이론적 틀을 바탕으로 현재 생태계에서 가장 대표적인 프로젝트들을 간략하게 분석해 보겠습니다.

프라임 인텔렉트: 비동기 강화 학습 패러다임

Prime Intellect는 글로벌 개방형 컴퓨팅 시장 구축, 교육 장벽 완화, 협업형 분산 교육 촉진, 그리고 완전한 오픈 소스 초지능 기술 스택 개발에 전념하고 있습니다. Prime Intellect의 생태계는 Prime Compute(통합 클라우드/분산 컴퓨팅 환경), INTELLECT 모델 제품군(10B~100B+), Environments Hub(개방형 강화 학습 환경 센터), 그리고 대규모 합성 데이터 엔진(SYNTHETIC-1/2)으로 구성됩니다.

Prime Intellect의 핵심 인프라 구성 요소인 prime-rl 프레임워크는 비동기 분산 환경에 맞게 설계되었으며 강화 학습과 매우 밀접한 관련이 있습니다. 다른 구성 요소로는 대역폭 병목 현상을 극복하기 위한 OpenDiLoCo 통신 프로토콜과 계산 무결성을 보장하는 TopLoc 검증 메커니즘이 있습니다.

Prime Intellect 핵심 인프라 구성 요소 개요

기술적 기반: Prime-RL 비동기 강화 학습 프레임워크

prime-rl은 Prime Intellect의 핵심 학습 엔진으로, 대규모 비동기 분산 환경에 특화되어 설계되었습니다. 액터와 러너를 완전히 분리하여 높은 처리량의 추론과 안정적인 업데이트를 구현합니다. 롤아웃 워커와 러너는 더 이상 동기적으로 차단되지 않으며, 노드는 언제든지 참여하거나 이탈할 수 있습니다. 최신 전략을 지속적으로 가져오고 생성된 데이터를 업로드하는 방식으로 작동합니다.

액터(롤아웃 워커): 모델 추론 및 데이터 생성 담당. Prime Intellect는 vLLM 추론 엔진을 액터 측에 혁신적으로 통합했습니다. vLLM의 PagedAttention 기술과 연속 배치 처리 기능을 통해 액터는 매우 높은 처리량으로 추론 궤적을 생성할 수 있습니다.

학습자(트레이너): 정책 최적화를 담당합니다. 학습자는 모든 액터가 현재 배치를 완료할 때까지 기다리지 않고 공유 경험 버퍼에서 비동기적으로 데이터를 가져와 기울기 업데이트를 수행합니다.

오케스트레이터: 모델 가중치 및 데이터 흐름 스케줄링을 담당합니다.

prime-rl의 주요 혁신 사항:

진정한 비동기성: prime-rl은 기존 PPO의 동기식 패러다임을 버리고, 느린 노드를 기다리지 않으며, 배치 정렬을 요구하지 않아 어떤 수와 성능의 GPU든 언제든지 접근할 수 있도록 함으로써 분산형 강화 학습의 실현 가능성을 위한 토대를 마련합니다.

FSDP2와 MoE의 심층 통합: FSDP2 파라미터 슬라이싱과 MoE 희소 활성화 함수를 통해 prime-rl은 분산 환경에서 수십억 개의 모델을 효율적으로 학습할 수 있습니다. 액터는 활성화된 전문가만 실행하므로 GPU 메모리와 추론 비용이 크게 절감됩니다.

GRPO+ (그룹 상대 정책 최적화): GRPO는 크리틱 네트워크를 제거하여 계산 및 메모리 오버헤드를 크게 줄이고 비동기 환경에 자연스럽게 적응합니다. Prime-RL의 GRPO+는 안정화 메커니즘을 통해 높은 지연 시간 조건에서도 안정적인 수렴을 보장합니다.

INTELLECT 모델 제품군: 분산형 강화 학습 기술의 성숙도를 나타내는 지표.

INTELLECT-1(10B, 2024년 10월)은 OpenDiLoCo가 3개 대륙에 걸쳐 있는 이기종 네트워크(통신 비율 <2%, 컴퓨팅 파워 활용률 98%)에서 효율적으로 훈련될 수 있음을 최초로 입증하여 지역 간 훈련에 대한 물리적 이해를 뛰어넘었습니다.

INTELLECT-2(32B, 2025년 4월)는 최초의 허가 없는 RL 모델로서, 다단계 지연 및 비동기 환경에서 prime-rl과 GRPO+의 안정적인 수렴 능력을 검증하고, 전 세계 개방형 컴퓨팅 파워 참여를 통해 분산형 RL을 구현합니다.

INTELLECT-3(106B MoE, 2025년 11월)는 120억 개의 파라미터만 활성화하는 희소 아키텍처를 채택했습니다. 512×H200 데이터셋으로 학습되어 플래그십 수준의 추론 성능(AIME 90.8%, GPQA 74.4%, MMLU-Pro 81.9% 등)을 달성했습니다. 전반적인 성능은 훨씬 더 큰 규모의 중앙 집중식 폐쇄형 소스 모델과 비슷하거나 오히려 능가합니다.

Prime Intellect는 또한 여러 지원 인프라 구성 요소를 구축했습니다. OpenDiLoCo는 시간적 희소 통신과 양자화 가중치 차이를 통해 지역 간 훈련 통신량을 수백 배 줄여 INTELLECT-1이 3개 대륙에 걸쳐 98%의 활용률을 유지할 수 있도록 합니다. TopLoc + Verifiers는 분산형 신뢰 실행 계층을 구성하여 지문 및 샌드박스 검증을 활성화함으로써 추론 및 보상 데이터의 진위성을 보장합니다. SYNTHETIC 데이터 엔진은 대규모의 고품질 추론 체인을 생성하고 파이프라인 병렬 처리를 통해 671B 모델이 일반 소비자용 GPU 클러스터에서 효율적으로 실행될 수 있도록 합니다. 이러한 구성 요소는 분산형 강화 학습에서 데이터 생성, 검증 및 추론 처리량을 위한 중요한 엔지니어링 기반을 제공합니다. INTELLECT 시리즈는 이러한 기술 스택이 성숙하고 세계적인 수준의 모델을 생성할 수 있음을 입증하며, 분산형 훈련 시스템이 개념 단계에서 실제 응용 단계로 전환되었음을 보여줍니다.

Gensyn: 강화 학습, Swarm 및 SAPO의 핵심 스택

젠신(Gensyn)의 목표는 전 세계의 유휴 컴퓨팅 파워를 개방적이고 신뢰할 수 있으며 무한히 확장 가능한 AI 학습 인프라로 통합하는 것입니다. 핵심 구성 요소는 디바이스 간 표준화된 실행 레이어, P2P(피어 투 피어) 조정 네트워크, 그리고 스마트 계약을 통해 작업과 보상을 자동으로 할당하는 신뢰할 수 없는 작업 검증 시스템입니다. 강화 학습의 특성을 활용하여 젠신은 RL Swarm, SAPO, SkipPipe와 같은 핵심 메커니즘을 도입하여 생성, 평가 및 업데이트 단계를 분리하고, 전 세계적으로 다양한 GPU로 구성된 "군집"을 활용하여 집단 진화를 구현합니다. 궁극적으로 젠신은 단순한 컴퓨팅 파워를 넘어 검증 가능한 지능을 제공합니다.

Gensyn 스택의 강화 학습 응용 프로그램

RL Swarm: 분산형 협업 강화 학습 엔진

RL Swarm은 완전히 새로운 협업 모델을 제시합니다. 이는 단순한 작업 분배 시스템이 아니라, 인간의 사회적 학습을 모방한 분산형 "생성-평가-업데이트" 루프이며, 협업 학습 과정과 유사하게 무한 루프를 가지고 있습니다.

솔버(실행기): 로컬 모델 추론 및 롤아웃 생성을 담당하며, 이기종 노드 간에 원활하게 작동합니다. Gensyn은 고처리량 추론 엔진(예: CodeZero)을 로컬에 통합하여 정답뿐 아니라 전체 궤적을 출력합니다.

제안 내용: 커리큘럼 학습과 유사하게 과제의 다양성과 적응형 난이도를 지원하면서 과제(수학 문제, 코딩 문제 등)를 동적으로 생성합니다.

평가자: 고정된 "판정 모델" 또는 규칙을 사용하여 로컬 배포를 평가하고 로컬 보상 신호를 생성합니다. 평가 프로세스는 감사 가능하므로 악의적인 행위의 가능성을 줄입니다.

이 세 가지 요소가 함께 P2P RL 조직 구조를 형성하여 중앙 집중식 일정 관리 없이 대규모 협력 학습을 가능하게 합니다.

SAPO: 분산 재구성을 위한 정책 최적화 알고리즘: SAPO(Swarm Sampling Policy Optimization)는 "그래디언트를 공유하는 대신 롤아웃을 공유하고 그래디언트가 없는 신호 샘플을 필터링하는 데 중점을 둡니다." 대규모 분산 롤아웃 샘플링을 통해, 수신된 롤아웃을 로컬에서 생성된 것으로 간주함으로써, 중앙 집중식 조정이 없고 노드 지연 시간이 크게 차이나는 환경에서도 안정적인 수렴을 유지합니다. 크리틱 네트워크에 의존하고 계산 비용이 높은 PPO나 그룹 내 이점 추정에 기반한 GRPO와 비교했을 때, SAPO는 일반 소비자용 GPU도 매우 낮은 대역폭으로 대규모 강화 학습 최적화에 효과적으로 참여할 수 있도록 합니다.

Gensyn은 RL Swarm과 SAPO를 통해 강화 학습(특히 사후 학습 RLVR)이 분산 아키텍처에 매우 적합하다는 것을 입증했습니다. 이는 강화 학습이 고빈도 파라미터 동기화보다는 대규모의 다양한 배포에 더 의존하기 때문입니다. PoL과 Verde의 검증 프레임워크와 결합하여 Gensyn은 단일 기술 대기업에 더 이상 의존하지 않고 수조 개의 파라미터를 가진 모델을 학습할 수 있는 대안을 제시합니다. 바로 전 세계 수백만 개의 이기종 GPU로 구성된 자율 진화형 초지능 네트워크입니다.

Nous Research: Atropos, 검증 기반 강화 학습 환경

Nous Research는 분산형 자율 진화 인지 인프라를 구축하고 있습니다. 핵심 구성 요소인 Hermes, Atropos, DisTrO, Psyche, World Sim은 지속적으로 진화하는 폐쇄 루프 지능형 시스템으로 구성됩니다. 기존의 "사전 학습-사후 학습-추론"이라는 선형 프로세스와 달리, Nous는 DPO, GRPO, 거부 샘플링과 같은 강화 학습 기법을 활용하여 데이터 생성, 검증, 학습 및 추론을 지속적인 피드백 루프로 통합함으로써 지속적으로 자체 개선되는 폐쇄 루프 AI 생태계를 구축합니다.

Nous 연구 구성 요소 개요

모델 계층: 헤르메스와 추론 능력의 진화

Hermes 시리즈는 Nous Research의 주요 사용자 대면 모델 인터페이스이며, 그 발전 과정은 업계가 전통적인 SFT/DPO 방식에서 추론 강화 학습(RL)으로 전환하는 경로를 명확하게 보여줍니다.

Hermes 1~3: 명령어 정렬 및 초기 에이전트 기능: Hermes 1~3은 강력한 명령어 정렬을 위해 저비용 DPO에 의존했으며, Hermes 3은 합성 데이터와 새롭게 도입된 Atropos 검증 메커니즘을 활용했습니다.

Hermes 4 / DeepHermes: 시스템 2 스타일의 느린 사고 방식을 사고 사슬을 통해 가중치에 통합하고, 테스트 시간 확장을 통해 수학적 및 코드 성능을 향상시키며, "거부 샘플링 + Atropos 검증"을 사용하여 고순도 추론 데이터를 구축합니다.

DeepHermes는 배포 및 구현이 어려운 PPO를 GRPO로 대체하여 Psyche 분산 GPU 네트워크에서 강화 학습 추론을 실행할 수 있도록 함으로써 오픈 소스 강화 학습 추론의 확장성을 위한 엔지니어링 기반을 마련했습니다.

Atropos: 검증 가능한 보상 기반 강화 학습 환경

Atropos는 Nous RL 시스템의 핵심 구성 요소입니다. 힌트, 도구 호출, 코드 실행, 다중 턴 상호작용을 표준화된 RL 환경으로 통합하여 출력 정확성을 직접 검증하고 확정적인 보상 신호를 제공함으로써, 비용이 많이 들고 확장성이 떨어지는 인간의 주석 작업을 대체합니다. 더욱 중요한 것은, 분산형 학습 네트워크인 Psyche에서 Atropos는 "심판" 역할을 하여 노드들이 정책을 실제로 개선하고 있는지 검증하고, 학습 증명을 지원하며, 분산 RL에서 보상 신뢰성 문제를 근본적으로 해결한다는 점입니다.

DisTrO와 Psyche: 분산 강화 학습을 위한 최적화 계층

기존의 RLF(RLHF/RLAIF) 학습은 중앙 집중식 고대역폭 클러스터에 의존하는데, 이는 오픈 소스 시스템에서 재현할 수 없는 핵심적인 장벽입니다. DisTrO는 모멘텀 분리와 그래디언트 압축을 통해 강화 학습의 통신 비용을 몇 배나 줄여 인터넷 대역폭에서 학습을 실행할 수 있도록 합니다. Psyche는 이 학습 메커니즘을 온체인 네트워크에 배포하여 노드들이 추론, 검증, 보상 평가 및 가중치 업데이트를 로컬에서 완료할 수 있도록 함으로써 완전한 강화 학습 폐쇄 루프를 구축합니다.

Nous 아키텍처에서 Atropos는 사고 과정을 검증하고, DisTrO는 훈련 통신을 압축하며, Psyche는 강화 학습 루프를 실행하고, WorldSim은 복잡한 환경을 제공하며, Forge는 실제 추론 데이터를 수집하고, Hermes는 모든 학습 결과를 가중치에 기록합니다. 강화 학습은 단순히 훈련 단계가 아니라, 데이터, 환경, 모델 및 인프라를 연결하는 Nous 아키텍처의 핵심 프로토콜로서, Hermes를 오픈 소스 컴퓨팅 네트워크에서 지속적으로 자체 개선이 가능한 살아있는 시스템으로 만들어줍니다.

그래디언트 네트워크: 에코(Echo), 강화 학습 아키텍처

Gradient Network의 핵심 비전은 "개방형 인텔리전스 스택"을 통해 AI 컴퓨팅 패러다임을 재정립하는 것입니다. Gradient의 기술 스택은 독립적으로 발전하면서도 이질적인 협업이 가능한 핵심 프로토콜들로 구성됩니다. 기본 통신부터 상위 계층의 지능형 협업에 이르기까지, 아키텍처는 Parallax(분산 추론), Echo(분산형 강화 학습), Lattica(P2P 네트워크), SEDM/Massgen/Symphony/CUAHarm(메모리, 협업 및 보안), VeriLLM(신뢰할 수 있는 검증), Mirage(고충실도 시뮬레이션) 등을 포함하며, 이들은 지속적으로 진화하는 분산형 지능형 인프라를 형성합니다.

에코 — 강화 학습 훈련 아키텍처

Echo는 Gradient의 강화 학습 프레임워크입니다. 핵심 설계 철학은 강화 학습에서 훈련, 추론, 데이터(보상) 경로를 분리하여 롤아웃 생성, 정책 최적화, 보상 평가를 이기종 환경에서 독립적으로 확장하고 스케줄링할 수 있도록 하는 것입니다. 추론 및 훈련 노드로 구성된 이기종 네트워크에서 협업 방식으로 작동하며, 경량 동기화 메커니즘을 통해 광범위한 이기종 환경에서 훈련 안정성을 유지합니다. 이는 기존 DeepSpeed ​​RLHF/VERL에서 추론과 훈련이 혼합되어 발생하는 SPMD 오류 및 GPU 사용률 병목 현상을 효과적으로 완화합니다.

Echo는 추론과 학습에 이중 그룹 아키텍처를 사용하여 연산 능력 활용도를 극대화합니다. 두 그룹은 독립적으로 작동하며 서로를 방해하지 않습니다.

샘플링 처리량 극대화: 소비자용 GPU와 엣지 디바이스로 구성된 인퍼런싱 스웜은 Parallax를 사용하여 파이프라인 병렬 방식으로 고처리량 샘플러를 구축하고, 특히 궤적 생성에 집중합니다.

기울기 계산 능력 극대화: 중앙 집중식 클러스터 또는 전 세계 여러 위치에서 실행될 수 있는 소비자용 GPU 네트워크로 구성된 트레이닝 스웜은 기울기 업데이트, 매개변수 동기화 및 LoRA 미세 조정을 담당하여 학습 프로세스에 집중합니다.

정책과 데이터 간의 일관성을 유지하기 위해 Echo는 정책 가중치 및 궤적의 양방향 일관성 관리를 구현하는 두 가지 경량 동기화 프로토콜(순차식 및 비동기식)을 제공합니다.

순차적 풀 모드 | 정밀도 우선 순위: 학습 측에서 추론 노드가 새로운 궤적을 가져오기 전에 모델 버전을 갱신하도록 하여 궤적의 최신성을 보장합니다. 이는 정책의 최신성 유지에 매우 민감한 작업에 적합합니다.

비동기 푸시-풀 모드 | 효율성 우선: 추론 측은 버전 레이블이 포함된 궤적을 지속적으로 생성하고, 학습 측은 자체적인 주기에 따라 이를 사용하며, 코디네이터는 버전 편차를 모니터링하고 가중치 갱신을 트리거하여 장치 활용도를 극대화합니다.

Echo는 본질적으로 Parallax(저대역폭 환경에서의 이기종 추론)와 경량 분산 학습 구성 요소(예: VERL)를 기반으로 구축되었으며, LoRA를 활용하여 노드 간 동기화 비용을 줄임으로써 전 세계의 이기종 네트워크에서 강화 학습이 안정적으로 실행될 수 있도록 합니다.

Grail: Bittensor 생태계에서의 강화 학습

Bittensor는 고유한 Yuma 합의 메커니즘을 통해 대규모의 희소하고 비정상적인 보상 함수 네트워크를 구축합니다.

Bittensor 생태계 내의 Covenant AI는 SN3 Templar, SN39 Basilica 및 SN81 Grail을 사용하여 사전 학습부터 사후 강화 학습까지 수직적으로 통합된 파이프라인을 구축했습니다. SN3 Templar는 기본 모델의 사전 학습을 담당하고, SN39 Basilica는 분산 컴퓨팅 마켓플레이스를 제공하며, SN81 Grail은 사후 강화 학습을 위한 "검증 가능한 추론 계층" 역할을 하여 RLHF/RLAIF의 핵심 프로세스를 수행하고 기본 모델에서 정렬 전략에 이르기까지 폐쇄 루프 최적화를 완료합니다.

GRAIL은 각 강화 학습 롤아웃의 진위성과 모델의 신원과의 연결을 암호학적으로 증명하여, 신뢰할 수 없는 환경에서도 RLHF가 안전하게 실행될 수 있도록 보장하는 것을 목표로 합니다. 이 프로토콜은 3계층 메커니즘을 통해 신뢰 체인을 구축합니다.

결정론적 과제 생성: 무작위 비콘과 블록 해시를 사용하여 예측 불가능하지만 재현 가능한 과제(예: SAT, GSM8K)를 생성함으로써 사전 계산 부정행위를 방지합니다.

PRF 인덱스 샘플링과 스케치 커밋먼트를 사용하면 검증자는 토큰 수준의 logprob 및 추론 체인을 매우 낮은 비용으로 샘플링하여 롤아웃이 실제로 선언 모델에 의해 생성되었는지 확인할 수 있습니다.

모델 신원 바인딩: 추론 프로세스는 모델 가중치 지문 및 토큰 분포의 구조화된 서명에 바인딩되어 모델 교체 또는 결과 재생이 즉시 인식되도록 보장합니다. 이는 강화 학습에서 추론 배포에 대한 신뢰성 기반을 제공합니다.

이 메커니즘을 기반으로 Grail 서브넷은 GRPO 스타일의 검증 가능한 사후 학습 프로세스를 구현합니다. 마이너는 동일한 문제에 대해 여러 추론 경로를 생성하고, 검증자는 정확성, 추론 체인 품질 및 SAT 만족도를 기준으로 점수를 매기고, 정규화된 결과를 TAO 가중치로 온체인에 기록합니다. 공개된 실험 결과에 따르면 이 프레임워크는 Qwen2.5-1.5B의 MATH 정확도를 12.7%에서 47.6%로 향상시켜 부정행위를 방지하고 모델 성능을 크게 향상시킬 수 있음을 입증했습니다. Covenant AI의 학습 스택에서 Grail은 탈중앙화 RLVR/RLAIF의 신뢰 및 실행의 핵심 요소이며, 아직 메인넷에 공식적으로 출시되지는 않았습니다.

Fraction AI: 경쟁 기반 강화 학습(RLFC)

Fraction AI의 아키텍처는 경쟁 기반 강화 학습(RLFC)과 게임화된 데이터 주석을 중심으로 구축되어, 기존 RLFC의 정적인 보상과 수동 주석 방식을 개방적이고 역동적인 경쟁 환경으로 대체합니다. 에이전트들은 서로 다른 공간에서 경쟁하며, 상대적인 순위와 AI 심사위원의 점수가 실시간 보상으로 작용하여, 정렬 과정을 지속적으로 작동하는 온라인 다중 에이전트 게임 시스템으로 전환합니다.

기존 RLHF와 Fraction AI의 RLFC의 핵심적인 차이점은 다음과 같습니다.

RLFC의 핵심 가치는 보상이 더 이상 단일 모델에서 나오는 것이 아니라 끊임없이 진화하는 경쟁자와 평가자로부터 나온다는 점에 있습니다. 이는 보상 모델의 악용을 방지하고 전략의 다양성을 통해 생태계가 지역 최적점에 갇히는 것을 막아줍니다. 공간의 구조는 게임의 성격(제로섬 또는 포지티브섬)을 결정하며, 적대적 및 협력적 상호작용에서 복잡한 행동 양식이 나타나도록 유도합니다.

시스템 아키텍처 측면에서 Friction AI는 학습 과정을 네 가지 핵심 구성 요소로 나눕니다.

에이전트: 오픈 소스 LLM을 기반으로 하는 경량 정책 단위로, QLoRA를 통해 차등 가중치가 확장되었으며 저비용으로 업데이트됩니다.

우주 공간: 에이전트가 입장료를 지불하고 승패에 따라 보상을 받는 고립된 임무 영역 환경;

AI 심사위원: RLAIF로 구축된 즉시 보상 계층으로, 확장 가능하고 분산된 평가를 제공합니다.

학습 증명: 정책 업데이트를 특정 대회 결과와 연계하여 교육 과정의 검증 가능성을 보장하고 부정행위를 방지합니다.

Fraction AI의 핵심은 인간과 기계가 협력하여 진화하는 엔진을 구축하는 것입니다. 정책 계층의 "메타 최적화자" 역할을 하는 사용자는 신속한 엔지니어링 및 하이퍼파라미터 설정을 통해 탐색 방향을 제시하고, 에이전트는 미시적 수준의 경쟁을 통해 대량의 고품질 선호 쌍을 자동으로 생성합니다. 이 모델은 "신뢰할 수 없는 미세 조정"을 통해 데이터 주석을 활용하여 비즈니스 폐쇄 루프를 구현합니다.

강화 학습 Web3 프로젝트 아키텍처 비교

V. 요약 및 전망: 강화 학습의 경로 및 기회 × Web3

앞서 언급한 최첨단 프로젝트들에 대한 분석적 검토 결과, 각 팀의 진입점(알고리즘, 엔지니어링, 시장)은 서로 다르지만, 강화 학습(RL)과 웹3를 결합할 때 그 기저에 깔린 아키텍처 논리는 "분리-검증-인센티브"라는 매우 일관된 패러다임으로 수렴한다는 것을 발견했습니다. 이는 단순한 기술적 우연이 아니라, 분산형 네트워크가 강화 학습의 고유한 특성에 적응하면서 나타나는 필연적인 결과입니다.

강화 학습의 일반적인 아키텍처적 특징: 핵심적인 물리적 제약 조건 및 신뢰 문제 해결.

배포 및 학습 분리 - 기본 컴퓨팅 토폴로지

희소하고 병렬화 가능한 롤아웃은 전 세계 소비자용 GPU에 위탁되며, 고대역폭 파라미터 업데이트는 Prime Intellect의 비동기 액터-러너 및 Gradient Echo의 듀얼 클러스터 아키텍처에서 볼 수 있듯이 소수의 학습 노드에 집중됩니다.

검증 기반 신뢰 – 인프라 개발

허가 없는 네트워크에서 계산적 진위성은 Gensyn의 PoL, Prime Intellect의 TOPLOC, Grail과 같은 암호화 검증 방법을 나타내는 수학적 및 기계적 설계를 통해 보장되어야 합니다.

토큰화된 인센티브 루프 – 시장 자율 규제

컴퓨팅 파워 공급, 데이터 생성, 검증 및 순위 지정, 보상 분배는 폐쇄 루프를 형성합니다. 보상을 통해 참여를 유도하고 슬래시(slash)를 통해 부정행위를 억제함으로써 네트워크는 개방적인 환경에서 안정적으로 유지되고 지속적으로 발전할 수 있습니다.

차별화된 기술 경로: 일관된 아키텍처 하에서 서로 다른 "획기적인 발전 지점"

다양한 건축 양식이 수렴되는 추세임에도 불구하고, 각 프로젝트는 고유한 특성에 따라 서로 다른 기술적 방어벽을 선택했습니다.

알고리즘 혁신에 주력하는 Nous Research 그룹은 분산 학습의 근본적인 모순(대역폭 병목 현상)을 수학적 관점에서 해결하고자 합니다. 이들의 DisTrO 최적화기는 그래디언트 통신량을 수천 배로 압축하여 가정용 광대역 인터넷에서도 대규모 모델 학습을 가능하게 하는 것을 목표로 합니다. 이는 물리적 한계에 대한 "차원 축소 공격"이라고 할 수 있습니다.

시스템 엔지니어링 접근 방식(Prime Intellect, Gensyn, Gradient): 차세대 "AI 런타임 시스템" 구축에 중점을 둡니다. Prime Intellect의 ShardCast와 Gradient의 Parallax는 극한의 엔지니어링 기술을 통해 기존 네트워크 환경에서 이기종 클러스터의 효율성을 극대화하도록 설계되었습니다.

시장 기반 게임 이론(Bittensor, Fraction AI): 보상 함수 설계에 중점을 둡니다. 정교한 점수 체계를 설계하여 채굴자들이 최적의 전략을 자발적으로 찾도록 유도함으로써 지능의 출현을 가속화합니다.

강점, 과제 및 최종 전망

강화 학습과 Web3를 결합하는 패러다임에서 시스템 차원의 이점은 우선 비용 및 거버넌스 구조의 재구성에서 나타납니다.

비용 구조 재편: 강화 학습의 사후 훈련은 롤아웃 샘플링에 대한 무한한 수요를 가지고 있는 반면, 웹3는 매우 낮은 비용으로 전 세계의 방대한 컴퓨팅 파워를 동원할 수 있어 중앙 집중식 클라우드 공급업체가 따라잡을 수 없는 비용 우위를 제공합니다.

주권적 정렬: AI 가치(정렬)에 대한 대기업의 독점을 깨고, 커뮤니티가 토큰을 사용하여 모델에 대한 "좋은 해답"이 무엇인지 투표로 결정함으로써 AI 거버넌스를 민주화합니다.

동시에 이 시스템은 두 가지 주요 구조적 제약에 직면해 있습니다.

대역폭 한계: DisTrO와 같은 혁신에도 불구하고 물리적 지연 시간으로 인해 초거대 파라미터 모델(700억 개 이상)의 완전한 학습이 여전히 제한적이며, 현재 Web3 AI는 미세 조정 및 추론 단계에 머물러 있습니다.

굿하드의 법칙(보상 해킹): 인센티브가 높은 네트워크에서 채굴자들은 실제 지능을 향상시키기보다는 보상 규칙에 "과적합"(점수 파밍)하는 경향이 있습니다. 부정행위를 방지하는 견고한 보상 함수를 설계하는 것은 끊임없는 노력과 과제입니다.

악의적인 비잔틴 워커 공격: 이러한 공격은 훈련 신호를 적극적으로 조작하고 오염시켜 모델 수렴을 방해합니다. 핵심 전략은 지속적으로 부정행위 방지 보상 함수를 설계하는 것이 아니라, 적대적 공격에 강한 메커니즘을 구축하는 것입니다.

강화 학습과 웹3의 결합은 "지능이 생성되고, 정렬되고, 그 가치가 분배되는 방식"이라는 메커니즘을 근본적으로 재정립합니다. 그 발전은 상호 보완적인 세 가지 방향으로 요약될 수 있습니다.

분산형 푸시 트레이닝 네트워크: 컴퓨팅 파워 마이닝 머신부터 정책 네트워크, 전 세계 롱테일 GPU에 대한 병렬 및 검증 가능한 롤아웃 아웃소싱, 단기적으로는 검증 가능한 추론 시장에 집중하고 중기적으로는 작업 클러스터링을 위한 강화 학습 하위 네트워크로 발전하는 것까지 포함합니다.

선호도와 보상의 자산화: 라벨링 노동에서 데이터 형평성으로. 이는 선호도와 보상을 자산화하고, 고품질 피드백과 보상 모델을 관리 및 배포 가능한 데이터 자산으로 전환하며, "라벨링 노동"을 "데이터 형평성"으로 격상시키는 것을 의미합니다.

수직적 분야에서의 "작지만 아름다운" 진화: 결과 검증이 가능하고 이점을 정량화할 수 있는 수직적 시나리오에서, DeFi 전략 실행 및 코드 생성과 같이 전략 개선과 가치 창출을 직접적으로 연결하는 작지만 강력한 전용 강화 학습 에이전트가 개발되고 있으며, 이는 일반적인 폐쇄형 소스 모델보다 뛰어난 성능을 보일 것으로 기대됩니다.

전반적으로, 강화 학습과 웹3의 진정한 기회는 OpenAI의 탈중앙화 버전을 복제하는 데 있는 것이 아니라 "지능형 생산 관계"를 재정립하는 데 있습니다. 즉, 학습 실행을 개방형 컴퓨팅 파워 시장으로 만들고, 보상과 선호도를 온체인 자산으로 관리하며, 지능이 창출하는 가치를 플랫폼에 집중되지 않고 훈련자, 정렬자 및 사용자 간에 재분배하는 것입니다.

면책 조항: 본 글은 AI 도구인 ChatGPT-5와 Gemini 3의 도움을 받아 작성되었습니다. 저자는 정보의 정확성과 진실성을 보장하기 위해 최선을 다해 교정 작업을 진행했지만, 누락된 부분이 있을 수 있습니다. 불편을 드려 죄송합니다. 특히 암호화폐 시장에서는 프로젝트의 기본적 가치와 2차 시장 가격 변동 간에 차이가 발생하는 경우가 많다는 점에 유의하시기 바랍니다. 본 글의 내용은 정보 제공 및 학술/연구 목적으로만 작성되었으며, 투자 조언이나 특정 토큰의 매수 또는 매도 권유로 해석되어서는 안 됩니다.