Crypto AI的圣杯：去中心化训练的前沿探索

AI训练是整个AI价值链中最重要的环节，直接决定了模型的能力上限和应用效果。相比轻量级的推理调用，训练过程需要持续的大规模算力投入、复杂的数据处理流程和高强度的优化算法支持，是AI系统构建的真正"重工业"。从架构范式来看,训练方式可分为四类:集中化训练、分布式训练、联邦学习以及本文重点讨论的去中心化训练。

集中化训练是最传统的方式,由单一机构在本地高性能集群内完成全部训练流程,从硬件到软件所有组件都由统一的控制系统协调运行。这种深度协同的体系结构使得训练效率达到最佳,非常适合GPT、Gemini等大规模模型的训练,具有效率高、资源可控的优势,但同时存在数据垄断、资源壁垒、能源消耗和单点风险等问题。

分布式训练是当前大模型训练的主流方式,其核心是将模型训练任务拆解后分发至多台机器协同执行,以突破单机计算与存储瓶颈。尽管在物理上具备"分布式"特征,但整体仍由中心化机构控制调度与同步,常运行于高速局域网环境中,通过NVLink高速互联总线技术,由主节点统一协调各子任务。主流方法包括数据并行、模型并行、管道并行和张量并行。分布式训练是"集中控制 + 分布式执行"的组合,类比同一老板远程指挥多个"办公室"员工协作完成任务。目前几乎所有主流大模型都是通过此方式完成训练。

去中心化训练则代表更具开放性与抗审查特性的未来路径。其核心特征在于:多个互不信任的节点在没有中心协调器的情况下协同完成训练任务,通常通过协议驱动任务分发与协作,并借助加密激励机制确保贡献的诚实性。该模式面临的主要挑战包括设备异构与切分困难、通信效率瓶颈、可信执行缺失、缺乏统一协调等。去中心化训练可以理解为:一群全球的志愿者,各自贡献算力协同训练模型,但"真正可行的大规模去中心化训练"仍是一项系统性的工程挑战,涉及系统架构、通信协议、密码安全、经济机制、模型验证等多个层面,能否"协同有效 + 激励诚实 + 结果正确"尚处于早期原型探索阶段。

联邦学习作为分布式与去中心化之间的过渡形态,强调数据本地保留、模型参数集中聚合,适用于注重隐私合规的场景。联邦学习具有分布式训练的工程结构和局部协同能力,同时兼具去中心化训练的数据分散优势,但仍依赖可信协调方,并不具备完全开放与抗审查的特性。可以看作是在隐私合规场景下的一种"受控去中心化"方案,在训练任务、信任结构与通信机制上均相对温和,更适合作为工业界过渡性部署架构。

从训练范式来看,去中心化训练并不适用于所有任务类型。在某些场景中,由于任务结构复杂、资源需求极高或协作难度大,其天然不适合在异构、去信任的节点之间高效完成。例如大模型训练往往依赖高显存、低延迟与高速带宽,难以在开放网络中有效切分与同步;数据隐私与主权限制强的任务受限于法律合规与伦理约束,无法开放共享;而缺乏协作激励基础的任务则缺少外部参与动力。这些边界共同构成了当前去中心化训练的现实限制。

但这并不意味着去中心化训练是伪命题。事实上,在结构轻量、易并行、可激励的任务类型中,去中心化训练展现出明确的应用前景。包括但不限于:LoRA微调、行为对齐类后训练任务、数据众包训练与标注任务、资源可控的小型基础模型训练,以及边缘设备参与的协同训练场景。这些任务普遍具备高并行性、低耦合性和容忍异构算力的特征,非常适合通过P2P网络、Swarm协议、分布式优化器等方式进行协作式训练。

目前在去中心化训练与联邦学习前沿领域中,具有代表性的区块链项目主要包括Prime Intellect、Pluralis.ai、Gensyn、Nous Research与Flock.io。从技术创新性与工程实现难度来看,Prime Intellect、Nous Research和Pluralis.ai在系统架构与算法设计上提出了较多原创性探索,代表了当前理论研究的前沿方向;而Gensyn与Flock.io的实现路径相对清晰,已能看到初步的工程化进展。

Prime Intellect致力于构建一个无需信任的AI训练网络,让任何人都能参与训练,并对其计算贡献获得可信的奖励。Prime Intellect希望通过PRIME-RL + TOPLOC + SHARDCAST三大模块,构建一个具有可验证性、开放性、激励机制完备的AI去中心化训练系统。

PRIME-RL是Prime Intellect为去中心化训练场景定制的任务建模与执行框架,专为异构网络与异步参与设计。它采用强化学习作为优先适配对象,将训练、推理与权重上传过程结构性解耦,使每个训练节点可以在本地独立完成任务循环,并通过标准化接口与验证和聚合机制协同。相比传统监督学习流程,PRIME-RL更适合在无中心调度的环境中实现弹性训练,既降低了系统复杂度,也为支持多任务并行和策略演化奠定了基础。

TOPLOC是Prime Intellect提出的训练可验证性核心机制,用于判断一个节点是否真的基于观测数据完成了有效的策略学习。与ZKML等重型方案不同,TOPLOC不依赖全模型重计算,而是通过分析"观测序列↔策略更新"之间的局部一致性轨迹,完成轻量化结构验证。它首次将训练过程中的行为轨迹转化为可验证对象,是实现无需信任训练奖励分配的关键创新,为构建可审计、可激励的去中心化协作训练网络提供了可行路径。

SHARDCAST是Prime Intellect设计的权重传播与聚合协议,专为异步、带宽受限与节点状态多变的真实网络环境而优化。它结合gossip传播机制与局部同步策略,允许多个节点在不同步状态下持续提交部分更新,实现权重的渐进式收敛与多版本演化。相比集中式或同步式AllReduce方法,SHARDCAST显著提升了去中心化训练的可扩展性与容错能力,是构建稳定权重共识与持续训练迭代的核心基础。

OpenDiLoCo是Prime Intellect团队基于DeepMind提出的DiLoCo理念独立实现并开源的通信优化框架,专为去中心化训练中常见的带宽受限、设备异构与节点不稳定等挑战而设计。其架构基于数据并行,通过构建Ring、Expander、Small-World等稀疏拓扑结构,避免了全局同步的高通信开销,仅依赖局部邻居节点即可完成模型协同训练。结合异步更新与断点容错机制,OpenDiLoCo使消费级GPU与边缘设备也能稳定参与训练任务,显著提升了全球协作训练的可参与性,是构建去中心化训练网络的关键通信基础设施之一。

PCCL是Prime Intellect为去中心化AI训练环境量身打造的轻量级通信库,旨在解决传统通信库在异构设备、低带宽网络中的适配瓶颈。PCCL支持稀疏拓扑、梯度压缩、低精度同步与断点恢复,可运行于消费级GPU与不稳定节点,是支撑OpenDiLoCo协议异步通信能力的底层组件。它显著提升了训练网络的带宽容忍度与设备兼容性,为构建真正开放、无需信任的协同训练网络打通了"最后一公里"的通信基础。

Prime Intellect构建了一个无需许可、可验证、具备经济激励机制的训练网络,使任何人都能参与任务并基于真实贡献获得奖励。协议运行基于三类核心角色:任务发起者、训练节点和验证节点。协议核心流程包括任务发布、节点训练、轨迹验证、权重聚合与奖励发放,构成一个围绕"真实训练行为"的激励闭环。

Prime Intellect于2025年5月发布了INTELLECT-2,这是全球首个由异步、无需信任的去中心化节点协作训练而成的强化学习大模型,参数规模达32B。INTELLECT-2模型由遍布三大洲的100+ GPU异构节点协同训练完成,使用完全异步架构,训练时长超400小时,展示出异步协作网络的可行性与稳定性。这一模型不仅是一次性能上的突破,更是Prime Intellect所提出"训练即共识"范式的首次系统落地。INTELLECT-2集成了PRIME-RL、TOPLOC与SHARDCAST等核心协议模块,标志着去中心化训练网络首次实现了训练过程的开放化、验证性与经济激励闭环。

在性能方面,INTELLECT-2基于QwQ-32B训练并在代码和数学上做了专门的RL训练,处于当前开源RL微调模型的前沿水准。尽管尚未超越GPT-4或Gemini等闭源模型,但其真正的意义在于:它是全球首个完整训练过程可复现、可验证、可审计的去中心化模型实验。Prime Intellect不仅开源了模型,更重要的是开源了训练过程本身--训练数据、策略更新轨迹、验证流程与聚合逻辑均透明可查,构建了一个人人可参与、可信协作、共享收益的去中心化训练网络原型。

Pluralis是一个专注于"可信协同训练网络"的Web3 AI项目,其核心目标是推动一种去中心化、开放式参与、并具备长期激励机制的模型训练范式。与当前主流集中式或封闭式训练路径不同,Pluralis提出了一种名为Protocol Learning的全新理念:将模型训练过程"协议化",通过可验证协作机制和模型所有权映射,构建一个具备内生激励闭环的开放训练系统。

Pluralis提出的Protocol Learning包含三大关键支柱:

1. 不可提取模型:模型以碎片形式分布在多个节点之间,任何单一节点无法还原完整权重保持闭源。这种设计使模型天然成为"协议内资产",可实现访问凭证控制、外泄防护与收益归属绑定。

2. 基于互联网的模型并行训练:通过异步Pipeline模型并行机制,不同节点仅持有部分权重,通过低带宽网络协作完成训练或推理。

3. 按贡献分配模型所有权:所有参与节点根据其训练贡献获得模型部分所有权,从而享有未来收益分成及协议治理权。

在技术机制方面,