Le Saint Graal de Crypto AI : Exploration à la pointe de la formation décentralisée

L'entraînement de l'IA est le maillon le plus important de la chaîne de valeur de l'IA, déterminant directement la limite de capacité et l'efficacité d'application du modèle. Par rapport aux appels d'inférence légers, le processus d'entraînement nécessite un investissement continu en puissance de calcul à grande échelle, des processus de traitement de données complexes et un soutien d'algorithmes d'optimisation intensifs, constituant ainsi le véritable "industrie lourde" de la construction de systèmes d'IA. Du point de vue des paradigmes d'architecture, les méthodes d'entraînement peuvent être classées en quatre catégories : entraînement centralisé, entraînement distribué, apprentissage fédéré et entraînement décentralisé, qui est le sujet principal de cet article.

L'entraînement centralisé est la méthode la plus traditionnelle, réalisée par une seule institution au sein d'un cluster haute performance local, où tous les processus d'entraînement sont coordonnés par un système de contrôle unifié, des composants matériels aux logiciels. Cette architecture de collaboration profonde permet d'atteindre une efficacité d'entraînement optimale, ce qui la rend particulièrement adaptée à l'entraînement de modèles à grande échelle tels que GPT et Gemini, offrant des avantages en termes d'efficacité et de contrôle des ressources, mais posant également des problèmes de monopole de données, de barrières à l'entrée, de consommation d'énergie et de risques de point unique.

L'entraînement distribué est la méthode principale de formation des grands modèles actuels, dont le cœur consiste à décomposer les tâches d'entraînement du modèle et à les distribuer à plusieurs machines pour une exécution collaborative, afin de surmonter les goulots d'étranglement en matière de calcul et de stockage sur une seule machine. Bien qu'il présente des caractéristiques "distribuées" sur le plan physique, il est néanmoins contrôlé, coordonné et synchronisé par une institution centralisée, fonctionnant souvent dans un environnement de réseau local à haute vitesse, grâce à la technologie de bus d'interconnexion haute vitesse NVLink, le nœud principal coordonnant unifié les sous-tâches. Les méthodes principales incluent la parallélisation des données, la parallélisation des modèles, la parallélisation par pipeline et la parallélisation des tenseurs. L'entraînement distribué est une combinaison de "contrôle centralisé + exécution distribuée", comparable à un même patron dirigeant à distance plusieurs employés "de bureau" pour collaborer à l'accomplissement des tâches. Actuellement, presque tous les grands modèles principaux sont formés de cette manière.

L'entraînement décentralisé représente un chemin futur plus ouvert et résistant à la censure. Ses caractéristiques clés sont : plusieurs nœuds qui ne se font pas confiance collaborent pour accomplir des tâches d'entraînement sans coordinateur central, généralement par le biais de protocoles qui pilotent la distribution des tâches et la collaboration, et s'appuient sur des mécanismes d'incitation cryptographique pour assurer l'honnêteté des contributions. Les principaux défis auxquels ce modèle est confronté incluent l'hétérogénéité des appareils et la difficulté de partitionnement, les goulets d'étranglement en matière d'efficacité de communication, l'absence d'exécution de confiance, et le manque de coordination unifiée. L'entraînement décentralisé peut être compris comme : un groupe de volontaires du monde entier, chacun contribuant de la puissance de calcul pour entraîner le modèle de manière collaborative, mais "un véritable entraînement décentralisé à grande échelle réalisable" demeure un défi d'ingénierie systémique, impliquant l'architecture système, les protocoles de communication, la sécurité cryptographique, les mécanismes économiques, la validation des modèles, et d'autres niveaux. La question de savoir si l'on peut "collaborer efficacement + inciter à l'honnêteté + obtenir des résultats corrects" est encore au stade de l'exploration de prototypes.

L'apprentissage fédéré, en tant que forme de transition entre la distribution et la Décentralisation, met l'accent sur la conservation locale des données et l'agrégation centralisée des paramètres du modèle, ce qui le rend adapté aux scénarios axés sur la conformité à la vie privée. L'apprentissage fédéré possède une structure d'ingénierie d'entraînement distribué et une capacité de collaboration locale, tout en bénéficiant de l'avantage de la dispersion des données de l'entraînement décentralisé, mais il dépend toujours d'une partie de coordination de confiance et ne possède pas de caractéristiques totalement ouvertes et anti-censure. Il peut être considéré comme une solution de "Décentralisation contrôlée" dans des scénarios de conformité à la vie privée, où les tâches d'entraînement, la structure de confiance et le mécanisme de communication sont relativement modérés, ce qui le rend plus adapté en tant qu'architecture de déploiement transitoire pour l'industrie.

D'un point de vue de paradigme d'entraînement, la Décentralisation de l'entraînement n'est pas adaptée à tous les types de tâches. Dans certains scénarios, en raison de la complexité de la structure des tâches, des exigences en ressources extrêmement élevées ou de la difficulté de collaboration, elle n'est naturellement pas adaptée pour être réalisée efficacement entre des nœuds hétérogènes et non fiables. Par exemple, l'entraînement de grands modèles dépend souvent de haute mémoire vidéo, de faible latence et de bande passante élevée, ce qui rend difficile une découpe et une synchronisation efficaces sur un réseau ouvert ; les tâches dont la confidentialité des données et les restrictions de souveraineté sont fortes sont limitées par la conformité légale et les contraintes éthiques, ne pouvant pas être partagées ouvertement ; tandis que les tâches manquant de bases d'incitation à la collaboration manquent de motivation à la participation externe. Ces limites constituent ensemble les restrictions réelles de l'entraînement décentralisé actuel.

Mais cela ne signifie pas que l'entraînement décentralisé est un faux sujet. En fait, dans les types de tâches légères, faciles à paralléliser et incitatives, l'entraînement décentralisé montre des perspectives d'application claires. Cela inclut, mais sans s'y limiter : le fine-tuning LoRA, les tâches d'entraînement post-alignment comportemental, les tâches d'entraînement et d'annotation par crowdsourcing de données, l'entraînement de petits modèles de base contrôlables en ressources, ainsi que les scénarios d'entraînement collaboratif impliquant des dispositifs périphériques. Ces tâches présentent généralement des caractéristiques de haute parallélisation, de faible couplage et de tolérance à l'hétérogénéité des capacités de calcul, ce qui les rend particulièrement adaptées à un entraînement collaboratif via des réseaux P2P, des protocoles Swarm, des optimiseurs distribués, etc.

Actuellement, dans le domaine de pointe de la formation décentralisée et de l'apprentissage fédéré, les projets blockchain représentatifs comprennent principalement Prime Intellect, Pluralis.ai, Gensyn, Nous Research et Flock.io. En termes d'innovation technique et de difficulté de mise en œuvre, Prime Intellect, Nous Research et Pluralis.ai ont proposé de nombreuses explorations originales dans l'architecture système et la conception d'algorithmes, représentant les directions de recherche théorique les plus avancées ; tandis que les voies de mise en œuvre de Gensyn et Flock.io sont relativement claires, et des progrès d'ingénierie préliminaires peuvent déjà être observés.

Prime Intellect s'engage à construire un réseau d'entraînement AI sans confiance, permettant à quiconque de participer à l'entraînement et de recevoir des récompenses fiables pour ses contributions de calcul. Prime Intellect souhaite construire un système d'entraînement AI décentralisé avec vérifiabilité, ouverture et mécanismes d'incitation complets grâce à trois modules : PRIME-RL + TOPLOC + SHARDCAST.

PRIME-RL est un cadre de modélisation et d'exécution de tâches sur mesure pour des scénarios d'entraînement décentralisés, conçu par Prime Intellect, spécialement pour des réseaux hétérogènes et une participation asynchrone. Il utilise l'apprentissage par renforcement comme objet d'adaptation prioritaire, découplant structurellement les processus d'entraînement, d'inférence et de téléchargement de poids, permettant à chaque nœud d'entraînement de compléter indépendamment la boucle de tâches en local et de collaborer via des interfaces normalisées avec des mécanismes de vérification et d'agrégation. Par rapport aux processus d'apprentissage supervisé traditionnels, PRIME-RL est mieux adapté pour réaliser un entraînement flexible dans des environnements sans planification centrale, réduisant ainsi la complexité du système et établissant une base pour soutenir le parallélisme multi-tâches et l'évolution des stratégies.

TOPLOC est un mécanisme central de vérification de l'entraînement proposé par Prime Intellect, utilisé pour déterminer si un nœud a réellement effectué un apprentissage de stratégie valide basé sur des données d'observation. Contrairement à des solutions lourdes comme ZKML, TOPLOC ne dépend pas du recalcul de l'intégralité du modèle, mais complète la vérification de la structure allégée en analysant les trajectoires de cohérence locale entre "séquence d'observation ↔ mise à jour de la stratégie". Il transforme pour la première fois les trajectoires de comportement pendant le processus d'entraînement en objets vérifiables, ce qui constitue une innovation clé pour réaliser une allocation de récompenses d'entraînement sans confiance, offrant une voie réalisable pour construire un réseau d'entraînement collaboratif décentralisé, auditable et incitatif.

SHARDCAST est un protocole de propagation et d'agrégation de poids conçu par Prime Intellect, optimisé pour des environnements de réseau réels asynchrones, à bande passante limitée et avec des états de nœud changeants. Il combine un mécanisme de propagation en gossip avec une stratégie de synchronisation locale, permettant à plusieurs nœuds de soumettre continuellement des mises à jour partielles dans des états désynchronisés, réalisant ainsi une convergence progressive des poids et une évolution multi-version. Par rapport aux méthodes AllReduce centralisées ou synchronisées, SHARDCAST améliore considérablement l'évolutivité et la tolérance aux pannes de l'entraînement décentralisé, constituant la base fondamentale pour construire un consensus de poids stable et des itérations d'entraînement continues.

OpenDiLoCo est un cadre d'optimisation de la communication, indépendant et open source, développé par l'équipe Prime Intellect sur la base du concept DiLoCo proposé par DeepMind, spécialement conçu pour relever les défis courants tels que la bande passante limitée, l'hétérogénéité des appareils et l'instabilité des nœuds dans l'entraînement décentralisé. Son architecture repose sur la parallélisation des données, en construisant des structures topologiques éparses telles que Ring, Expander et Small-World, évitant ainsi le coût élevé de communication associé à la synchronisation globale, permettant d'effectuer un entraînement collaboratif des modèles uniquement avec les nœuds voisins locaux. En combinant des mises à jour asynchrones et un mécanisme de tolérance aux pannes, OpenDiLoCo permet aux GPU grand public et aux appareils en périphérie de participer de manière stable aux tâches d'entraînement, améliorant considérablement la participation à l'entraînement collaboratif à l'échelle mondiale, et constitue l'une des infrastructures de communication clés pour la construction de réseaux d'entraînement décentralisés.

PCCL est une bibliothèque de communication légère sur mesure pour l'environnement d'entraînement AI décentralisé de Prime Intellect, visant à résoudre les goulets d'étranglement d'adaptation des bibliothèques de communication traditionnelles dans les appareils hétérogènes et les réseaux à faible bande passante. PCCL prend en charge les topologies éparses, la compression de gradient, la synchronisation à faible précision et la reprise à partir de points de contrôle, et peut fonctionner sur des GPU grand public et des nœuds instables, constituant le composant de base soutenant la capacité de communication asynchrone du protocole OpenDiLoCo. Il améliore considérablement la tolérance à la bande passante et la compatibilité des appareils du réseau d'entraînement, ouvrant ainsi la "dernière étape" des infrastructures de communication pour construire un véritable réseau d'entraînement collaboratif ouvert et sans confiance.

Prime Intellect a construit un réseau d'entraînement sans permission, vérifiable et doté d'un mécanisme d'incitation économique, permettant à quiconque de participer aux tâches et de recevoir des récompenses basées sur de véritables contributions. Le protocole fonctionne sur la base de trois rôles clés : initiateur de tâche, nœud d'entraînement et nœud de vérification. Le processus central du protocole comprend la publication de tâches, l'entraînement des nœuds, la vérification des trajectoires, l'agrégation des poids et la distribution des récompenses, formant un cercle d'incitation autour du "comportement d'entraînement réel".

Prime Intellect a publié INTELLECT-2 en mai 2025, le premier grand modèle d'apprentissage par renforcement au monde entraîné par la coopération de nœuds décentralisés asynchrones et sans confiance, avec une taille de paramètre atteignant 32B. Le modèle INTELLECT-2 a été entraîné grâce à la collaboration de plus de 100 nœuds hétérogènes GPU répartis sur trois continents, utilisant une architecture entièrement asynchrone, avec une durée d'entraînement de plus de 400 heures, démontrant ainsi la faisabilité et la stabilité du réseau de coopération asynchrone. Ce modèle représente non seulement une percée en termes de performance, mais également la première mise en œuvre systématique du paradigme "l'entraînement est le consensus" proposé par Prime Intellect. INTELLECT-2 intègre des modules de protocoles clés comme PRIME-RL, TOPLOC et SHARDCAST, marquant ainsi la première réalisation de l'ouverture, de la vérification et du bouclage incitatif économique dans le processus d'entraînement d'un réseau décentralisé.

En termes de performance, INTELLECT-2 est basé sur QwQ-32B, avec un entraînement RL spécialement conçu tant au niveau du code que des mathématiques, se plaçant à la pointe des modèles RL de micro-ajustement open-source actuels. Bien qu'il n'ait pas encore dépassé des modèles fermés tels que GPT-4 ou Gemini, sa véritable signification réside dans le fait qu'il s'agit du premier modèle décentralisé au monde dont le processus d'entraînement complet est reproductible, vérifiable et auditable. Prime Intellect a non seulement rendu le modèle open-source, mais plus important encore, il a ouvert le processus d'entraînement lui-même : les données d'entraînement, les trajectoires de mise à jour des stratégies, les processus de validation et la logique d'agrégation sont tous transparents et vérifiables, construisant un prototype de réseau d'entraînement décentralisé où chacun peut participer, collaborer de manière fiable et partager les bénéfices.

Pluralis est un projet Web3 AI axé sur le "réseau d'entraînement collaboratif de confiance", dont l'objectif principal est de promouvoir un paradigme d'entraînement de modèle décentralisé, ouvert à la participation et doté d'un mécanisme d'incitation à long terme. Contrairement aux chemins d'entraînement centralisés ou fermés actuellement dominants, Pluralis propose une nouvelle idée appelée Protocol Learning : "protocoliser" le processus d'entraînement du modèle, en construisant un système d'entraînement ouvert avec un boucle d'incitation intrinsèque grâce à des mécanismes de collaboration vérifiables et à la cartographie de la propriété du modèle.

Le Protocol Learning proposé par Pluralis comprend trois piliers clés :

1. Modèle non extractible : le modèle est distribué sous forme de fragments entre plusieurs nœuds, aucun nœud unique ne pouvant restaurer le poids complet et restant fermé. Ce design fait du modèle un "actif interne au protocole", permettant un contrôle des certificats d'accès, une protection contre les fuites et un lien avec l'attribution des revenus.

2. Entraînement parallèle de modèles basé sur Internet : grâce à un mécanisme de parallélisme de modèles Pipeline asynchrone, différents nœuds ne détiennent qu'une partie des poids et collaborent pour compléter l'entraînement ou l'inférence via un réseau à faible bande passante.

3. Modèle de répartition des droits de propriété selon la contribution : Tous les nœuds participants obtiennent une part de propriété du modèle en fonction de leur contribution à l'entraînement, leur permettant ainsi de bénéficier d'une répartition des bénéfices futurs et d'un droit de gouvernance sur le protocole.

En termes de mécanismes techniques,