AI Chronicles Explorer

Entraînement décentralisé : Covenant, l'IA qui utilise l'internet

Covenant, un modèle de 72 milliards de paramètres, prouve que l'entraînement décentralisé par l'internet est possible. Découvrez cette révolution discrète

Entraînement décentralisé : Covenant, l'IA qui utilise l'internet Quand l’internet entier entraîne un modèle d’IA : la révolution discrète de Covenant covered Covenant's 72B decentralized training run Et si le plus grand modèle d’IA de l’histoire n’était plus entraîné dans un data center, mais par l’internet lui-même ? Découvrez comment Covenant, un modèle de 72 milliards de paramètres, vient de prouver que l’entraînement décentralisé est possible. L’innovation ne consiste pas à créer quelque chose de nouveau, mais à rendre l’impossible accessible à tous. (Adapté de Thomas Edison)

Depuis toujours, les grands modèles d’intelligence artificielle naissent dans des data centers ultra-sécurisés, avec des connexions ultra-rapides et des budgets colossaux. Une seule organisation, un seul cluster, une seule infrastructure. Jusqu’à présent. Car un projet vient de bouleverser cette certitude bien ancrée : Covenant, un modèle de 72 milliards de paramètres, a été entraîné de manière décentralisée, en utilisant l’internet comme terrain de jeu. Une première qui pourrait bien redéfinir les règles du jeu pour toute l’industrie.

L’entraînement décentralisé, une idée qui fait son chemin

L’histoire de l’IA est celle d’une centralisation croissante. Chaque grande avancée — de GPT à Claude en passant par Gemini — a nécessité des infrastructures toujours plus imposantes. Mais Covenant, développé via le sous-réseau Templar de Bittensor, démontre qu’il est possible de faire autrement. Ce modèle de 72 milliards de paramètres a été entraîné en s’appuyant sur un réseau distribué, où les calculs sont répartis entre de nombreux participants connectés par l’internet. Une approche qui rappelle celle des projets de calcul partagé comme Folding@home, mais appliquée à l’échelle des modèles de langage les plus avancés.

Pourquoi c’est une rupture technologique majeure

Jusqu’ici, l’entraînement d’un modèle de cette envergure nécessitait des interconnexions à très haute vitesse entre des milliers de GPU, réunis dans un même lieu physique. Covenant prouve que cette contrainte n’est plus rédhibitoire. En répartissant les calculs sur un réseau décentralisé, le projet ouvre la voie à une démocratisation de l’entraînement des grands modèles. Les barrières à l’entrée — coûts, accès aux infrastructures, concentration des ressources — pourraient s’effriter progressivement.

Les implications pour la recherche en IA

Cette avancée ne concerne pas uniquement les grandes entreprises technologiques. Pour les laboratoires de recherche, les universités et les startups, la possibilité d’entraîner des modèles de grande taille sans posséder d’infrastructure propre change radicalement la donne. Imaginez pouvoir mutualiser des ressources de calcul à l’échelle planétaire, comme on mutualise aujourd’hui des serveurs dans le cloud. C’est exactement la promesse portée par cette approche.

Un contexte géopolitique qui complique tout

Cette démonstration arrive à un moment où la chaîne d’approvisionnement mondiale de l’IA est sous tension. Le détroit d’Ormuz est bloqué, ce qui menace bien plus que les approvisionnements pétroliers : les puces, les matériaux pour data centers et l’hélium qatari — indispensable à la fabrication de semi-conducteurs — sont directement impactés. Cette fragilité de la chaîne logistique rend d’autant plus pertinente une approche décentralisée, moins dépendante de ces goulets d’étranglement géographiques.

Des agents qui améliorent l’IA eux-mêmes

L’entraînement décentralisé n’est pas la seule avancée notable de cette période. Andrej Karpathy a récemment démontré que des agents d’IA peuvent désormais mener des recherches en autonomie complète. En laissant un agent travailler sur un réseau de neurones pendant deux jours, celui-ci a trouvé environ 700 améliorations qu’aucun humain n’avait identifiées. Nous sommes passés d’agents capables d’écrire du code à des agents capables d’améliorer l’IA elle-même. Combinée à l’entraînement décentralisé, cette capacité pourrait accélérer considérablement le rythme des découvertes.

Pourquoi c’est important

Cette double évolution — entraînement décentralisé et agents de recherche autonomes — touche directement votre façon d’interagir avec l’IA, que vous soyez développeur, entrepreneur ou simple utilisateur curieux. Elle annonce un futur où la puissance de calcul ne sera plus un privilège réservé à quelques géants, et où l’innovation pourrait émerger de n’importe où, portée par des réseaux collaboratifs mondiaux.

Conclusion

L’entraînement de Covenant marque un tournant dans l’histoire de l’intelligence artificielle. En prouvant qu’un modèle de 72 milliards de paramètres peut être entraîné sur un réseau décentralisé, ce projet ouvre la voie à une nouvelle ère de collaboration et de démocratisation. Les data centers ne disparaîtront pas du jour au lendemain, mais leur monopole sur la création des modèles les plus puissants vient de prendre fin. L’avenir de l’IA pourrait bien se jouer sur l’internet lui-même, et non plus dans des bunkers climatisés.

Points clés à retenir

Sources