Après-transformer IA : les startups qui préparent la suite
Les transformers montrent leurs limites. Découvrez les startups qui préparent l'après-transformer et la prochaine révolution des modèles de langage.
Pendant que les géants de l’IA empilent les milliards et les cartes graphiques, une poignée de jeunes pousses s’attaque à un problème bien plus fondamental : la technologie elle-même. Elles ne cherchent pas à faire un modèle un peu plus gros que celui du voisin. Elles veulent remplacer le moteur qui fait tourner toute l’industrie depuis près de dix ans.
Le transformer, ce héros qui vieillit
Tout remonte à l’été 2017, quand des chercheurs de Google publiaient un article resté célèbre, « Attention Is All You Need ». Ils y décrivaient un nouveau type de réseau de neurones appelé transformer, particulièrement doué pour traiter de longues séquences de données, surtout du texte. Neuf ans plus tard, ces transformers sont le cœur de tous les grands modèles de langage du marché.
Comme le résume Justin Dangel, cofondateur et PDG de la startup Subquadratic, « toute l’industrie de l’IA est bâtie sur les transformers ». Il va même plus loin : ce serait l’une des innovations les plus importantes de l’histoire de l’informatique. Difficile de lui donner tort quand on regarde ce que ces modèles ont changé dans nos vies.
Pourquoi ça coince maintenant
Le problème, c’est que la technologie commence à montrer son âge. Les avancées récentes des modèles de langage, comme les modèles dits de raisonnement ou leur capacité à avaler d’énormes quantités de texte d’un coup, ne sont pas de simples prolongements naturels du transformer. Ce sont plutôt des rustines, des bricolages qui compensent certaines de ses failles de fond.
La force du transformer tient à un mécanisme appelé attention dense, qui encode le sens d’un bloc de texte en tenant compte de chaque mot par rapport à tous les autres. C’est puissant, mais ça devient vite très coûteux quand le texte s’allonge. D’où l’intérêt grandissant pour des approches alternatives.
De plus en plus de scientifiques et d’ingénieurs se demandent donc ce qui va venir ensuite. Les modèles de langage ne disparaissent pas, mais leur façon d’être construits est désormais ouverte. MIT Technology Review a même baptisé cette future génération de modèles les « LLMs+ » dans sa liste des dix choses qui comptent en IA.
Une vague de startups prêtes à tout
C’est là qu’entrent en scène une nouvelle génération de startups. Elles veulent repousser les limites de cette technologie devenue une véritable ruée vers l’or. Certaines échoueront, c’est presque certain. Mais elles ont tout à gagner et bien moins à perdre que les entreprises déjà en tête de peloton.
Leur pari est simple à comprendre, même s’il est très difficile à tenir : plutôt que d’optimiser encore et encore le même moteur, elles explorent des architectures radicalement différentes. L’enjeu n’est pas cosmétique. Il touche au coût, à la vitesse, à la capacité de traiter des contextes toujours plus longs, et donc à ce que l’IA pourra réellement faire demain.
Ce que ça change pour vous
Vous n’êtes probablement pas chercheur en IA, et ce n’est pas grave. Ce qui se joue ici finit toujours par redescendre jusqu’à vous, sous forme d’outils plus rapides, moins chers ou capables de comprendre des documents entiers sans perdre le fil.
- Des modèles moins gourmands en énergie et en calcul, donc plus accessibles.
- Une meilleure gestion des longs contextes, utile pour analyser des rapports, des contrats ou des conversations entières.
- De nouvelles capacités de raisonnement, qui rendent l’IA plus fiable sur des tâches complexes.
- Une concurrence qui pousse les prix à la baisse et l’innovation à aller plus vite.
Pourquoi c’est important
Comprendre que l’IA repose sur une architecture qui a déjà neuf ans vous aide à voir le domaine tel qu’il est : en pleine mutation, pas figé. Cela change votre façon de choisir vos outils, d’investir votre temps et de juger les promesses qu’on vous fait. Savoir que la prochaine grande avancée n’est pas encore écrite, c’est aussi se rappeler que rien n’est joué d’avance.
Conclusion
Le transformer a ouvert une porte immense, et il n’est pas près de se refermer. Mais l’histoire de l’IA ne s’arrête pas à lui. Une nouvelle génération de startups parie que la suite s’écrira ailleurs, avec d’autres idées, d’autres compromis, d’autres audaces. Que vous soyez utilisateur curieux ou bâtisseur, gardez les yeux ouverts : ce qui semble aujourd’hui intouchable sera peut-être demain un simple point de départ.
Points clés à retenir
- Les transformers, nés en 2017, font tourner tous les grands modèles de langage actuels.
- Leurs limites poussent l’industrie à chercher des architectures entièrement nouvelles.
- Une vague de startups explore ces alternatives, avec beaucoup à gagner et peu à perdre.
- Ces avancées finiront par rendre l’IA plus rapide, moins chère et plus capable.
- La prochaine grande idée des modèles de langage reste encore à inventer.