IA et algorithmes fondamentaux : peuvent-elles réinventer ?
Les grands modèles de langage échouent sur près de la moitié des algorithmes fondamentaux. Découvrez ce que cela révèle sur la pensée des IA.
Vous avez sûrement déjà été impressionné par la façon dont un modèle comme GPT ou Claude enchaîne les raisonnements complexes. On a presque l'impression qu'il réfléchit. Mais une question dérangeante plane : ces modèles sont-ils capables d'inventer quelque chose de vraiment nouveau, ou se contentent-ils de recycler ce qu'ils ont ingurgité pendant l'entraînement ?
Une équipe de chercheurs s'est attaquée de front à cette interrogation. Leur terrain de jeu : les algorithmes fondamentaux de l'informatique, ces briques de base que tout étudiant en licence apprend par cœur. Leur méthode : empêcher le modèle de se souvenir directement, puis observer s'il peut reconstruire l'algorithme à partir de ses connaissances restantes.
Une expérience pour tester la vraie créativité des modèles
Pour savoir si un modèle peut réinventer un algorithme, il faut d'abord l'empêcher de le réciter. Les chercheurs ont donc utilisé des techniques d'« unlearning », qui consistent à supprimer certaines connaissances d'un modèle après son entraînement. L'idée est simple : si le modèle retrouve l'algorithme malgré tout, c'est qu'il a réellement raisonné. Sinon, c'est qu'il ne faisait que réciter.
Le résultat est sans appel. Selon l'étude publiée sur arXiv , les modèles échouent à retrouver près de la moitié des algorithmes ciblés. Autrement dit, quand on leur retire la mémoire, ils perdent la moitié de leur prétendue intelligence algorithmique.
Le nom de l'algorithme suffit à tout faire basculer
Détail encore plus révélateur : il n'est même pas nécessaire de supprimer les connaissances du modèle. Il suffit d'empêcher la simple mention du nom de l'algorithme pendant la génération. Résultat : le taux de récupération chute brutalement, entre 19 % et 39 %. Le modèle a besoin de l'étiquette pour retrouver le contenu, comme si tout était rangé derrière une seule étiquette.
Cette dépendance au nom trahit une chose essentielle : le modèle ne reconstruit pas l'algorithme depuis des principes. Il déclenche un souvenir.
Pourquoi certains algorithmes sont retrouvés et d'autres non
Les chercheurs ont observé un schéma clair. Les algorithmes que les modèles parviennent à reconstruire sont ceux dont la structure ou l'idée centrale est simple. Les autres, ceux qui demandent plusieurs étapes de raisonnement ou une intuition non triviale, restent hors de portée.
- Les algorithmes au cœur conceptuel évident sont souvent récupérés.
- Les algorithmes à structure en plusieurs étapes résistent.
- La complexité du raisonnement, plus que la longueur du code, fait la différence.
On touche ici à une distinction fondamentale entre mémoriser et comprendre. Un étudiant qui a vraiment compris un algorithme peut le redémontrer même s'il a oublié son nom. Un modèle qui l'a seulement mémorisé s'effondre dès qu'on lui retire son étiquette.
Le « thought collapse » et la solution du vérificateur génératif
Autre découverte notable : lorsqu'on pousse ces modèles à raisonner longtemps sans garde-fou, ils finissent par perdre le fil. Les chercheurs appellent ce phénomène le « thought collapse » — littéralement, l'effondrement de la pensée. Le raisonnement dégénère, tourne en boucle, s'épuise.
Pour contrer cela, l'équipe a introduit un « vérificateur génératif », un mécanisme qui vient soutenir la force de raisonnement du modèle et l'empêche de s'auto-détruire en cours de route. Une piste intéressante pour rendre les IA plus robustes dans les tâches longues et complexes.
Ce que cela dit vraiment de nos modèles actuels
En prenant le taux de récupération du modèle « désappris » comme une borne supérieure approximative de ses capacités, les auteurs arrivent à une conclusion prudente mais nette : les systèmes de LLM actuels ont une capacité limitée à produire une véritable innovation algorithmique fondamentale.
Attention, cela ne veut pas dire que ces modèles sont inutiles. Ils restent extraordinaires pour reformuler, combiner, assister, accélérer. Mais l'idée qu'ils pourraient demain réinventer seuls les fondements de l'informatique ou de la science demande encore à être démontrée.
Pourquoi c'est important
Comprendre la frontière entre mémorisation et raisonnement change la façon dont vous utilisez ces outils au quotidien. Si vous savez qu'un modèle dépend fortement de ses souvenirs, vous apprendrez à vérifier, à reformuler, à ne pas lui faire une confiance aveugle sur des problèmes vraiment nouveaux. Cette lucidité vous rend plus efficace, et vous protège des illusions trop optimistes comme des jugements trop sévères.
Conclusion
Les grands modèles de langage sont des miroirs fascinants de notre savoir collectif. Mais un miroir ne crée pas la lumière qu'il renvoie. La vraie question n'est peut-être pas « quand les IA inventeront-elles ? », mais « comment allons-nous les utiliser pour inventer mieux, ensemble ? ». C'est là, dans cette collaboration entre l'humain et la machine, que se joue probablement la prochaine grande découverte.
Points clés à retenir
- Empêcher un modèle de se souvenir d'un algorithme lui fait échouer près d'une fois sur deux.
- Retirer simplement le nom de l'algorithme fait chuter le taux de récupération à 19–39 %.
- Les algorithmes simples sont retrouvés, les plus complexes résistent.
- Le « thought collapse » montre que raisonner longtemps reste fragile.
- Les LLM actuels ont une capacité limitée à l'innovation algorithmique fondamentale.