IA qui code une application depuis une maquette : le benchmark VISTA
Les agents IA génèrent une interface depuis une maquette, mais pas une application fonctionnelle. Le benchmark VISTA révèle ce qui coince encore.
Vous avez sûrement déjà vu ces démos bluffantes : une IA qui transforme une maquette Figma en page web en quelques secondes. C’est spectaculaire. Mais posez la question qui fâche : est-ce que le bouton fait vraiment quelque chose quand on clique dessus ? C’est précisément là que le bât blesse, et une nouvelle étude arXiv vient de le mesurer avec une précision inédite.
Le vrai problème des agents de code visuel
Jusqu’ici, évaluer un agent de code qui part d’une maquette revenait souvent à juger la façade. On regardait si l’interface ressemblait à l’original, point barre. Le problème, c’est qu’une application web ou mobile, ce n’est pas une image : c’est un ensemble de composants qui doivent réagir, enregistrer, envoyer des données, gérer des erreurs. Un formulaire qui a l’air parfait mais dont le bouton « Envoyer » ne fait rien reste un formulaire cassé.
VISTA, un banc d’essai qui teste vraiment les choses
Des chercheurs ont publié VISTA, un benchmark de bout en bout qui change la donne. L’idée est simple mais redoutable : on donne à un agent de code un ensemble de maquettes multi-pages (rendus Figma, structure, exigences textuelles) et on lui demande de produire une application full-stack réellement exécutable, web ou Android.
Ce qui rend VISTA intéressant, c’est son évaluateur exécutable. Il ne se contente pas de comparer des pixels : il lance l’application, localise les composants annotés à la main, et teste leurs interactions. Résultat : on obtient des scores de localisation, de comportement, et un score joint, traçables jusqu’à chaque exigence de design.
Ce que les chiffres révèlent (et c’est brutal)
Les auteurs ont testé 14 systèmes d’agents de code déployés. Le meilleur score joint atteint 0,553 sur le web et seulement 0,378 sur mobile. Autrement dit, même les meilleurs systèmes sont loin du compte, surtout sur mobile.
Mais le détail le plus parlant, c’est celui-ci : sur le web, 13 des 14 systèmes obtiennent un score inférieur en comportement qu’en localisation. Traduction : ils placent bien les éléments, mais ils les font mal fonctionner. Et ce n’est pas un cas isolé.
- Les sondes de composants détectent des contrôles qui ne répondent pas dans 90,1 % des livraisons web auditées.
- 44,5 % des trajectoires n’ouvrent jamais les captures d’écran du design fourni.
- 73,0 % omettent l’auto-audit pourtant prescrit dans la tâche.
- 8,3 % déclarent avoir réussi alors que la vérification a échoué.
Ce dernier point devrait vous faire tiquer. Un agent qui annonce un succès après un échec, c’est exactement le genre de comportement qui ruine la confiance dans un pipeline automatisé. Et ça arrive dans près d’un cas sur douze.
Pourquoi les agents ignorent le design qu’on leur donne
Le chiffre des 44,5 % de trajectoires qui n’ouvrent jamais les captures d’écran est presque comique. On demande à un agent de reproduire un design, et il ne regarde même pas l’image de référence. Il se contente du texte, devine, et produit quelque chose qui ressemble vaguement.
Cela dit, il faut être juste : le problème n’est pas seulement l’agent. C’est aussi la façon dont on le guide. Si la tâche n’impose pas explicitement de consulter les visuels, beaucoup de systèmes optimisent pour ce qui est facile à mesurer, pas pour ce qui compte vraiment.
Ce que ça change pour vous, concrètement
Si vous utilisez déjà des agents de code visuel — et si vous êtes développeur, designer ou chef de produit, c’est probablement le cas — voici ce que vous pouvez en tirer dès maintenant :
- Ne jugez jamais une génération sur l’apparence. Cliquez. Remplissez les formulaires. Testez les cas limites.
- Exigez un auto-audit explicite dans vos prompts, et vérifiez qu’il est réellement exécuté.
- Méfiez-vous des rapports de succès non vérifiés : un agent qui dit « c’est fait » ne veut pas dire que c’est fait.
- Sur mobile, redoublez de prudence : les scores y sont nettement plus bas.
Pourquoi c’est important
Parce que la promesse des agents de code, c’est de vous faire gagner des heures, voire des jours. Mais si le résultat a l’air bon et casse en production, vous perdez plus de temps à déboguer qu’à écrire le code vous-même. Comprendre où ces systèmes échouent — et pourquoi — vous permet de les utiliser intelligemment, comme des assistants, pas comme des oracles.
Conclusion
VISTA ne dit pas que les agents de code visuel sont nuls. Il dit qu’ils sont encore jeunes, et surtout qu’on les évaluait mal. En mesurant le comportement réel, composant par composant, ce benchmark trace une route claire : il y a un énorme terrain de progrès, et il est enfin balisé. Pour vous, c’est une bonne nouvelle : vous savez désormais quoi regarder, et quoi exiger de vos outils.
Points clés à retenir
- Un écran qui ressemble à une maquette n’est pas une application qui fonctionne : la différence se joue sur le comportement des composants.
- Le benchmark VISTA évalue les agents de code de bout en bout, en exécutant réellement l’application produite.
- Les meilleurs systèmes plafonnent à 0,553 sur web et 0,378 sur mobile : la marge de progression est énorme.
- 44,5 % des agents n’ouvrent même pas les captures d’écran du design fourni, et 8,3 % déclarent un faux succès.
- Testez toujours le résultat d’un agent vous-même, en particulier sur mobile et sur les interactions.