Suite à une évaluation récente, le tout premier ingénieur IA, « Devin » a affiché des résultats plutôt décevants. Les experts qui ont pratiqué les différents tests sur l’intelligence artificielle notent qu’elle a quelques difficultés à pratiquer des tâches simples qui ne nécessitent que quelques heures. Un coup dur pour son créateur « Cognition AI ».
Solution IA révélée en mars 2024, « Devin » est l’intelligence artificielle mise au point par l’entreprise américaine Cognition AI. Selon cette dernière, l’IA – qui se présente comme un codeur automatique – peut mettre au point et déployer des applications tout en trouvant et corrigeant des erreurs de codage.
Toutefois, après des mois de tests en tout genre, Devin n’a pas donné les résultats escomptés. Sur une vingtaine de tâches, Devin a essuyé 14 échecs, 3 non-concluants et seulement 3 réussites. Selon les testeurs et les chercheurs, Devin a un score total de réussite de 15% et cela malgré un an de battage médiatique.
Des soucis dès les premières évaluations de vidéo promotionnelle
Selon Cognition AI, Devin est le parfait assistant de l’indépendant en portage salarial et du salarié expert en codage. L’intelligence artificielle peut, en effet, créer des applications, résoudre des problèmes de code et peut même être un assistant personnel qui commande à manger – toujours selon l’entreprise américaine.
Cependant, les chercheurs qui ont pratiqué des tests sur Devin ont détecté des problèmes dès les premières évaluations d’une vidéo promotionnelle et accusent l’entreprise de « mentir ». Selon un développeur logiciel :
« La vidéo donne l’impression que Devin a beaucoup travaillé. Mais s’il faut tenir compte de ce qu’aurait dû être un travail sur Upwork, et surtout dans le contexte de l’entreprise qui dit que cette vidéo nous permettra de voir Devin être payé pour faire du travail, tout ceci n’est qu’un mensonge, encore une fois »
Aussi, après une analyse menée par des « Data scientists » spécialisés en LLM travaillant pour un laboratoire de recherche indépendant, Devin a plutôt bien démarré les tests. Cela étant dit, au fur et à mesure des tâches, l’ingénieur IA a rencontré des soucis. Selon les testeurs, Devin n’a pas réussi à effectuer des tâches simples qui ne nécessitent que quelques heures. Le plus étrange est que l’assistant codeur IA a continué des tâches impossibles durant des jours.
Le problème entre les affirmations et la réalité
Les résultats peu élogieux de Devin ont mis en évidence une réalité souvent mise de côté : « l’écart entre ce qu’une société affirme et la réalité ». Il faut dire que Cognition AI a fait tout un battage médiatique sur les capacités incroyables de sa solution IA.
D’après la vidéo de démonstration de la société, Devin était incroyablement performant et pouvait faire gagner de l’argent en effectuant des tâches fastidieuses à la place d’un indépendant en portage salarial en codage – par exemple.
Malheureusement, la technologie reste toujours confrontée à des problèmes majeurs et cela malgré des affirmations qui ont fait le buzz dans les médias. D’ailleurs, côté promotions médiatiques, le PDG de Meta a annoncé récemment qu’il allait remplacer les ingénieurs de niveau intermédiaire par l’intelligence artificielle. Il y a aussi le cas d’OpenAI qui serait sur le point de dévoiler une nouvelle avancée qui aiderait les super-agents de niveau doctoral.
Toutefois, selon les chercheurs et les experts du secteur de l’IA, il reste à voir si dans un avenir proche un assistant IA sera capable d’aider les ingénieurs logiciels sans devenir un nouveau souci dans leur travail du quotidien.
