Actuellement, le nombre de modèles d’IA générative ne cesse d’augmenter, et plus de la moitié d’entre eux se définit comme étant Open Source. Pourtant ce qualificatif n’est pas donné par hasard et doit se baser sur plusieurs critères. Ainsi, une étude a récemment été lancée pour évaluer plus de 40 LLM pour savoir s’ils sont vraiment open ou pas.
Depuis des années, l’Intelligence artificielle a suscité beaucoup de questions. L’une des interrogations qui n’a pas de réponse c’est la qualification « Open Source » de certains modèles IA. Quelle est vraiment la signification de ce terme et comment dire d’une IA qu’elle est Open Source ? Deux chercheurs de l’université de Nimègue ont mené une étude pour répondre à ces questions. Ils se sont basés sur plusieurs critères allant des méthodes d’entraînement au licensing en passant par la documentation. Ainsi, plus de 40 modèles d’IA – supposés Open Source – ont été passés aux cribles par ces experts.
Open source mais sur quels critères
Tout comme la tva intracommunautaire qui se base sur plusieurs normes, définir si un modèle d’IA est Open Source ou pas doit tabler sur plusieurs critères. En réalisant leur étude concernant l’ouverture des modèles d’IA générative, les chercheurs de l’Université de Nimègue se sont reposés sur 14 éléments tels que l’accès à la technologie, la licence ou les codes.
Par ailleurs, les experts ont affirmé que dire avec certitude qu’un modèle est Open Source est impossible si l’on prend en compte que quelques critères. Pour eux, la solution serait de mettre en place un système de scoring ou un genre de label afin de refléter l’ouverture d’un LLM.
Aussi, dans leurs études, ils ont découvert que la plupart des modèles ne fournissent pas assez d’informations afin de savoir s’ils sont vraiment Open Source ou pas – comme l’affirme les deux chercheurs :
« Le manque d’ouverture concernant les données d’entraînement est particulièrement inquiétant. La plupart des modèles ne fournissent aucun détail sur les jeux de données en dehors de descriptions très génériques, manifestement afin d’échapper à tout examen sur le plan juridique ».
Ainsi, les experts ont utilisé un terme assez évocateur pour décrire ces modèles, Open Weight. Ceci désigne en clair le fait que certains modèles ne reflètent qu’une partie des informations de construction et le reste est caché.
Des géants du Net qui ne cochent que certaines cases
Dans l’étude, les chercheurs ont donc classé en trois catégories les 14 caractéristiques de test – accès, documentation et disponibilité. À l’exemple de la tva intracommunautaire qu’un dirigeant d’entreprise doit maîtriser, cocher la plupart des cases de ses trois familles doit être l’objectif des modèles IA. Cependant, les résultats ont démontré que sur les 40 modèles d’IA, certains seulement se présente comme ouverts :
- OLMo Instruct ;
- BloomZ ;
- AmberChat ;
- Open Assistant.
Pour les développeurs et les créateurs de ces modèles, l’accent a été mis sur la mise à disposition des codes, pipelines de documentation et les données de formation – soulignent les chercheurs. Pour le reste, ils se contentent seulement de révéler leurs pondérations et les autres informations sont très floues.
L’étude conclut donc que certaines entreprises spécialisées en IA sont plus ouvertes que d’autres. Parmi les noms mentionnés qui ne cochent pas la plupart des cases de critères, il y a OpenAI, mais aussi Google, Meta et même Microsoft. Pour exemple, le modèle Llam3 du géant Meta ne coche aucune case sur 14.
