Les LLM peuvent générer des résultats qui manquent de cohérence durant une requête. À titre de rappel, ils se basent simplement sur les schémas qu’ils ont appris lors de leur entraînement. L’utilisation de la RAG semble donc être la solution. Elle fonctionne en trois phases : l’extraction des informations d’une source externe, l’enrichissement de la requête et la génération.
La RAG est une méthode qui puise des informations d’une source de connaissances externe. Il sert de fondement aux LLM ou modèles de langage de grande envergure. La RAG aborde deux problèmes. Le premier est la question des ensembles d’apprentissages qui deviennent obsolètes. Le second concerne les documents de référence qui excèdent les limites contextuelles des MLD.
En RAG, des résultats plus à jour, succincts et solides peuvent être obtenus, comparés à l’utilisation exclusive de la recherche ou de la GenAI. Cette technique fusionne l’exploration d’informations récentes et la transformation en vecteurs. Avec l’enrichissement des données et à l’intelligence artificielle générative, les résultats seront plus fondés.
Un fonctionnement à trois processus
La RAG opère en combinant une exploration sur le Web ou dans des fichiers avec un modèle linguistique. Cette méthode permet d’éviter les obstacles qui pourraient survenir lors de l’exécution manuelle de ces deux processus. Un exemple de ces problèmes serait le dépassement de la limite de contexte du modèle linguistique par les résultats de la recherche. Intégrer la RAG à la gestion administrative d’une entreprise peut être utile pour automatiser la recherche d’informations.
La première démarche de la RAG implique l’utilisation de la requête pour réaliser une recherche. Elle peut l’effectuer dans une base de données, sur un document ou sur Internet. L’information obtenue est ensuite transformée en une forme dense et multidimensionnelle. Cette démarche se fait souvent en créant un vecteur d’intégration qui est ensuite stocké dans une base de données vectorielle. Cette étape est connue sous le nom du processus de recherche.
La requête elle-même est ensuite transformée en vecteurs. L’on utilise alors Facebook AI Similarity Search, FAISS ou un autre outil de recherche similaire afin de se baser sur une métrique de cosinus pour déterminer la similarité avec la base de données vectorielle.
Cette technique permet d’extraire les éléments les plus importants de la source d’information. Ces derniers sont ensuite présentés simultanément au modèle de langage avec le texte de la demande. C’est l’étape d’augmentation.
Finalement, le LLM, également connu sous le nom de modèle seq2seq dans le document initial sur l’IA de Facebook, produit une réponse. Cette ultime manœuvre correspond au processus de génération.
RAG, une solution aux limites des LLM
La formation des LLM est généralement un processus long et onéreux. Elle nécessite parfois plusieurs mois d’exploitation sur de nombreux serveurs dotés d’accélérateurs Nvidia H100.
Par exemple, une question concernant un événement de 2023 est posée à un LLM qui a été entraîné sur des données jusqu’en 2022. Deux scénarios sont possibles : soit le LLM reconnaît son ignorance, soit il ne le fait pas.
Dans le premier scénario, des informations sont généralement fournies concernant les données utilisées pour l’entraînement. Par exemple, « par rapport à des mises à jour effectuées en 2022, l’on a accès à des informations sur… ». Dans le second scénario, il tentera de fournir une réponse en se basant sur des données antérieures. Des informations qui peuvent être pareilles, mais pas nécessairement utiles. Il est également possible que des éléments soient purement imaginés ou inventés.
Il peut être bénéfique d’inclure une URL ou un document dans la question posée pour prévenir les hallucinations LLM. Toutefois, les documents longs ne sont pris en compte que jusqu’à ce que ce modèle de langage atteigne sa capacité maximale de contexte. Au-delà de cette limite, la lecture est interrompue.
La RAG a la capacité d’interagir avec les informations les plus à jour, ce qui lui confère une flexibilité accrue et une performance optimale dans des applications qui sont spécifiques à un certain domaine. D’ailleurs, les entreprises peuvent profiter de la flexibilité de la RAG pour optimiser leur gestion administrative.
Sa compétence à utiliser des informations récupérées en fait un outil efficace pour produire des écrits informatifs de grande qualité. L’aspect recherche de la RAG ne se limite pas simplement à une exploration sur Internet. La technologie peut aussi soumettre ses propres fichiers au LLM ou diriger ce dernier vers un ensemble précis de documents en ligne.
