Être le premier à réagir Pour renforcer les attributs des modèles de grands langues appliqués à la radiologie, le chiffon, qui code les informations dans un espace vectoriel pour affiner les tâches de LLM en fonction des connaissances, semble pertinent. Dans une étude publiée dans la revue Radiology: Artificial Intelligence, les chercheurs testent un chiffon sur le plus connu du LLM des images radiologiques.
Les modèles de grands langues (LLM) utilisant une architecture basée sur l’apprentissage automatique peuvent apprendre, synthétiser et extraire des informations en langage naturel dans plusieurs domaines, y compris la radiologie diagnostique. Ces modèles affichent des performances impressionnantes pour diverses tâches, telles que la réponse aux questions, la modification des rapports de radiologie et même la génération d’impressions comptables.
RAG pour renforcer les attributs des modèles de grands langues appliqués à la radiologie
Mais ces modèles sont susceptibles de créer des hallucinations, de générer des contraintes en termes de ressources informatiques et économiques et sont en revanche peu sûrs de la confidentialité des données des patients, ce qui limite actuellement leur intégration générale dans les flux de travail cliniques.
L’augmentation de la génération de récupération (génération auprès de la récupération – RAG) est une stratégie visant à améliorer les performances de ces grands modèles de langage en leur fournissant un corpus de connaissances mis à jour qui peut être utilisé pour la génération de réponses réelles. Le texte pertinent de la base de connaissances est combiné avec les invites de l’utilisateur afin de fournir la meilleure réponse en fonction de ce corpus d’information, ce qui pourrait permettre au chiffon de répondre aux préoccupations LLM sans nécessiter de paramètres coûteux, tout en servant de flux de travail clinique.
Informations codées dans un espace vectoriel pour affiner les tâches de LLM sur la base des connaissances
Techniquement, le chiffon implique l’orchestration d’un corpus d’information dans un format vectorisé en utilisant une méthode de récupération et un LLM de base. Les informations sont codées dans un grand espace vectoriel à l’aide d’un modèle d’intégration, qui permet une recherche efficace de similitude et de récupération des documents à partir d’une base de données vectorielle stockant les index d’intégration. Les documents récupérés sont ensuite fournis au LLM pour servir de contexte pour la génération du modèle final qui permet, en fin de compte, d’améliorer les connaissances en fonction des connaissances, en particulier la réponse aux questions simples, la génération de textes ou les images ouvertes.
Les chercheurs testent un chiffon sur le plus connu du LLM de l’analyse des images radiologiques
Une étude rétrospective publiée dans la revue Radiology: Artificial Intelligence examine ce problème. Un système de chiffon spécifique à la radiologie a été développé à l’aide d’une base de données vectorielle de 3 689 articles publiés dans la revue Radiographics de janvier 1999 à décembre 2023. La performance de cinq LLM avec des systèmes de chiffon et sans chiffon sur un examen de radiologie de 192 questions a été comparé. Les chercheurs ont montré que RAG a considérablement amélioré les scores d’examen pour la commande GPT-4 et R +, mais pas pour Claude Opus, Mixtral ou Gemini 1.5 Pro.
Les systèmes de chiffon ont obtenu des résultats significativement meilleurs que LLM Purs sur un sous-ensemble de 24 questions provenant directement de la radiographie (85% contre 76%). Rag-Systems a extrait 21 des 24 références radiographiques pertinentes citées dans les explications des réponses de l’examen et les a citées avec succès dans 18 des 21 résultats. Les résultats suggèrent que le RAG est une approche prometteuse pour améliorer les capacités de la LLM pour les tâches de connaissances en radiologie, en offrant une recherche d’informations transparentes et spécifiques au domaine.
Royan Paolo
