Évaluer la fiabilité des grands modèles linguistiques

Une recherche menée par plusieurs universités et institutions de recherche renommées a récemment publié une plateforme d'évaluation de la crédibilité intégrée pour les modèles de langage de grande taille (LLMs). Cette recherche vise à évaluer de manière exhaustive la crédibilité des modèles tels que GPT et à révéler les vulnérabilités potentielles qui y existent.

L'équipe de recherche a découvert des problèmes de crédibilité auparavant non divulgués. Par exemple, le modèle GPT a tendance à produire des sorties nuisibles et biaisées, et il peut également divulguer des informations privées provenant des données d'entraînement et de l'historique des conversations. Fait intéressant, bien que GPT-4 soit généralement plus fiable que GPT-3.5 dans les tests standard, il est en fait plus vulnérable aux attaques lorsqu'il est confronté à des incitations trompeuses soigneusement conçues. Cela peut être dû au fait que GPT-4 suit ces instructions trompeuses de manière plus stricte.

L'équipe de recherche a évalué de manière exhaustive le modèle GPT sous huit angles différents, y compris la robustesse face aux attaques adversariales, la toxicité et les biais, ainsi que la protection de la vie privée. Ils ont conçu plusieurs scénarios d'évaluation, tels que des tests de référence standard, des performances sous différentes instructions de tâches directrices, ainsi que des performances face à des textes adversariaux plus difficiles.

En ce qui concerne la robustesse des modèles face aux exemples adversariaux, les recherches ont montré que le modèle GPT est capable de bien répondre aux exemples contrefactuels, mais peut être trompé dans certaines situations. En matière de toxicité et de biais, le modèle GPT fonctionne généralement bien, mais face à des incitations trompeuses soigneusement conçues, il peut produire du contenu biaisé. Les recherches ont également révélé que le degré de biais du modèle dépend souvent des groupes et des sujets spécifiques mentionnés dans les incitations des utilisateurs.

En ce qui concerne la protection de la vie privée, des études montrent que les modèles GPT peuvent divulguer des informations sensibles présentes dans les données d'entraînement, en particulier sous certaines invites spécifiques. GPT-4 est globalement plus robuste que GPT-3.5 en matière de protection des informations d'identification personnelle, mais les deux modèles se comportent de manière relativement stable face à certains types d'informations privées. Cependant, lorsque des exemples impliquant la vie privée apparaissent dans la conversation, les deux modèles peuvent divulguer diverses informations personnelles.

Cette recherche fournit des informations précieuses pour comprendre et améliorer la fiabilité des grands modèles de langage. L'équipe de recherche espère que ce travail pourra encourager d'autres recherches connexes et finalement aider à développer des modèles d'IA plus puissants et plus fiables.