sebsauvage.net

Ce site n'est pas le site officiel.
C'est un blog automatisé qui réplique les articles automatiquement

Can you trust ChatGPT’s package recommendations?

Thursday 15 June 2023 at 08:26

Quand ChatGPT (ou une autre LLM) n'a pas une information, elle invente. Donc quand vous lui demandez de résoudre un problème informatique et qu'elle ne sait pas faire, au lieu de vous répondre qu'elle ne sait pas elle invente quand même une réponse... avec des choses qui n'existent pas. Y compris des packages (bibliothèques de fonctions) qui n'existent pas.

Et là, des personnes malveillantes peuvent créer, dans les dépôts publiques, ces packages fictifs. Il n'y a plus qu'à attendre tranquillement que ChatGPT suggère leur installation aux utilisateurs.
C'est ce qu'a montré cet auteur : ChatGPT a inventé une réponse proposant d'installer le packages arangodb... qui n'existe pas. Il a donc créé ce package et l'a déposé dans les dépôts publiques npm.
(Permalink)

Source: https://vulcan.io/blog/ai-hallucinations-package-risk