Le développeur de
ChatGPT, OpenAI, a colmaté une brèche qui avait conduit son chatbot phare à révéler des données internes de l’entreprise. L’entreprise leader dans le domaine de l’IA a classé le piratage – qui incitait ChatGPT à répéter un mot à l’infini – comme du spamming et une violation de ses conditions d’utilisation.
Q, l’agent d’IA beaucoup plus récent d’Amazon, a également été pointé du doigt pour avoir trop partagé.
Des chercheurs de l’Université de Washington, de l’Université Carnegie Mellon, de l’Université Cornell, de l’UC Berkeley, de l’ETH Zurich et de Google DeepMind ont publié un rapport selon lequel le fait de demander à ChatGPT de répéter un mot indéfiniment révélerait une « distribution de pré-entraînement » sous la forme d’informations privées provenant d’OpenAI, y compris des courriels, des numéros de téléphone et de télécopie.
« Pour récupérer les données du modèle adapté au dialogue, nous devons trouver un moyen de faire en sorte que le modèle « s’échappe » de son entraînement à l’alignement et revienne à son objectif initial de modélisation du langage », indique le rapport. « Nous espérons que cela permettra au modèle de générer des échantillons qui ressemblent à la distribution qu’il avait avant l’entraînement.
Toutefois, à la suite de la publication du rapport, les tentatives de recréer l’erreur ont été stoppées net. ChatGPT-3 et GPT-4 avertissent l’utilisateur : « Ce contenu peut enfreindre notre politique de contenu ou nos conditions d’utilisation. «
Image : ChatGPT
Même si la politique de contenu d’OpenAI ne fait pas référence aux boucles éternelles, elle stipule que les activités frauduleuses telles que le spam ne sont pas autorisées. Les conditions d’utilisation de l’entreprise sont plus concrètes en ce qui concerne les utilisateurs qui tentent d’accéder à des informations privées ou de découvrir le code source de la suite d’outils d’IA d’OpenAI.
« Tenter ou aider quiconque à désosser, décompiler ou découvrir le code source ou les composants sous-jacents de nos services, y compris nos modèles, algorithmes ou systèmes (sauf dans la mesure où cette restriction est interdite par la loi applicable). «
Quand on lui demande pourquoi il ne peut pas répondre à la demande, ChatGPT invoque des contraintes de traitement, des limitations de caractères, des limitations de réseau et de stockage, ainsi que l’aspect pratique de l’exécution de la commande.
Image : ChatGPT
OpenAI n’a pas encore répondu à la demande de commentaire de TCN.
Une commande visant à répéter un mot indéfiniment pourrait également être considérée comme un effort concerté pour provoquer un dysfonctionnement du chatbot en le bloquant dans une boucle de traitement, similaire à une attaque par déni de service distribué (DDoS).
Le mois dernier, OpenAI a révélé que ChatGPT avait été touché par une attaque DDoS, ce que le développeur d’IA a confirmé sur la page d’état de ChatGPT.
« Nous sommes confrontés à des pannes périodiques dues à un trafic anormal reflétant une attaque DDoS », a déclaré l’entreprise. « Nous continuons à travailler pour atténuer ce problème. «
Dans le même temps, le concurrent d’Amazon en matière d’IA semble également avoir un problème avec un chatbot qui fuit des informations privées, selon un rapport de Platformer. Amazon a récemment lancé son chatbot Q (à ne pas confondre avec le projet Q* d’OpenAI).
Amazon a tenté de minimiser la révélation, selon Platformer, en expliquant que les employés partageaient leurs commentaires par le biais de canaux internes, ce qui, selon Amazon, est une pratique courante.
« Aucun problème de sécurité n’a été identifié à la suite de ce retour d’information », a déclaré Amazon dans un communiqué. « Nous apprécions tous les commentaires que nous avons déjà reçus et nous continuerons d’améliorer Q au fur et à mesure qu’il passera du statut de produit en avant-première à celui de produit généralement disponible. «
Amazon n’a pas encore répondu à la demande de commentaire de TCN.
