Le géant des médias sociaux Twitter affirme qu’un nouveau système visant à empêcher la diffusion de contenus pédopornographiques sur sa plateforme a été « déployé de manière transparente », en testant une technologie développée par le groupe à but non lucratif Thorn.
Le compte Twitter Safety a annoncé mardi qu’il avait participé à un test bêta de la solution Safer du groupe, alimentée par l’IA, pour détecter, supprimer et signaler de manière proactive le matériel textuel contenant de l’exploitation sexuelle d’enfants.
Grâce à notre partenariat continu avec @thorn, nous en faisons plus pour créer une plateforme sûre. X a participé au test de la solution de Thorn pendant sa phase bêta pour détecter de manière proactive l’exploitation sexuelle des enfants par le biais de textes. Ce travail s’appuie sur nos efforts incessants pour lutter contre l’exploitation sexuelle des enfants…
– Safety (@Safety) May 7, 2024
« Grâce à notre partenariat continu avec Thorn, nous en faisons plus pour créer une plateforme sûre », a écrit le compte Twitter Safety. « Ce travail s’appuie sur nos efforts incessants pour lutter contre l’exploitation sexuelle des enfants en ligne, avec l’objectif spécifique d’étendre nos capacités à lutter contre les contenus à fort impact où un enfant est exposé à un risque imminent. »
« Cette solution auto-hébergée a été déployée de manière transparente dans nos mécanismes de détection, ce qui nous a permis de cibler les comptes à haut risque », poursuit le texte.
Lancé en 2012 par les acteurs Demi Moore et Ashton Kutcher, Thorn développe des outils et des ressources axés sur la défense des enfants contre les abus et l’exploitation sexuels. En avril, Google, Meta et OpenAI ont signé un engagement publié par Thorn et une autre organisation à but non lucratif, All Tech is Human, s’engageant à mettre en place des garde-fous autour de leurs modèles d’IA.
« Nous avons beaucoup appris de nos tests bêta », a déclaré Rebecca Portnoff, vice-présidente de la science des données chez Thorn, à TCN. « Nous savions déjà que les abus sexuels sur les enfants se manifestent dans tous les types de contenu, y compris le texte, mais nous avons vu concrètement dans ce test bêta comment l’apprentissage automatique/l’IA pour le texte peut avoir un impact réel à l’échelle ».
Comme l’a expliqué M. Portnoff, le modèle Safer AI comprend un modèle linguistique formé sur des textes relatifs à la sécurité des enfants et un système de classification qui génère des prédictions multi-labels pour les séquences de texte. Les scores de prédiction vont de 0 à 1, indiquant la confiance du modèle dans la pertinence du texte pour les différentes catégories de sécurité des enfants.
Bien que Portnoff n’ait pas pu révéler quelles autres plateformes de médias sociaux participaient au test bêta de la suite de produits Safer, elle a déclaré que la réponse des autres entreprises avait été positive.
« Certains partenaires ont indiqué que le modèle était particulièrement utile pour identifier les activités préjudiciables en matière d’abus sexuels sur les enfants, pour hiérarchiser les messages signalés et pour soutenir les enquêtes sur les mauvais acteurs connus », a déclaré Mme Portnoff.
En raison de la prolifération des outils d’IA générative depuis le lancement de ChatGPT en 2022, des groupes de surveillance de l’internet comme l’Internet Watch Foundation, basée au Royaume-Uni, ont tiré la sonnette d’alarme au sujet d’un flot de pornographie infantile générée par l’IA circulant sur les forums du dark web, affirmant que le matériel illicite pourrait submerger l’internet.
L’annonce de l’équipe Twitter Safety est intervenue quelques heures avant que l’Union européenne ne demande à l’entreprise de s’expliquer sur les rapports faisant état d’une « diminution des ressources de modération de contenu ».
Le dernier rapport de transparence que Twitter a soumis aux régulateurs de l’UE indique que les mesures de réduction des coûts d’Elon Musk ont réduit la taille de l’équipe de modération des contenus de la plateforme de près de 20 % depuis octobre 2023, et ramené le nombre de langues surveillées de 11 à 7.
» La commission souhaite également obtenir des précisions sur les évaluations des risques et les mesures d’atténuation liées à l’impact des outils d’IA générative sur les processus électoraux, la diffusion de contenus illégaux et la protection des droits fondamentaux « , ajoute la demande.
L’UE a ouvert une procédure formelle à l’encontre de Twitter en décembre 2023 parce que l’entreprise aurait enfreint la loi sur les services numériques dans plusieurs domaines, notamment la gestion des risques, la modération des contenus, les « schémas sombres » et l’accès aux données pour les chercheurs.
La Commission a déclaré que Twitter devait fournir les informations demandées d’ici le 17 mai et répondre aux questions supplémentaires d’ici le 27 mai.
