El gigante de las redes sociales Twitter dice que un nuevo sistema para prevenir la propagación de material de abuso sexual infantil (CSAM) en su plataforma fue «desplegado sin problemas», probando la tecnología desarrollada por el grupo sin fines de lucro Thorn.
La cuenta de seguridad de Twitter anunció el martes que participó en una prueba beta de la solución Safer del grupo, impulsada por IA, para detectar, eliminar y denunciar de forma proactiva material basado en texto que contenga explotación sexual infantil.
Gracias a nuestra colaboración con @thorn, hacemos más por crear una plataforma segura. X participó en las pruebas de la solución de Thorn durante su fase beta para detectar de forma proactiva la explotación sexual infantil basada en texto. Este trabajo se basa en nuestros incesantes esfuerzos por combatir la explotación sexual infantil…
– Safety (@Safety) 7 de mayo de 2024
«A través de nuestra continua asociación con Thorn, estamos haciendo más para crear una plataforma segura», escribió la cuenta de seguridad de Twitter. «Este trabajo se basa en nuestros incesantes esfuerzos para combatir la explotación sexual infantil en línea, con el objetivo específico de ampliar nuestras capacidades en la lucha contra el contenido de alto daño donde un niño está en riesgo inminente.»
«Esta solución autoalojada se desplegó sin problemas en nuestros mecanismos de detección, lo que nos permite afinar en las cuentas de alto riesgo», continuó.
Lanzada en 2012 por los actores Demi Moore y Ashton Kutcher, Thorn desarrolla herramientas y recursos centrados en defender a los niños del abuso y la explotación sexual. En abril, Google, Meta y OpenAI firmaron un compromiso emitido por Thorn y otra organización sin ánimo de lucro, All Tech is Human, en el que se comprometían a poner límites a sus modelos de IA.
«Hemos aprendido mucho de nuestras pruebas beta», explica a TCN Rebecca Portnoff, vicepresidenta de ciencia de datos de Thorn. «Si bien sabíamos que el abuso sexual infantil se manifiesta en todo tipo de contenido, incluido el texto, hemos visto concretamente en esta prueba beta cómo el aprendizaje automático y la inteligencia artificial para el texto pueden tener un impacto en la vida real a escala».
Como explicó Portnoff, el modelo Safer AI comprende un modelo lingüístico entrenado en textos relacionados con la seguridad infantil y un sistema de clasificación que genera predicciones multietiqueta para secuencias de texto. Las puntuaciones de las predicciones van de 0 a 1, lo que indica la confianza del modelo en la relevancia del texto para las distintas categorías de seguridad infantil.
Aunque Portnoff no pudo revelar qué otras plataformas de medios sociales estaban participando en la prueba beta del conjunto de productos Safer, dijo que la respuesta de otras empresas ha sido positiva.
«Algunos socios compartieron que el modelo es particularmente útil para identificar actividades nocivas de abuso sexual infantil, priorizar los mensajes denunciados y apoyar las investigaciones de malos actores conocidos», dijo Portnoff.
Debido a la proliferación de herramientas de IA generativa desde el lanzamiento de ChatGPT en 2022, grupos de vigilancia de Internet como la Internet Watch Foundation, con sede en el Reino Unido, han dado la voz de alarma sobre una avalancha de pornografía infantil generada por IA que circula en foros de la web oscura, afirmando que el material ilícito podría saturar Internet.
El anuncio del equipo de seguridad de Twitter se produjo horas antes de que la Unión Europea exigiera a la empresa que explicara los informes sobre la «disminución de los recursos de moderación de contenidos».
El último informe de transparencia que Twitter presentó a los reguladores de la UE dijo que las medidas de recorte de gastos de Elon Musk han reducido el tamaño del equipo de moderación de contenido de la plataforma en casi un 20% desde octubre de 2023, y recortaron el número de idiomas supervisados de 11 a 7.
«La Comisión también está buscando más detalles sobre las evaluaciones de riesgo y las medidas de mitigación vinculadas al impacto de las herramientas de IA generativa en los procesos electorales, la difusión de contenidos ilegales y la protección de los derechos fundamentales», añade la demanda.
La UE abrió un procedimiento formal contra Twitter en diciembre de 2023 por considerar que la empresa infringía la Ley de Servicios Digitales en varios ámbitos, como la gestión de riesgos, la moderación de contenidos, los «patrones oscuros» y el acceso a los datos por parte de los investigadores.
La Comisión dijo que Twitter debe proporcionar la información solicitada antes del 17 de mayo, y responder a preguntas adicionales antes del 27 de mayo.
