El algoritmo de TikTok está inundando a los adolescentes con contenido extremista, incluidos videos que promueven explícitamente el suicidio y la violencia, según una nueva investigación del grupo de responsabilidad corporativa Ekō.
Incluso el compromiso de bajo nivel con contenido dañino durante 10 minutos puede llevar a que las cuentas encuentren videos que promuevan el suicidio y la violencia, encontró el informe. A menudo, dicho contenido puede influir en los usuarios para que tomen medidas, lo que puede resultar en violencia en el mundo real.
Ekō configuró nueve cuentas diferentes que enumeran las edades de 13 años, que es la edad más joven en que los usuarios pueden unirse a la plataforma. Después de interactuar con videos que promocionaban o sugerían el suicidio, las páginas For You de las cuentas mostraron videos de armas cargadas y texto que sugería suicidio.
“Los algoritmos tóxicos obligan a los usuarios a caer en una espiral mortal y los mantienen allí alimentándolos con contenido dañino”, dijo Maen Hammad, activista de Ekō. “Esto es especialmente preocupante cuando pensamos en los niños, que requieren importantes medidas de seguridad mientras navegan por la vida en línea. Aún más alarmante es lo fácil que es para los niños caer en esta espiral”.
Los hashtags que contenían contenido suicida fácilmente disponible para los niños en la plataforma acumularon más de 1,43 millones de publicaciones y 8,800 millones de visitas, encontró su investigación.
Aunque gran parte del contenido que se envía a los adolescentes infringe las propias pautas de la comunidad de TikTok, se ha hecho poco para limitar su propagación.
La plataforma no permite que los usuarios compartan contenido que represente el suicidio, que involucre ideas o comportamientos suicidas y también previene la propagación de ideologías de odio que elogian, promueven, glorifican o apoyan la misoginia, de acuerdo con las pautas de la comunidad de TikTok.
Y, sin embargo, este tipo de contenido sigue circulando en TikTok, donde se congregan dos tercios de los adolescentes estadounidenses.
“El experimento en el que se basa este informe no refleja el comportamiento genuino que vemos en TikTok”, dijo un portavoz de TikTok en un comunicado a Salon en respuesta al informe de Ekō. “La seguridad de nuestra comunidad es una prioridad máxima, y trabajamos arduamente para evitar la aparición de contenido dañino en nuestra plataforma mediante la eliminación de infracciones, la publicación periódica de informes de transparencia, la adición de anuncios de servicio público permanentes en ciertos hashtags y la aparición de recursos útiles con la orientación de expertos También equilibramos estos esfuerzos apoyando a las personas que vienen a TikTok para compartir sus experiencias personales de una manera segura, crear conciencia y encontrar apoyo comunitario “.
“Tenemos que dejar de tratar parte de este contenido como si fuera libertad de expresión”, dijo Jill Garvey, jefa de personal de Western States Center. “Deberían seguir sus propias pautas para eliminar contenido dañino y deberían poner esas medidas de seguridad para que las personas que son tan jóvenes y vulnerables no puedan acceder a eso”.
Los investigadores de Ekō identificaron una red de suicidio dañino, incel y contenido de drogas fácilmente accesible para una cuenta de 13 años, algunos de los cuales se pueden encontrar con tan solo tres clics.
“Sabemos que cuando las personas están expuestas a este contenido en línea, es más probable que los jóvenes lo traduzcan en algún tipo de daño en la vida real”, dijo Garvey.
En varios casos, el contenido extremista o violento se difunde rápidamente en las plataformas de redes sociales y obtiene miles de visitas antes de que se elimine.
Se eliminaron más de 25 videos y cuentas de la plataforma después de que Ekō los señalara por violar las pautas de la comunidad, dijo Hammad. Algunos de estos videos habían estado publicados durante meses y acumularon millones de visitas, “destacando fallas reales para proteger a los usuarios de TikTok”.
Dado que la moderación de contenido automatizado es un desafío para que las plataformas la incorporen, gran parte de la moderación depende de moderadores humanos, cuyo tiempo y ancho de banda pueden ser limitados, señaló Gianluca Stringhini, profesor de la Universidad de Boston que estudia ciberseguridad y seguridad en línea.
“Los algoritmos de recomendación están diseñados para maximizar el tiempo que los usuarios pasarán en la plataforma y su participación, y desafortunadamente ese tipo de contenido cumple con los requisitos”, dijo Stringhini.
A pesar de que las plataformas están haciendo todo lo posible para eliminar y degradar el contenido que no cumple con sus términos de servicio, algunos de los tipos de contenido más peligrosos todavía se están difundiendo en línea.
TikTok está lleno de contenido relacionado con las comunidades incel y “manosphere” a las que se puede acceder fácilmente para una cuenta de 13 años, descubrió Ekō.
Los incels, o “célibes involuntarios”, son una comunidad en línea compuesta por hombres que culpan a las mujeres y a la sociedad por su falta de éxito romántico y sexual. Un subconjunto de la manosfera misógina en línea, los incels creen que las mujeres tienen demasiado poder y arruinan sus vidas al rechazarlas.
“Los incel son el sector más violento de la manosfera y han perpetrado una serie de ataques mortales contra las mujeres”, según la Liga Antidifamación.
Ekō descubrió que TikTok estaba lleno de videos que celebraban a personas populares en estas comunidades, como Elliott Rodgers, quien mató a seis personas apuñalando y disparando en Isla Vista, California, en mayo de 2014, y Andrew Tate, un kickboxer retirado e influencer en línea que fue arrestado por acusaciones de trata de personas, violación y crimen organizado.
“Hay toda una economía construida en torno a esto”, dijo un investigador que habló con Salon en segundo plano. “Hay muchas personas influyentes que se han hecho un hueco hablando del resentimiento masculino”.
Esto se volvió especialmente dañino durante la pandemia de coronavirus cuando los usuarios más jóvenes no tenían acceso a la interacción social, señaló el investigador.
“Existe este tipo de oportunidad para que esas personas influyentes de la manosfera incel aprovechen, especialmente para los niños pequeños porque [younger users] no están escuchando ningún tipo de contraargumentos de las personas en sus esferas”, dijo el investigador. “Están viendo lo que ven en línea y es muy fácil encontrar más de eso”.
TikTok ofrece un ecosistema de contenido oscuro y deprimente sobre temas de muerte, relaciones tóxicas, abuso sexual, salud mental y misoginia, dijo Hammad.
El algoritmo de la plataforma proporcionó contenido “altamente misógino” que amplificó los mensajes de odio y la retórica que sugería que “las mujeres son malas” y que “las mujeres modernas son cobardes”, encontró Ekō.
“Lo que nuestra investigación ha demostrado es que el algoritmo de la plataforma no diferencia entre un video de un gato lindo o un video que ofrece brebajes suicidas en el hogar”, dijo Hammad. “Entonces, si un usuario joven tiene un compromiso mínimo con un video potencialmente dañino, el algoritmo se activará para mostrar más de este contenido, sin importar cuán peligroso sea”.
Al introducir lentamente algunas de estas ideas extremistas, como sugerir que las mujeres tienen más poder que los hombres en la sociedad, personas influyentes como Tate pueden empujar a los usuarios por la madriguera del conejo hacia contenido que promueve la violencia.
Ekō encontró una red de videos dirigidos a niños pequeños con contenido altamente misógino y, a menudo, violento. Si bien otras plataformas como Reddit han reconocido la toxicidad del movimiento incel y lo han prohibido en la plataforma, el contenido incel todavía está muy extendido en TikTok.
Pero este no es un problema de TikTok, es un problema de Big Tech, argumentó Hammad. Agregó que prohibir la aplicación no cambiará nada, pero sí lo hará una legislación integral para responsabilizar a todas las plataformas, incluidas Instagram, YouTube y Facebook.
Como remedio, los legisladores estatales deberían aprobar los múltiples proyectos de ley de códigos de diseño apropiados para la edad para mantener seguros a los jóvenes, sugirió Hammad. Agregó que el Congreso también aprueba leyes integrales para controlar a las grandes tecnologías utilizando la Ley de Servicios Digitales de la Unión Europea como modelo.