Algoritmos sesgados y moderación censuran a activistas en las redes sociales

Después del Día del Vestido Rojo el 5 de mayo, un día para crear conciencia sobre las mujeres y niñas indígenas desaparecidas y asesinadas (MMIWG), activistas y activistas indígenas han encontrado publicaciones sobre MMIWG han desaparecido desde sus cuentas de Instagram. En respuesta, Instagram publicó un tweet diciendo que “Problema técnico global común no relacionado con ningún tema específico., “Luego una disculpa explicando que la plataforma”encontró un error técnico que afectó las historias, los aspectos más destacados y los archivos de millones de personas en todo el mundo“.

Sin embargo, los creadores dijeron que esto no se aplica a todas las historias.

Y no es la primera vez plataformas de redes sociales han sido objeto de escrutinio debido a la censura incorrecta de los activistas de base y las minorías raciales.

Muchos Las vidas de los negros son importantes Los activistas (BLM) se sintieron igualmente frustrados cuando Facebook marcó sus cuentas, pero no hicieron lo suficiente para hacerlo. detener el racismo y el discurso de odio contra los negros en su plataforma.

¿Se trataba realmente de un problema técnico? ¿O tal vez fueron el resultado de principios y prácticas discriminatorias y tendenciosas de las plataformas? La respuesta se encuentra en algún punto intermedio.

Todo el mundo sabe por qué @instagram todo eliminado / censurado #MMIWG historias de ayer? Las familias, parientes y defensores están profundamente consternados. ¿Por qué está pasando esto? pic.twitter.com/44pmSdZvfh

– Brandi Morin (@ Songstress28) 6 de mayo de 2021

Hacia la moderación automática de contenido

Siempre que la publicación de un activista se elimina por error, existen al menos tres escenarios posibles.

En primer lugar, la plataforma a veces elimina deliberadamente las publicaciones y las cuentas de los activistas, generalmente a pedido y / o de acuerdo con el gobierno. Sucedió cuando Facebook e Instagram eliminaron publicaciones y cuentas iraníes quien expresó su apoyo al general iraní Qassem Soleiman.

En algunos países y territorios en disputa como Cachemira, Crimea, Sahara Occidental y Territorios Palestinos, plataformas presuntamente censuradas a activistas y periodistas mantener el acceso al mercado o protegerse contra la responsabilidad legal.

En segundo lugar, la publicación se puede eliminar mediante el mecanismo de notificación de usuarios. Las plataformas de redes sociales realmente manejan comunicaciones ilegales o prohibidas consistió principalmente en informar a los usuarios.

Al aplicar los estándares de la comunidad desarrollados por la plataforma, los moderadores de contenido observaron el contenido informado y determinaron si se había producido una infracción. Si ese fuera el caso, el contenido se eliminaría y, en caso de violaciones graves o repetidas, el usuario podría ser suspendido temporalmente o bloqueado permanentemente.

Este mecanismo es problemático. Debido a la gran cantidad de informes que recibimos a diario, simplemente no hay suficientes moderadores para revisar correctamente cada informe. La complejidad y sutileza del lenguaje también plantean un verdadero desafío. Mientras tanto, los grupos marginados que recuperan términos ofensivos para la conciencia pública, como BLM y MMIWG, pueden malinterpretarse como ofensivos.

Además, los usuarios tienden a confiar en etiquetar el contenido. sesgo e ideología. El enfoque de informes de usuarios se basa en las percepciones populares de los usuarios de la plataforma, al tiempo que restringe potencialmente el derecho a un discurso impopular.

Este enfoque también da coraje libertad de odiodonde los usuarios ejercen su derecho a expresar su opinión silenciando activamente a los demás. Un ejemplo notable es la eliminación de Facebook de “Libertad para Palestina, “Colaboración de varios artistas publicada por Coldplay después de que varios usuarios informaran que la canción era” ofensiva “.

Más preguntas sobre @instagram (@Facebook ) Y Twitter @Política en publicaciones y cuentas eliminadas con contenido relacionado con la mezquita Sheikh Jarrah y Al-Aqsa.

El ‘fracaso’ técnico y otros errores otorgados requieren una mayor claridad en cuanto a lo que sucedió y por qué. @acceso ahora @ 7amleh https://t.co/x1al5qmIIk

– Peggy Hicks (@hickspeggy) 12 de mayo de 2021

En tercer lugar, las plataformas utilizan cada vez más la inteligencia artificial (IA) para identificar y eliminar contenido prohibido. El punto es que los algoritmos complejos utilizan procesamiento natural del lenguaje puede denunciar contenido racista o violento más rápido y mejor que las personas. Durante la pandemia de COVID-19, las empresas de redes sociales confían más en la inteligencia artificial para proteger a decenas de miles de moderadores humanos que fueron enviados a casa. Ahora, más que nunca, los algoritmos deciden lo que los usuarios pueden y no pueden publicar en línea.

Errores algorítmicos

Existe la creencia inherente de que los sistemas de inteligencia artificial están menos sesgados y pueden escalar mejor que los seres humanos. En la práctica, sin embargo, son fácilmente propensos a errores y pueden imponer un sesgo a una escala sistémica colosal.

En dos estudios lingüísticos basados ​​en computadora en 2019, los investigadores encontraron que la inteligencia artificial diseñada para identificar el discurso del odio en realidad puede reforzar el prejuicio racial.

EN un estudio, los investigadores encontraron que los tweets escritos en inglés afroamericano, ampliamente hablados por estadounidenses negros, tienen hasta el doble de probabilidades de ser marcados como ofensivos en comparación con otros. Usando un conjunto de datos de 155,800 tweets, otro estudio encontraron prejuicios raciales generalizados similares contra los discursos negros.

Lo que se considera ofensivo está relacionado con el contexto social; los términos que son arcos cuando se utilizan en algunos entornos pueden no aparecer en otros. Los sistemas algorítmicos carecen de la capacidad de captar matices y peculiaridades contextuales que también pueden no ser entendidos por los moderadores que prueban los datos utilizados para entrenar estos algoritmos. Esto significa que el procesamiento del lenguaje natural, que a menudo se considera una herramienta objetiva para identificar contenido ofensivo, puede reforzar los mismos prejuicios que tienen las personas.

Un error algorítmico puede amenazar a algunas personas que ya están en riesgo al clasificarlas erróneamente como ofensivas, criminales e incluso terroristas. A mediados de 2020, Facebook eliminó al menos 35 cuentas del dominio. Periodistas y activistas sirios bajo el pretexto del terrorismo, cuando en realidad estaban haciendo campaña contra la violencia y el terrorismo.

MMIWG, BLM y los asuntos sirios ilustran la dinámica “algoritmos de opresión“Donde los algoritmos fortalecen las antiguas relaciones sociales opresivas y reinstalan nuevos tipos de racismo y discriminación.

Si bien la IA se reconoce como una tecnología autónoma que puede evolucionar lejos de la intervención humana, está intrínsecamente sesgada. Las desigualdades subyacentes a los prejuicios ya existen en la sociedad y afectan a quién tiene la capacidad de crear algoritmos y sus bases de datos, y con qué propósito. Como tal, los algoritmos no brindan por sí mismos a las personas marginadas oportunidades para evitar la discriminación, sino que también recrean nuevas formas de desigualdad social, racial y política.

A pesar de los aparentes problemas, los algoritmos se mantendrán en su lugar. No hay una bola plateada, pero se pueden tomar medidas para minimizar el sesgo. Primero, debes darte cuenta de que hay un problema. Luego, decida eliminar los errores algorítmicos.

El sesgo puede infiltrarse en el proceso en cualquier lugar durante el diseño del algoritmo.

Incluir a más personas de una amplia variedad de orígenes (indígenas, raciales, minoritarios, mujeres y otros grupos históricamente marginados) es un paso importante para ayudar a aliviar parcialidad. Mientras tanto, es importante impulsar las plataformas para garantizar la mayor transparencia y supervisión pública posibles.

Este artículo se volvió a publicar con Conversacion bajo una licencia Creative Commons. Leer artículo original.