Xenofobia y violencia
La conexión entre el odio en línea y la violencia en el mundo real ya estaba documentada antes de que mucha gente hubiera oído hablar de Facebook.
Cómo leer esta página. Toca cualquier palabra subrayada para ver el término académico preciso y una definición breve. Abre cualquier recuadro “Más a fondo” para ver la evidencia y los puntos en disputa. El texto principal se sostiene solo: puedes saltarte ambas cosas y aun así entender todo el argumento.
La cronología
Stormfront —el primer gran sitio de odio de internet— se creó en 1995. A principios de los años 2000, había investigadores que estudiaban hasta dónde llegaban las personas en salas de chat de racistas blancos al defender la violencia. En junio de 2004, la OSCE celebró en París una reunión intergubernamental formal dedicada específicamente a la propaganda racista y xenófoba en internet y a su relación con los delitos de odio —casi veinte años antes de que el Reglamento de Servicios Digitales (Digital Services Act, DSA) de la UE obligara a las plataformas a evaluar este riesgo—. A principios de 2007, el Southern Poverty Law Center contaba unos 12,000 videos de propaganda supremacista blanca, grabaciones de conciertos de “hate rock” y seudodocumentales que niegan el Holocausto, disponibles abiertamente en YouTube y en otros sitios para compartir videos.
No es una lectura hecha a posteriori. Estas advertencias fueron contemporáneas, específicas y bien fundamentadas: quedaron documentadas antes de que dominaran las plataformas que amplificaron el problema a gran escala.
Myanmar: el caso documentado
El dominio de Facebook en Myanmar empezó a afianzarse hacia 2012, cuando el país se abrió tras décadas de gobierno militar; en 2018 tenía 18 millones de usuarios, alrededor de un tercio de la población, y para la mayoría de las personas que usaban internet, Facebook era internet. Investigadores de la ONU y periodistas documentaron el papel de Facebook en la amplificación del discurso de odio contra los rohinyás a partir de 2016. El propio Facebook reconoció en 2018 que no había hecho lo suficiente para impedir que la plataforma se usara para incitar a la violencia. En 2017, el ejército de Myanmar llevó a cabo una campaña contra el pueblo rohinyá que, según declaró en marzo de 2018 la relatora especial de la ONU sobre Myanmar, tenía “los rasgos distintivos de un genocidio”; más tarde, la Misión de Investigación de la ONU pidió que altos mandos militares fueran investigados y procesados por genocidio.
La vía causal que va de la amplificación en Facebook a la atrocidad es compleja: las tensiones étnicas que ya existían, la acción militar y los agravios históricos desempeñaron, todos, un papel. Lo que está documentado: Facebook era el principal entorno informativo, amplificó contenido que deshumanizaba a la población rohinyá, la Misión Internacional Independiente de Investigación de la ONU consideró “lenta e ineficaz” la respuesta de la empresa al discurso de odio en su plataforma, y la evaluación de impacto en derechos humanos que el propio Facebook encargó a BSR constató que la plataforma “estaba siendo usada por actores malintencionados para difundir discurso de odio, incitar a la violencia y coordinar daños”.
Deshumanización
Representar a un grupo como menos que plenamente humano: como alimañas, como una enfermedad o como invasores. No es solo un insulto: en términos psicológicos, afloja los frenos morales que normalmente impiden que las personas acepten o cometan violencia contra otras. Quienes estudian el genocidio consideran que un lenguaje deshumanizador cada vez más intenso es una etapa de alerta reconocida; por eso su amplificación masiva en Myanmar se documenta con tanto cuidado, en lugar de descartarse como un simple discurso ofensivo.
Fuentes
- Stanton, G.H. (1996, revisado), The Ten Stages of Genocide, Genocide Watch — la cuarta etapa, “Deshumanización, cuando los perpetradores llaman a sus víctimas ratas, o cucarachas, cáncer o enfermedad”; las etapas son “predecibles, pero no inexorables”.
- UN Independent Fact-Finding Mission on Myanmar (12 de septiembre de 2018), A/HRC/39/64 — “lenguaje deshumanizador y estigmatizador contra los rohinyás” (¶73); Facebook, “un instrumento útil para quienes pretenden propagar el odio” (¶74).
El algoritmo no elige el odio. Elige el engagement.
El mecanismo es el mismo en todo este sitio. El algoritmo no tiene opiniones sobre etnias ni sobre política. Muestra el contenido que provoca reacciones emocionales fuertes, y el odio, el miedo y la identidad tribal están entre las emociones que más engagement generan. Lo que se deriva de eso es más limitado que la versión popular: la plataforma hace que cueste menos encontrar contenido extremo y encontrarse unos a otros, y ofrece material extremo de forma preferente a quienes ya se inclinan en esa dirección. Si el sistema de recomendación (recommender system) impulsa la escalada por sí solo es un punto en disputa.
Una presentación interna de Facebook de 2016, que estudiaba grupos políticos en Alemania, encontró que el 64% de todas las incorporaciones a grupos extremistas llegaban a través de los propios sistemas de recomendación de la plataforma: “nuestros sistemas de recomendación hacen crecer el problema”, como decía la diapositiva. El mecanismo está documentado en Cómo funciona.
Lo que muestra la investigación sobre los vínculos entre lo que pasa en línea y la violencia fuera de línea
La investigación sobre la relación entre el discurso de odio en línea y la violencia fuera de línea encuentra correlaciones. Un estudio de Müller y Schwarz encontró una relación positiva significativa, a nivel local, entre las publicaciones de Facebook con sentimiento contra los refugiados y los ataques a refugiados en Alemania; y, usando los cortes de internet como experimento natural, mostró que la relación se debilitaba cuando se interrumpía el acceso.
El planteamiento honesto: una vía causal ha quedado documentada, con rigor, en un país y un periodo. No es determinista: la mayoría de las personas que consumen contenido de odio no cometen actos violentos. La dirección se mantiene. Lo que cambia las tasas base es la escala de la amplificación.
Cómo lo sabemos: el experimento natural detrás del hallazgo sobre el sentimiento contra los refugiados
La objeción habitual a “el odio en línea se correlaciona con los ataques fuera de línea” es que las localidades con más hostilidad podrían tener, sin más, a la vez más publicaciones de odio y más ataques, e internet solo iría de acompañante. Müller y Schwarz (2021) abordaron esta objeción con un experimento natural: usaron como palanca los cortes locales de internet y de Facebook, interrupciones que no tenían relación con las actitudes locales. Donde los cortes interrumpían el acceso, la relación entre el sentimiento contra los refugiados y los ataques a refugiados se debilitaba. Como los cortes eran prácticamente aleatorios respecto a la política local, esto se acerca mucho más a una afirmación causal que una simple correlación.
Qué muestra y cuáles son sus límites. Es una evidencia sólida de que la plataforma amplificó un sentimiento que ya existía hasta convertirlo en acción, en un país y un periodo concretos; no es una constante universal. No dice que todas las personas expuestas se vuelvan violentas: la afirmación se refiere a un desplazamiento de las tasas base en muchas comunidades, que es exactamente como se vería una amplificación a gran escala.
Fuentes
- OSCE (16–17 de junio de 2004), Meeting on the relationship between racist, xenophobic and anti-Semitic propaganda on the Internet and hate crimes, París.
- Southern Poverty Law Center (10 de junio de 2015), 20 Years of Hate, Intelligence Report — Stormfront abrió en marzo de 1995, “el primer gran sitio de odio de internet”.
- Southern Poverty Law Center (primavera de 2007), Neo-Nazi Groups Share Hate Via YouTube, Intelligence Report 125 — el recuento de ~12,000 videos.
- UN Independent Fact-Finding Mission on Myanmar (2018) — A/HRC/39/64.
- Facebook (5 de noviembre de 2018), An Independent Assessment of the Human Rights Impact of Facebook in Myanmar — “no estábamos haciendo lo suficiente para ayudar a impedir que nuestra plataforma se usara para fomentar la división e incitar a la violencia fuera de línea”.
- BSR (octubre de 2018), Human Rights Impact Assessment: Facebook in Myanmar — la evaluación que encargó Facebook.
- Stecklow, S. (15 de agosto de 2018), Why Facebook is losing the war on hate speech in Myanmar, informe especial de Reuters — más de 1,000 publicaciones que atacaban a los rohinyás; 18 millones de usuarios de Facebook, alrededor de un tercio de la población.
- OHCHR (12 de marzo de 2018), Myanmar: UN expert calls for accountability over violence in Rakhine State — la relatora especial Yanghee Lee ante el Consejo de Derechos Humanos.
- Southern Poverty Law Center, Stormfront, Extremist Files — creado por Don Black en marzo de 1995, “el primer gran sitio de odio de internet”.
- Glaser, J., Dixit, J. & Green, D.P. (2002), Studying Hate Crime with the Internet: What Makes Racists Advocate Racial Violence?, Journal of Social Issues 58(1).
- Horwitz, J. & Seetharaman, D. (26 de mayo de 2020), Facebook Executives Shut Down Efforts to Make the Site Less Divisive, Wall Street Journal — la presentación de 2016 con el “64%”.
- Müller, K. & Schwarz, C. (2021), Fanning the Flames of Hate: Social Media and Hate Crime, Journal of the European Economic Association 19(4) (documento de trabajo, 2019) — el uso de Facebook y los ataques contra refugiados en Alemania.
- Regulation (EU) 2022/2065 (Digital Services Act), artículos 34 y 38 — la evaluación de los riesgos sistémicos (systemic risk) de los sistemas algorítmicos y la opción de recomendaciones sin elaboración de perfiles.