Xenofobia & violência
A ligação entre o ódio online e a violência no mundo real já estava documentada antes que muita gente tivesse ouvido falar do Facebook.
Como ler esta página. Toque em qualquer palavra sublinhada para ver o termo acadêmico exato e uma definição curta. Abra qualquer caixa "Mais a fundo" para ver as evidências e os pontos contestados. O texto principal se sustenta sozinho — você pode pular as duas coisas e ainda assim acompanhar o argumento inteiro.
A linha do tempo
O Stormfront, o primeiro grande site de ódio da internet, foi criado em 1995. No início dos anos 2000, pesquisadores já estudavam até onde as pessoas em salas de bate-papo de racistas brancos chegariam ao defender a violência. Em junho de 2004, a OSCE realizou em Paris uma reunião intergovernamental formal dedicada especificamente à propaganda racista e xenófoba online e à sua ligação com os crimes de ódio — quase vinte anos antes de o Digital Services Act da UE exigir que as plataformas avaliassem esse risco. No início de 2007, o Southern Poverty Law Center contava cerca de 12.000 vídeos de propaganda supremacista branca, gravações de shows de hate rock e pseudodocumentários de negação do Holocausto disponíveis abertamente no YouTube e em outros sites de compartilhamento de vídeos.
Não é uma leitura feita em retrospecto. Esses alertas foram feitos na própria época, eram específicos e estavam bem fundamentados — e foram documentados antes que as plataformas que amplificaram o problema em grande escala se tornassem dominantes.
Mianmar: o caso documentado
O domínio do Facebook em Mianmar começou a se firmar por volta de 2012, quando o país se abriu depois de décadas de regime militar; em 2018, a plataforma tinha 18 milhões de usuários, cerca de um terço da população, e, para a maioria das pessoas conectadas, o Facebook era a internet. Investigadores da ONU e jornalistas documentaram o papel do Facebook na amplificação do discurso de ódio contra os rohingya a partir de 2016. O próprio Facebook reconheceu em 2018 que não tinha feito o suficiente para impedir que a plataforma fosse usada para incitar a violência. Em 2017, as forças armadas de Mianmar conduziram uma campanha contra o povo rohingya que, como a relatora especial da ONU para Mianmar disse em março de 2018, tinha “as marcas de um genocídio”; a Missão Internacional Independente de Investigação da ONU pediu depois que altos oficiais militares fossem investigados e processados por genocídio.
O caminho causal entre a amplificação no Facebook e as atrocidades é complexo: tensões étnicas que já existiam, a ação militar e ressentimentos históricos tiveram, todos, um papel. O que está documentado: o Facebook era o principal ambiente de informação, amplificou conteúdos que desumanizavam a população rohingya, a Missão Internacional Independente de Investigação da ONU considerou a resposta da empresa ao discurso de ódio na sua plataforma “lenta e ineficaz”, e a avaliação de impacto em direitos humanos que o próprio Facebook encomendou à BSR constatou que a plataforma estava “sendo usada por agentes mal-intencionados para espalhar discurso de ódio, incitar a violência e coordenar danos”.
Desumanização
Representar um grupo como menos que plenamente humano — como praga, doença ou invasores. Não é só um insulto: do ponto de vista psicológico, isso afrouxa os freios morais que normalmente impedem as pessoas de aceitar ou cometer violência contra os outros. Estudiosos do genocídio tratam a escalada da linguagem desumanizante como um estágio de alerta reconhecido. É por isso que a sua amplificação em massa em Mianmar é documentada com tanto cuidado, em vez de ser descartada como simples fala ofensiva.
Fontes
- Stanton, G.H. (1996, revisado), The Ten Stages of Genocide, Genocide Watch — o estágio quatro, “desumanização, quando os perpetradores chamam suas vítimas de ratos, ou baratas, câncer ou doença”; os estágios são “previsíveis, mas não inexoráveis”.
- UN Independent Fact-Finding Mission on Myanmar (12 de setembro de 2018), A/HRC/39/64 — “linguagem desumanizante e estigmatizante contra os rohingya” (¶73); o Facebook, “um instrumento útil para quem procura espalhar o ódio” (¶74).
O algoritmo não escolhe o ódio. Escolhe o engagement.
O mecanismo é o mesmo em todo este site. O algoritmo não tem opiniões sobre etnia ou política. Ele dá destaque ao conteúdo que provoca reações emocionais fortes — e o ódio, o medo e a identidade tribal estão entre as emoções que mais geram engagement. O que decorre disso é mais limitado do que a versão popular da história: a plataforma reduz o custo de encontrar conteúdo extremo, e de as pessoas se encontrarem umas às outras, e serve material extremo de preferência a quem já está inclinado nessa direção. Se o sistema de recomendação (recommender system), por si só, impulsiona a escalada é uma questão contestada.
Uma apresentação interna do Facebook de 2016, que estudava grupos políticos na Alemanha, constatou que 64% de todas as entradas em grupos extremistas tinham vindo das próprias ferramentas de recomendação da plataforma — “nossos sistemas de recomendação fazem o problema crescer”, como dizia o slide. O mecanismo está documentado em Como funciona.
O que a pesquisa mostra sobre a ligação entre a violência online e offline
As pesquisas sobre a relação entre o discurso de ódio online e a violência offline encontram correlações. Um estudo de Müller e Schwarz encontrou uma relação positiva significativa entre posts no Facebook com sentimento contra refugiados e ataques a refugiados na Alemanha, em nível local. E, usando quedas da internet como experimento natural, mostrou que essa relação enfraquecia quando o acesso era cortado.
O enquadramento honesto: um caminho causal foi documentado, com rigor, em um país e em um período. Ele não é determinista — a maioria das pessoas que consome conteúdo de ódio não comete violência. A direção é consistente. É a escala da amplificação que muda as taxas de base.
Como sabemos — o experimento natural por trás do resultado sobre os refugiados
A objeção padrão a “o ódio online está correlacionado com ataques offline” é que cidades com mais hostilidade poderiam simplesmente ter, ao mesmo tempo, mais posts de ódio e mais ataques, com a internet só pegando carona. Müller e Schwarz (2021) responderam a isso com um experimento natural: usaram como alavanca as quedas locais da internet e do Facebook, interrupções sem relação com as atitudes locais. Onde as quedas cortaram o acesso, a relação entre o sentimento contra refugiados e os ataques a refugiados enfraqueceu. Como as quedas eram essencialmente aleatórias em relação à política local, isso chega muito mais perto de uma afirmação causal do que uma simples correlação.
O que o estudo mostra e quais são os seus limites. É uma evidência forte de que a plataforma amplificou um sentimento que já existia até ele virar ação, em um país e em um período específicos — não uma constante universal. O estudo não diz que todas as pessoas expostas se tornam violentas: a afirmação é sobre taxas de base deslocadas em muitas comunidades, que é exatamente o que se veria com uma amplificação em grande escala.
Fontes
- OSCE (16–17 de junho de 2004), Meeting on the relationship between racist, xenophobic and anti-Semitic propaganda on the Internet and hate crimes, Paris.
- Southern Poverty Law Center (10 de junho de 2015), 20 Years of Hate, Intelligence Report — o Stormfront entrou no ar em março de 1995, “the first major hate site on the Internet”.
- Southern Poverty Law Center (Spring 2007), Neo-Nazi Groups Share Hate Via YouTube, Intelligence Report 125 — a contagem de ~12.000 vídeos.
- UN Independent Fact-Finding Mission on Myanmar (2018) — A/HRC/39/64.
- Facebook (5 de novembro de 2018), An Independent Assessment of the Human Rights Impact of Facebook in Myanmar — “não estávamos fazendo o suficiente para ajudar a impedir que a nossa plataforma fosse usada para fomentar a divisão e incitar a violência offline”.
- BSR (outubro de 2018), Human Rights Impact Assessment: Facebook in Myanmar — a avaliação encomendada pelo Facebook.
- Stecklow, S. (15 de agosto de 2018), Why Facebook is losing the war on hate speech in Myanmar, reportagem especial da Reuters — mais de 1.000 publicações atacando os rohingya; 18 milhões de usuários do Facebook, cerca de um terço da população.
- OHCHR (12 de março de 2018), Myanmar: UN expert calls for accountability over violence in Rakhine State — a relatora especial Yanghee Lee ao Conselho de Direitos Humanos.
- Southern Poverty Law Center, Stormfront, Extremist Files — criado por Don Black em março de 1995, “o primeiro grande site de ódio da internet”.
- Glaser, J., Dixit, J. & Green, D.P. (2002), Studying Hate Crime with the Internet: What Makes Racists Advocate Racial Violence?, Journal of Social Issues 58(1).
- Horwitz, J. & Seetharaman, D. (26 de maio de 2020), Facebook Executives Shut Down Efforts to Make the Site Less Divisive, Wall Street Journal — a apresentação de 2016 com os “64%”.
- Müller, K. & Schwarz, C. (2021), Fanning the Flames of Hate: Social Media and Hate Crime, Journal of the European Economic Association 19(4) (texto para discussão, 2019) — uso do Facebook e ataques contra refugiados na Alemanha.
- Regulation (EU) 2022/2065 (Digital Services Act), artigos 34 e 38 — a avaliação de riscos sistêmicos dos sistemas algorítmicos e a opção de recomendação não baseada na definição de perfis.