Xenofobie & geweld
Het verband tussen online haat en geweld in de echte wereld was al gedocumenteerd voordat veel mensen van Facebook hadden gehoord.
Hoe je deze pagina leest. Tik op een onderstreept woord om de exacte academische term en een korte uitleg te zien. Open een "Dieper"-vak voor het bewijs en de punten die nog ter discussie staan. De hoofdtekst werkt op zichzelf — sla beide over en je krijgt nog steeds het hele verhaal.
De tijdlijn
Stormfront — de eerste grote haatsite op internet — werd in 1995 opgezet. In het begin van de jaren 2000 onderzochten wetenschappers al hoe ver mensen in chatrooms van witte racisten zouden gaan in het bepleiten van geweld. In juni 2004 hield de OVSE in Parijs een formele intergouvernementele bijeenkomst, speciaal over racistische en xenofobe propaganda op internet en het verband met haatmisdrijven — bijna twintig jaar voordat de Europese Digital Services Act platforms verplichtte dit risico te beoordelen. Begin 2007 telde het Southern Poverty Law Center zo'n 12.000 propagandavideo's van witte suprematisten, opnamen van hate-rockconcerten en pseudodocumentaires die de Holocaust ontkennen, die openlijk te zien waren op YouTube en andere videosites.
Dit is geen wijsheid achteraf. Deze waarschuwingen kwamen op het moment zelf, waren concreet en goed onderbouwd — vastgelegd voordat de platforms die het probleem op grote schaal zouden versterken dominant waren geworden.
Myanmar: het gedocumenteerde geval
De dominante positie van Facebook in Myanmar begon rond 2012 wortel te schieten, toen het land zich na decennia van militair bewind openstelde; in 2018 had Facebook er 18 miljoen gebruikers, ongeveer een derde van de bevolking, en voor de meeste mensen die online waren, was Facebook het internet. VN-onderzoekers en journalisten documenteerden vanaf 2016 de rol van Facebook bij het versterken van haatzaaiende uitlatingen tegen de Rohingya. Facebook erkende in 2018 zelf dat het niet genoeg had gedaan om te voorkomen dat het platform werd gebruikt om tot geweld aan te zetten. In 2017 voerde het leger van Myanmar een campagne tegen het Rohingya-volk die volgens de speciaal rapporteur van de VN voor Myanmar in maart 2018 "de kenmerken van genocide" droeg; de onderzoeksmissie van de VN riep later op om hoge militairen te onderzoeken en te vervolgen voor genocide.
De oorzakelijke weg van versterking door Facebook naar gruweldaden is complex — bestaande etnische spanningen, militair optreden en historische grieven speelden allemaal een rol. Wat gedocumenteerd is: Facebook was de belangrijkste informatieomgeving, het versterkte content die de Rohingya ontmenselijkte, de onafhankelijke onderzoeksmissie van de VN vond de reactie van het bedrijf op de haatzaaiende uitlatingen op zijn platform "traag en ineffectief", en het mensenrechtenonderzoek dat Facebook zelf bij BSR liet doen, stelde vast dat het platform "door kwaadwillenden werd gebruikt om haatzaaiende uitlatingen te verspreiden, tot geweld aan te zetten en schade te coördineren".
Ontmenselijking
Een groep voorstellen als minder dan volledig menselijk — als ongedierte, ziekte of indringers. Het is meer dan een belediging: psychologisch maakt het de morele remmen losser die mensen er normaal van weerhouden geweld tegen anderen te accepteren of te plegen. Genocidedeskundigen zien toenemend ontmenselijkend taalgebruik als een erkende waarschuwingsfase. Daarom wordt de massale versterking ervan in Myanmar zo zorgvuldig gedocumenteerd, in plaats van afgedaan als gewoon kwetsende taal.
Bronnen
- Stanton, G.H. (1996, herzien), The Ten Stages of Genocide, Genocide Watch — fase vier, "ontmenselijking, wanneer daders hun slachtoffers ratten noemen, of kakkerlakken, kanker of ziekte"; de fasen zijn "voorspelbaar maar niet onvermijdelijk".
- UN Independent Fact-Finding Mission on Myanmar (12 september 2018), A/HRC/39/64 — "ontmenselijkende en stigmatiserende taal tegen de Rohingya" (¶73); Facebook "een nuttig instrument voor wie haat wil verspreiden" (¶74).
Het algoritme kiest niet voor haat. Het kiest voor engagement.
Het mechanisme is overal op deze site hetzelfde. Het algoritme heeft geen mening over afkomst of politiek. Het brengt content naar boven die sterke emotionele reacties oproept — en haat, angst en groepsidentiteit behoren tot de emoties die het meeste engagement opleveren. Wat daaruit volgt, is smaller dan het populaire verhaal: het platform maakt het goedkoper om extreme content te vinden en om elkaar te vinden, en het legt extreem materiaal bij voorkeur voor aan mensen die al die kant op neigen. Of het aanbevelingsalgoritme (recommender system) de escalatie op zichzelf aanjaagt, is omstreden.
Een interne Facebook-presentatie uit 2016, over politieke groepen in Duitsland, vond dat 64% van alle aanmeldingen bij extremistische groepen via de eigen aanbevelingsfuncties van het platform verliep — "onze aanbevelingssystemen maken het probleem groter", zoals de slide het zei. Het mechanisme staat beschreven op Hoe het werkt.
Wat het onderzoek laat zien over het verband tussen online en offline geweld
Onderzoek naar de relatie tussen online haatzaaiende uitlatingen en offline geweld vindt correlaties. Een studie van Müller en Schwarz vond op lokaal niveau een significant positief verband tussen Facebookberichten met anti-vluchtelingensentiment en aanvallen op vluchtelingen in Duitsland — en liet, met internetstoringen als natuurlijk experiment, zien dat het verband zwakker werd als de toegang wegviel.
De eerlijke weergave: een oorzakelijke weg is gedocumenteerd, en grondig, in één land en één periode. Hij is niet deterministisch — de meeste mensen die hatelijke content zien, plegen geen geweld. De richting is consistent. De schaal van de versterking is wat de basiskansen verandert.
Hoe we dit weten — het natuurlijke experiment achter de bevinding over anti-vluchtelingengeweld
Het gebruikelijke bezwaar tegen "online haat hangt samen met offline aanvallen" is dat plaatsen met meer vijandigheid misschien gewoon zowel meer hatelijke berichten als meer aanvallen hebben, en dat internet daar alleen maar naast staat. Müller en Schwarz (2021) pakten dat aan met een natuurlijk experiment: ze gebruikten lokale storingen van internet en Facebook — onderbrekingen die niets met lokale opvattingen te maken hadden — als hefboom. Waar storingen de toegang afsneden, werd het verband tussen anti-vluchtelingensentiment en aanvallen op vluchtelingen zwakker. Omdat de storingen wat lokale politiek betreft in wezen willekeurig waren, komt dit veel dichter bij een oorzakelijke conclusie dan een eenvoudige correlatie.
Wat het laat zien, en waar de grenzen liggen. Het is sterk bewijs dat het platform bestaand sentiment in een bepaald land en een bepaalde periode heeft versterkt tot daden — geen universele constante. Het zegt niet dat iedereen die eraan wordt blootgesteld gewelddadig wordt; de bewering gaat over verschoven basiskansen in veel gemeenschappen, en dat is precies hoe versterking op grote schaal eruit zou zien.
Bronnen
- OVSE (16–17 juni 2004), Meeting on the relationship between racist, xenophobic and anti-Semitic propaganda on the Internet and hate crimes, Parijs.
- Southern Poverty Law Center (10 juni 2015), 20 Years of Hate, Intelligence Report — Stormfront ging in maart 1995 online, “the first major hate site on the Internet”.
- Southern Poverty Law Center (voorjaar 2007), Neo-Nazi Groups Share Hate Via YouTube, Intelligence Report 125 — de telling van zo'n 12.000 video's.
- UN Independent Fact-Finding Mission on Myanmar (2018) — A/HRC/39/64.
- Facebook (5 november 2018), An Independent Assessment of the Human Rights Impact of Facebook in Myanmar — "we deden niet genoeg om te helpen voorkomen dat ons platform werd gebruikt om verdeeldheid te zaaien en aan te zetten tot geweld buiten het internet."
- BSR (oktober 2018), Human Rights Impact Assessment: Facebook in Myanmar — het onderzoek dat Facebook zelf liet doen.
- Stecklow, S. (15 augustus 2018), Why Facebook is losing the war on hate speech in Myanmar, speciaal rapport van Reuters — meer dan 1.000 berichten die de Rohingya aanvallen; 18 miljoen Facebookgebruikers, ongeveer een derde van de bevolking.
- OHCHR (12 maart 2018), Myanmar: UN expert calls for accountability over violence in Rakhine State — speciaal rapporteur Yanghee Lee tegenover de Mensenrechtenraad.
- Southern Poverty Law Center, Stormfront, Extremist Files — in maart 1995 opgericht door Don Black, “de eerste grote haatsite op internet”.
- Glaser, J., Dixit, J. & Green, D.P. (2002), Studying Hate Crime with the Internet: What Makes Racists Advocate Racial Violence?, Journal of Social Issues 58(1).
- Horwitz, J. & Seetharaman, D. (26 mei 2020), Facebook Executives Shut Down Efforts to Make the Site Less Divisive, Wall Street Journal — de presentatie uit 2016 met het cijfer van 64%.
- Müller, K. & Schwarz, C. (2021), Fanning the Flames of Hate: Social Media and Hate Crime, Journal of the European Economic Association 19(4) (working paper, 2019) — Facebookgebruik en aanvallen op vluchtelingen in Duitsland.
- Verordening (EU) 2022/2065 (Digital Services Act), artikelen 34 en 38 — de beoordeling van systeemrisico (systemic risk) van algoritmische systemen, en de optie voor een aanbevelingsalgoritme (recommender system) zonder profilering.