En suddig bild på ett könsorgan på en stenstaty.
Bild: Yle
Näthat

De städar internet åt dig – Chris jobbade i Facebooks dolda kulisser

De flesta av oss behöver inte se våldsamma inlägg i våra flöden på sociala medier. Det är för att det finns människor som jobbar dygnet runt med att städa undan det här materialet. Chris påverkades allvarligt när han rensade bort stötande innehåll.

Artikeln är över 3 år gammal

Irländaren Chris Gray hör av sig och säger att han kommer bli något försenad till vår intervju. Han behöver ta sig ännu högre upp på en kulle för att få bättre täckning till telefonen. Han är på Kanarieöarna.

Jag tittar ut genom mitt dammiga vardagsrumsfönster och ser de stora svarta grushögarna som samlats bredvid trottoaren. Regnsjuka moln hopar sig ovanför hustaken.

En suddig bild på en kvinna som ser ut att bli utsatt för våld i en säng.

Jag undrar vilka vyer Gray kommer se där uppe på kullen. Små vita tegelhus längs med snirklande vägar? Turkost vatten? Vita sandstränder?

Nuförtiden jobbar Gray inom turistbranschen, men tidigare jobbade han med att titta på bilder, videor och inlägg som uppfattades som stötande eller kränkande på olika sätt. Ett jobb som kom att ge honom symptom som påminde om posttraumatisk stress.

– Turismbranschen är död, säger Gray och skrattar när han ringer upp.

– Jag har suttit på mina händer i snart ett år nu. Jag har en del konsulterande och administrativt arbete kvar att göra, men det kan jag göra var som helst. Jag kan lika gärna vara på en ö i solen.

Mellan 2017 och 2018 jobbade Gray på företaget CPL Solutions i Dublin, som numera går under namnet Covalen Solutions. Företag som Grays före detta arbetsplats anlitas av globala teknikjättar inom sociala medier, såsom Facebook och Google, bland annat för att rensa bort stötande innehåll från deras sidor.

En suddig bild på en docka med sönderslaget ansikte.

– Det var inte bara att städa bort grejer. Jobbet var att titta på olika typer av innehåll och avgöra om man ska radera det eller låta det vara kvar.

100 inlägg per timme

En vanlig dag på jobbet började med att Gray satte sig framför datorn och började klicka fram statusuppdateringar, bilder, videoklipp och memes som hade rapporterats som stötande av Facebookanvändare runtom i världen.

En suddig bild på kött, ser ut som inälvor.

Han berättar att han bedömde ungefär 100 olika slags innehåll per timme, mellan 600-700 inlägg på en åtta timmar lång arbetsdag.

På jobbet fanns olika avdelningar som ansvarade för olika slags innehåll. Ett team specialiserade sig på innehåll som hade med terrorism att göra, ett annat på säkerhetsfrågor, ett tredje på pornografi, ett annat team på djurrättsfrågor.

Avdelningen för brådskande innehåll

Jag frågar vilket slags innehåll han tog del av under en vanlig dag.

– Jag har sett ISIS halshuggningsvideor och videor på människor som mördas med maskingevär. Jag minns också en video där jag såg en man huggas till döds med kniv. Det är något helt annat än att titta på film, när man tittar på film vet man att det är på låtsas. Det här är riktiga människor som jag har sett.

Gray jobbade på en avdelning som handskades med innehåll som på olika sätt var brådskande att granska och bedöma inom 48 timmar. Allt från mobbning, hatprat, terrorism och grafiskt våld.

Någonstans i manualen finns det en skriftlig definition på vad en bild på en människas rumpa är.

Inläggen kunde vara allt mellan himmel och jord.

– Tänk dig ett gift par som varit tillsammans länge och som går igenom en stökig skilsmässa. Den ena parten kanske hittar en ny partner och det börjar grälas på nätet. De säger elaka saker om varandra och kanske någon av deras mammor kommer med i diskussionerna. Då börjar de kanske använda “rapportera”-funktionen som ett slags vapen för att tysta ner den andra personen. Jag sitter där och får bara ta del av små pusselbitar från hela diskussionen och kontexten. Det är så deprimerande att se.

Efter att man tittat på innehållet ska man så snabbt och effektivt som möjligt ta ett beslut kring om inläggen bryter mot någon regel eller inte.

En suddig bild på säkerhetsstyrkor i Minsk som bär bort en kvinna på gatan.

Klick, klick. Vidare till nästa inlägg.

– Nästa bild är kanske en bild på små söta labradorvalpar med texten “hundar till salu”. Kanske har en djurrättsaktivist anmält inlägget eftersom de inte gillar att hundar säljs och köps? Man vet aldrig vad som kommer härnäst. Nästa bild kan vara en bild av en död bebis i Myanmar. Eller en kvinna i bikini eller en frukt formad som en penis. Och sedan är man plötsligt tillbaka vid paret som grälar igen.

En suddig bild av en människa som ser ut att ligga på en bår av någon orsak.

Klick, klick.

Skillnaden mellan att hålla i och klämma på bröst

Det var ändå inte upp till Gray vad som skulle klassificeras som “stötande” innehåll eller inte.

Till hjälp hade Gray och hans kollegor manualer på hundratals sidor med definitioner och klassifikationer med målet att alla tusentals människor som jobbar med att rensa bort innehåll ska fatta samma beslut som varandra.

– Allt är definierat för en, man varken ska eller får tänka själv. Någonstans i manualen finns det en skriftlig definition på vad en bild på en människas rumpa är. I något skede diskuterades vad som ska klassas som att klämma på bröst.

En suddig bild på en man och en kvinna som står i duschen.

Det fanns ett behov av att göra skillnad på vad det är att hålla i ett bröst och att klämma på dem.

– Det finns någon där ute som fått bra betalt för att skriva de här definitionerna, säger han och skrattar.

“Content moderators” eller “legal removals associate” är titlar jag stöter på när jag läser på om Grays jobb.

– Haha! Jag har också kallats “communication operation analyst”. Är det inte fina eufemismer?

Jag var ett vrak.

Jag frågar hur han påverkades av att jobba med att bedöma omkring 100 potentiellt stötande inlägg per timme på jobbet.

– Jag var så lättad när jag fick lämna allt att jag först inte tänkte på det. Jag tänkte att det där bara var en dålig episod i mitt tidigare liv.

Men när en journalist tog kontakt med honom och frågade om hans tidigare erfarenheter bröt han ihop totalt.

En suddig bild på två människor som ser ut att hålla på med kampsport.

– Där satt jag med en främmande kvinna på ett café och pratade om innehållet jag hade jobbat med. Jag hade aldrig pratat med någon om det tidigare. Och jag bröt ihop totalt och började gråta. Journalisten uppmanade mig att besöka en läkare, vilket jag också gjorde. Jag var ett vrak.

Läkaren skickade honom vidare till en specialist som han säger gav honom en diagnos som relaterade till posttraumatisk stress. Han minns inte exakt vilken diagnos det handlade om.

Aldrig förberedd

Jag frågar försiktigt om det inte underlättade för Grays psyke och välbefinnande att han i någon mån ändå visste vad han kunde förvänta sig av arbetet?

När han började arbetsdagen visste han väl efter en tid att det fanns stor risk att han skulle behöva se döda människor, sexuella övergrepp eller andra hemskheter.

En väldigt suddig bild som ser ut att eventuellt föreställa en naken människa.

Svaret är nej.

– Man blir aldrig förberedd på innehållet, inte förrän du sett det med dina egna ögon. Jag tror inte man kan förstå vilken känslomässig press man utsätter sig för där och då. Det är inte heller som att man bara ser ett stötande inlägg en gång, du förväntas göra det där sex till sju timmar varje dag! Ingen vet hur det påverkar en före de testat själva.

Människa eller maskin?

Om någon hade frågat mig för en månad sedan hur själva granskningen av inlägg på sociala medier går till i praktiken hade jag väl killgissat att det säkert finns någon robot eller artificiell intelligens som raderar inläggen automatiskt.

Och enligt den svenska tidningen Arbetet raderar till exempel Facebook mycket riktigt en stor del av allt stötande innehåll på sin plattform med hjälp av artificiell intelligens.

En suddig bild, på en trasig docka med grön tröja.

Men i många av fallen behövs mänskliga ögon och hjärnor för att förstå inläggens kontext, symboler och nyanser.

Enligt dokumentärfilmen “The Moderators” från 2017 har det uppskattats att antalet människor som jobbar med att städa bort stötande material från världens sociala medier och appar är över 150 000.

Facebook har valt att inte svara på min intervjuförfrågan.

Inte söndriga människor

När jag tackar för samtalet säger Gray att han vill tillägga en viktig sak.

– Jag är på en konstruktiv plats i livet just nu, jag har gått i terapi och det har hjälpt mig. Det är klart att jag fortfarande har en del dåliga dagar och jag tar fortfarande antidepressiva läkemedel. Men jag vill verkligen inte skapa en bild av mig själv som ett offer.

Moderatorer är inte trasiga människor, säger han.

En suddig bild på två människor som ser ut att hålla på med kampsport.

– Vi är människor som har gjort ett viktigt jobb, vi har gjort något som andra har stor nytta av i samhället. Och vi har fått ta negativa konsekvenser av det.

Jag har själv aldrig varit på Kanarieöarna, så jag kan bara gissa vilka vyer Chris Gray blickar ut över under vårt samtal.

Han har sett mycket annat också, som jag kanske aldrig någonsin kommer se.

En suddig bild av en kvinna som ser ut att bli utsatt för våld.

Det är något helt annat än att titta på film, när man tittar på film vet man att det är på låtsas. Det här är riktiga människor som jag har sett.