The New Arab

261007

 

AI-verktyg som digitalt tar bort muslimska kvinnors hijab möjliggör en ny form av ”könsbaserade trakasserier och förnedring”. Detta varnar en ledande brittisk organisation som övervakar hatbrott mot muslimer för, samtidigt som oron växer kring hur generativ AI används för att rikta in sig på muslimer på nätet.

I en kommentar till The New Arab varnade Iman Atta OBE, chef för organisationen Tell MAMA, för att bildmanipulering i syfte att ta bort kvinnors religiösa klädsel kan orsaka stort lidande och utsätta muslimska kvinnor för ytterligare övergrepp, både på nätet och i verkliga livet.

– Sådana handlingar utgör ännu en form av könsbaserade trakasserier och förnedring som syftar till att skada och orsaka lidande för muslimska kvinnor, sade Atta. – Eftersom huvudduken bärs av religiösa skäl riktar sig dessa handlingar i grunden mot deras religiösa övertygelse på ett djupt personligt sätt, vilket innebär en risk att muslimska kvinnor utsätts för påhopp både i och utanför det offentliga livet.

Varningen kommer efter en granskning utförd av The Guardian, som visade att flera ledande AI-chattbotar tog bort hijab från bilder på muslimska kvinnor när de ombads göra det.

Tidningen testade ChatGPT, Grok, Gemini och Claude med hjälp av en AI-genererad bild på en kvinna som bar hijab. ChatGPT och Grok tillmötesgick begäran om att ta bort huvudduken, medan Gemini till en början vägrade men senare genererade en bild utan hijab efter att ha ombetts få kvinnan att se mer ”västerländsk” ut. Claude uppgav att tjänsten inte skulle utföra en sådan redigering.

Testerna genomfördes efter att Julien Odoul, parlamentsledamot för det franska högerextrema partiet Nationell samling (Rassemblement National), publicerat en digitalt manipulerad bild av en verklig muslimsk kvinna där hennes hijab och långärmade kläder hade tagits bort. Politikern lade upp den manipulerade bilden på X tillsammans med orden ”LIBERTÉ FRANÇAISE”, eller ”fransk frihet”.

 

”AI-skräp” riktat mot muslimer

Atta menade att problemet sträcker sig långt bortom borttagandet av hijab; Tell MAMA har tagit emot rapporter om innehåll skapat med generativ AI som framställer muslimska män och kvinnor utifrån olika rasistiska och antimuslimska stereotyper.

– I ett vidare perspektiv riktar sig det innehåll från generativ AI som rapporterats till Tell MAMA mot muslimska kvinnor och män på specifika, rasifierade och skadliga sätt, sade hon till TNA. Muslimska män, sade hon, framställdes ofta som ”brottslingar, terrorister eller ett utpräglat utländskt hot som anländer med båt”, medan annat AI-genererat material skildrade dem som kulturella hot eller faror för kvinnor och flickor.

Atta sade att sådant innehåll ofta återanvände stereotyper riktade mot araber, svarta och personer med ursprung i Sydasien.

Muslimska kvinnor utsattes å sin sida för påhopp kopplade till både sin etnicitet och sin religiösa klädsel.

Tell MAMA har tagit emot rapporter om TikTok-konton som använder generativ AI för att framställa muslimska kvinnor i niqab som kulturella hot, sade Atta; bland annat förekommer bilder där de ställs i kontrast till vita familjer som bär engelska flaggor eller Union Jack.

Annat AI-genererat innehåll sexualiserar muslimska kvinnor genom att avbilda dem i huvudduk och åtsittande kläder, medan fejkade videor i intervjuformat innehåller AI-genererade manus där muslimska kvinnor påstås kräva ”efterlevnad av sharia”, enligt Tell MAMA.

Oron uppstår mot bakgrund av en allmän ökning av rapporterade antimuslimska hatbrott i Storbritannien. Tell MAMA registrerade 1 031 rapporter om antimuslimska fördomar och hat i London under årets första sex månader – en siffra som redan överstiger de 1 028 rapporter som registrerades under hela 2023.

Organisationen har även varnat för en alltmer aggressiv antimuslimsk retorik på nätet, innefattande rasistiskt laddat språk och hot om fysiskt våld.

 

”Skyddsåtgärderna är helt otillräckliga”

Atta kritiserade sociala medier-företagens befintliga skyddsåtgärder och menade att automatiserade modereringssystem misslyckas med att förstå den kulturella och religiösa kontexten bakom AI-genererade kränkningar.

”Plattformarnas nuvarande skyddsåtgärder är helt otillräckliga för att hantera denna våg av syntetiska kränkningar”, sade hon. ”Anmälningsfunktionerna förlitar sig i hög grad på automatiserade system som är utformade för att endast upptäcka uppenbara brott mot riktlinjerna. Detta gör dem helt blinda för kulturella kodade budskap, hypersexualiserade bilder och subtila narrativ som finns inbäddade i AI-genererat skräpinnehåll.”

Möjligheten att snabbt skapa och sprida sådant material innebär att illvilliga användare kan producera kränkande innehåll i en omfattning som traditionella anmälningssystem inte är rustade att hantera, tillade Atta.

”Den större faran ligger i försöken att få skadligt, antimuslimskt AI-skräpinnehåll att spridas viralt; detta riskerar att normalisera skadlig retorik och fientliga reaktioner mot muslimska grupper, inklusive tvångsförflyttningar eller uppmaningar till våld och övergrepp.”

Problemet är inte begränsat till Storbritannien; ny forskning från den USA-baserade organisationen Center for the Study of Organized Hate har dokumenterat hur generativ AI används i Indien för att sexualisera muslimska kvinnor och avhumanisera muslimer. Samtidigt har framstående muslimska kvinnor inom amerikansk politik, däribland Ilhan Omar och Rashida Tlaib, också utsatts för sådana angrepp.

Atta uppmanade sociala medier-företag att tydligt märka upp AI-genererat material, göra anmälningsfunktionerna enklare att använda samt samarbeta närmare med specialistorganisationer för att identifiera former av antimuslimskt hat som automatiserade system kan missa.

”Detta är särskilt viktigt eftersom responsen ofta brister när det gäller att hantera eller snabbt följa upp anmälningar om sådant hat eller skadligt innehåll på nätet”, sade hon. ”Sociala medier måste vara en trygg plats för alla; företagen måste komma ihåg detta och säkerställa att det är människor, inte mjukvara, som granskar sådana anmälningar.”