Ökad hotbild: Terroristgrupper experimenterar med generativ AI för propaganda

En nyligen publicerad rapport från Tech Against Terrorism avslöjar en oroande trend i den digitala världen. Terrorist- och våldsamma extremistgrupper (TVE), som spänner över ideologier från islamism till högerextremism, har börjat experimentera med generativa artificiella intelligens (AI) tjänster. Denna tidiga interaktion, som ännu inte är utbredd, signalerar en potentiell förändring i hur dessa grupper skapar och sprider propaganda.

Över 5 000 stycken AI-genererat innehåll producerade av TVE har arkiverats, vilket tyder på ett växande intresse för att använda AI för att förstärka propagandainsatser. Innehållet varierar från pro-Islamiska Statens (IS) teknikgrupper, som publicerar guider om säker AI-innehållsgenerering, till högerextrema kanaler som delar rasistiska, antisemitiska och nazistiska bilder som sägs ha genererats med hjälp av populära AI-konstgeneratorer.

En oroande aspekt är mångfalden i användningen av dessa AI-verktyg. Exempel inkluderar en IS-anhängare som använder AI-transkriptionsverktyg för att sprida meddelanden och en pro-al-Qaida-kanal som publicerar affischer med bilder som troligen skapats med generativa AI-plattformar. Dessutom belyser AI-genererade bilder relaterade till konflikten mellan Israel och Hamas efter en terroristattack i oktober 2023 den realtidsmässiga användningen av dessa tekniker i pågående konflikter.

Tech Against Terrorism har utvecklat en taxonomi för att kategorisera riskerna med TVE:s exploatering av generativ AI. Detta inkluderar medieskapande, där en enda bild eller video kan generera tusentals manipulerade varianter, vilket kringgår hash-matchning och automatiserade detektionsmekanismer. Andra risker involverar automatiserad flerspråkig översättning av propaganda, helt syntetisk propagandaskapande och personlig propaganda som riktar sig mot specifika demografiska grupper.

Rapporten understryker också användningen av AI-genererade bilder i dedikerade nazistiska Telegram-kanaler och guider för "AI Meme War" som delas på meddelandeappar och forum. Dessa fall illustrerar TVE:s växande sofistikering i att kringgå innehållsmoderering och detektionstekniker.

Denna utveckling representerar en betydande utmaning för motterroristinsatser och modereringsteam för AI-verktyg. Exploateringen av AI av terroristiska enheter för propagandaskapande är ett snabbt utvecklande hot, som kräver omfattande politikutveckling, tekniska lösningar och en tvärindustriell konsensus för att effektivt mildra riskerna.

När terroristgrupper fortsätter att experimentera med AI-bildgenereringsverktyg, hotar risken för mer avancerad och utbredd användning i propagandainsatser. Detta kräver ökad vaksamhet från AI-utvecklare och organisationer samt implementering av robusta informations- och kunskapsdelningsprocesser för att träna AI-system i att upptäcka och förhindra sådana exploateringar.