AI-assistenter bliver nyt mål i phishingkampagner

Phishingmails har i årevis haft ét primært mål: at narre modtageren. Nu forsøger angribere i stigende grad at ramme to mål med samme besked. Ud over de traditionelle lokkemidler indeholder nogle phishingmails nemlig skjulte instruktioner rettet mod AI-assistenter, der bruges til at opsummere eller analysere indhold i indbakken.

Det skriver Info Security Magazine, der har sin historie fra Barracuda, som har analyseret en kampagne, hvor klassiske phishingteknikker blev kombineret med såkaldte prompt injections skjult i e-mailens indhold.

Én e-mail, to ofre

Ifølge Barracuda fremstod de analyserede e-mails som almindelig intern korrespondance. Afsender- og modtageradresse var den samme, beskeden kom fra et offentligt domæne og havde en spamvurdering, der gjorde den troværdig nok til at passere traditionelle filtreringsmekanismer.

For modtageren indeholdt mailen et adgangskodebeskyttet dokument, hvor adgangskoden var angivet direkte i beskeden. Metoden bruges ofte til at omgå sikkerhedsløsninger, fordi mailgateways ikke uden videre kan inspicere indholdet af beskyttede filer.

Samtidig var der skjult instruktioner til AI-systemer, som kunne få en assistent til at præsentere beskeden som legitim eller fremhæve den som særligt vigtig. Hvis brugeren overså e-mailen ved første gennemgang, kunne AI-assistenten dermed utilsigtet give den fornyet opmærksomhed.

Usynlige instruktioner

Barracuda identificerede flere teknikker til at skjule instruktionerne. Blandt de mest anvendte var HTML-kommentarer, tekst skjult med CSS, Base64-kodede data og brugen af usynlige Unicode-tegn.

Formålet er at kommunikere med AI-modellen uden at vække mistanke hos den menneskelige læser.

De skjulte instruktioner kan eksempelvis bede en AI-assistent om at ignorere tidligere retningslinjer, markere en besked som presserende, foreslå en bankoverførsel eller forsøge at få systemet til at afsløre informationer, som brugeren normalt ikke har adgang til.

Fra fakturaer til jobansøgninger

Rapporten beskriver flere eksempler på denne type angreb.

I ét tilfælde indeholdt en faktura skjulte instruktioner, som fik en AI-assistent til at tilføje en falsk anbefaling om at ændre betalingsoplysninger for en leverandør.

I et andet eksempel var instruktionerne indlejret i en jobansøgning og bad et AI-baseret screeningssystem om at give kandidaten den højest mulige vurdering.

Barracuda omtaler også tilfælde, hvor supportchatbots blev forsøgt manipuleret til at udlevere konfigurationsoplysninger, samt såkaldt forgiftet dokumentation på nettet, som kunne få kodeassistenter til at indsætte skadelig funktionalitet i genereret kode.

Traditionelle filtre er ikke nok

Angrebene illustrerer ifølge Barracuda, hvordan AI-systemer i stigende grad bliver en del af angrebsfladen. Hvor e-mails tidligere alene skulle vurderes ud fra, om de kunne narre brugeren, skal sikkerhedsforanstaltninger nu også tage højde for, hvordan indholdet påvirker de AI-værktøjer, der behandler det.

Barracuda vurderer, at ingen enkeltstående kontrol kan stoppe alle varianter af denne type angreb. Virksomheden anbefaler blandt andet at fjerne skjulte elementer og usynlige tegn, inden indhold sendes videre til AI-systemer, at identificere forsøg på at tilsidesætte instruktioner og at validere AI-genererede svar, før de anvendes i forretningskritiske processer.

En af de centrale læringer er, at eksternt indhold bør behandles som data og ikke som instruktioner. Men det er naturligvis svært, for i takt med at AI-assistenter får adgang til stadig flere arbejdsgange, bliver grænsen mellem de to ting mindre tydelig end tidligere.