OWASP advarer om voksende risiko fra AI-færdigheder

Open Worldwide Application Security Project (OWASP) har offentliggjort en ny Top 10-liste over de største sikkerhedsrisici ved AI-skills, de moduler og instruktioner, der udvider agentbaserede AI-systemers funktionalitet.

Det skriver Dark Reading.

Baggrunden for Top 10-listen er en stigende bekymring for, at skills er ved at udvikle sig til en ny angrebsflade i takt med, at organisationer tager AI-agenter i brug. Ifølge OWASP giver skills adgang til nye funktioner, men samtidig et nyt lag af kode, eksterne afhængigheder og instruktioner, som kan misbruges af angribere.

Ondsindede skills topper listen

Øverst på OWASP's liste ligger risikoen for ondsindede skills. Disse kan udgive sig for at være legitime udvidelser, mens de i virkeligheden udfører skadelige handlinger eller indsamler følsomme oplysninger.

Nummer to på listen er kompromittering af forsyningskæden. Skills distribueres ofte via GitHub og lignende repositorier, hvor angribere kan indsætte manipulerede afhængigheder eller udnytte fejlstavede pakkenavne til at få skadelig kode installeret.

Listen fremhæver også overprivilegerede skills, som får adgang til flere systemer og data end nødvendigt, samt instruktioner hentet fra eksterne kilder uden tilstrækkelig validering.

Ifølge OWASP kan selv legitime skills blive farlige, hvis de automatisk henter instruktioner fra hjemmesider eller andre eksterne ressourcer, som senere bliver kompromitteret. 

OWASPs nye liste er primært en risikoklassifikation frem for en sårbarhedsliste. Den beskriver de mest sandsynlige måder, hvorpå AI-skills kan misbruges eller kompromitteres. Listen kan også ses som en katalogisering af de væsentligste sikkerhedsrisici ved AI-skills. Listen omfatter både egentlige sikkerhedssvagheder, misbrugsscenarier og trusselsmønstre knyttet til udvikling, distribution og anvendelse af skills i agentbaserede AI-systemer.

Angreb nåede hundredtusinder af installationer

Aktualiteten blev understreget af en hændelse i juli, hvor angribere oprettede et domæne, der udgav sig for at være relateret til AI-platformen Paperclip. Her blev både manipulerede Python-pakker og ondsindede AI-skills distribueret til brugere.

Mens traditionelle sikkerhedsværktøjer hurtigt identificerede de kompromitterede softwarepakker, undgik de ondsindede skills i første omgang opdagelse og nåede ifølge offentliggjort forskning mere end 300.000 installationer hver.

Sagen illustrerer en central udfordring: Mange sikkerhedsprogrammer er udviklet til at analysere kode, men ikke nødvendigvis de kombinationer af naturligt sprog, instruktioner og eksterne referencer, som moderne AI-skills består af.

Nyt fælles format skal skabe overblik

Sammen med Top 10-listen lancerer OWASP også Universal Agentic Skill Format version 1.0, et YAML-baseret format, der skal skabe mere ensartede beskrivelser af skills.

Formatet indeholder blandt andet oplysninger om oprindelse, nødvendige tilladelser, afhængigheder, signaturer, kontroller og ændringshistorik. Målet er at gøre det lettere for både organisationer og automatiserede værktøjer at validere legitime skills og identificere potentielt skadelige komponenter.

Et andet formål er at skabe en tydeligere adskillelse mellem brugerens instruktioner og de instruktioner, som kommer fra skills eller andre eksterne kilder. Manglen på en sådan opdeling anses af flere forskere for at være en væsentlig årsag til nogle af de sikkerhedsproblemer, der aktuelt observeres i agentbaserede AI-miljøer.

Manglende synlighed bekymrer

Ifølge projektets bidragydere mangler mange organisationer stadig et overblik over, hvilke AI-agenter der anvendes, og hvilke skills de benytter.

Derfor fremhæves synlighed og styring som centrale sikkerhedsopgaver. Organisationer bør kunne identificere, hvilke skills der er i brug, og hurtigt deaktivere dem, hvis der opdages sårbarheder eller ondsindet adfærd.

OWASP's nye liste er et forsøg på at overføre erfaringer fra årtiers arbejde med software- og applikationssikkerhed til den voksende verden af agentbaseret AI, hvor skills i stigende grad fungerer som systemernes nye softwarekomponenter.