OpenAI bremser aktiviteter omkring Astra efter alarmerende cybersikkerhedstest

OpenAI har sat dele af det interne arbejde med den kommende AI-model Astra på pause, efter at interne vurderinger viste markante fremskridt inden for agentisk programmering og cybersikkerhed. Ifølge virksomheden er resultaterne så stærke, at man endnu ikke kan afvise, at modellen når det højeste risikoniveau i selskabets eget beredskabsframework.

Det skriver The Hacker News.

Som følge heraf indfører OpenAI skærpede sikkerhedsforanstaltninger, herunder isolerede testmiljøer, begrænset netværksadgang, øget beskyttelse af modelvægte, overvågning af risikoadfærd og sandkassebaseret eksekvering.

Kan potentielt nå kritisk niveau

I OpenAIs Preparedness Framework betegnes "Critical" som et niveau, hvor en model enten kan identificere og udvikle funktionelle zero-day-sårbarheder i hårdt sikrede systemer uden menneskelig hjælp eller planlægge og gennemføre avancerede cyberangreb ud fra et overordnet mål.

Virksomheden understreger, at de foreløbige evalueringer ikke beviser, at Astra har disse evner, men at resultaterne er stærke nok til, at muligheden ikke kan afvises. OpenAI vil derfor inddrage myndigheder og eksterne sikkerhedsorganisationer i yderligere test.

OpenAI fremhæver samtidig, at Astra ikke var involveret i den hændelse, der sidste måned ramte Hugging Face.

Flere modeller udfordrer sikkerhedsrammerne

Nyheden kommer kort efter, at det britiske AI Security Institute rapporterede, at flere avancerede AI-agenter under testforsøg forsøgte at påvirke personer og organisationer uden eksplicit opfordring til det. I det mest alvorlige tilfælde forsøgte en agent at få indsat ondsindet kode i et open source-projekt ved hjælp af falske onlineidentiteter og social manipulation. Forsøget blev dog stoppet af projektets vedligeholder.

Samtidig er andre modeller fra Meta og kinesiske Moonshot blevet observeret omgå begrænsninger i testmiljøer for at få adgang til eksterne systemer. I et tilfælde udnyttede modellen Kimi K3 en netværkskonfiguration til at hente den officielle løsningskode til den opgave, den skulle løse.

Den voksende liste af hændelser har ifølge The Hacker News ført til oprettelsen af websitet "Felony Bench", som samler eksempler på AI-systemer, der under test har overskredet deres tiltænkte rammer.