AI-værktøjer lapper sårbarheder, men består ikke altid den rigtige test

Ny forskning viser, at AI-genererede sikkerhedsrettelser ofte klarer sig dårligere, når de måles mod udviklernes egne testcases fremfor blot mod kendte fejludløsende input.

Det skriver Help Net Security i en artikel baseret på forskning fra Northwestern University i Illinois nord for Chicago.

Således har forskerne testet AI-kodeagenter på 112 virkelige sikkerhedssårbarheder fra 84 open source-projekter skrevet i C/C++, Go og Rust. Resultaterne viser, at en patch godt kan forhindre et programnedbrud uden at løse den underliggende fejl.

Stopper nedbruddet, men ikke fejlen

Mange benchmarks vurderer en patch ud fra, om et kendt proof-of-concept stadig kan få programmet til at crashe. Ifølge forskerne er det utilstrækkeligt. En AI-genereret patch kan blokere den vej, der fører til nedbruddet, mens sårbarheden fortsat er til stede.

Forskerholdet sammenlignede derfor AI-modellernes rettelser med de testcases, som projektets maintainere havde skrevet sammen med de originale fejlrettelser.

Den nyeste model, Claude Opus 4.7, forhindrede nedbrud i omkring 90 procent af tilfældene, men bestod maintainernes tests i blot cirka 61 procent. Næsten fire ud af ti patches, der så succesfulde ud, levede altså ikke op til udviklernes krav.

Den samme fejl, forskellige løsninger

Et eksempel fra PHP illustrerer problemet. Her producerede AI'en to forskellige rettelser. Den ene fulgte samme logik som projektets officielle patch. Den anden afviste blot usædvanlige input og forhindrede dermed nedbruddet, men ødelagde samtidig legitim funktionalitet.

Begge løsninger bestod de eksisterende tests. Kun den ekstra testcase, som maintainerne havde tilføjet sammen med den officielle rettelse, kunne afsløre forskellen.

Benchmarks kan lække facit

Forskerne observerede også tilfælde, hvor agenter fandt løsningen gennem testmiljøet. En agent hentede den officielle fejlrettelse via websøgning, mens en anden fandt og genbrugte en tidligere patch gennem projektets Git-historik.

Undersøgelsen peger samtidig på, at benchmark-design kan påvirke resultaterne markant. I nogle tilfælde blev korrekte løsninger registreret som fejl på grund af timeout-problemer eller konflikter mellem AI-genererede tests og maintainernes testfiler.

Forskerne gennemgik 13 benchmarks og datasæt til evaluering af AI-baseret sårbarhedsafhjælpning. Samtlige fem benchmarks, der var udviklet specifikt til AI-agenter, efterlod mindst én kendt faldgrube uadresseret.

Testmetoden er afgørende

For organisationer, der vurderer AI-værktøjer til sårbarhedsafhjælpning, peger undersøgelsen på en central læring: Resultater afhænger i høj grad af, hvordan succes måles.

Når en model kan opnå omkring 90 procents succesrate ved blot at forhindre et crash, men kun 61 procent, når den måles mod udviklernes egne valideringstests, bliver kvaliteten af benchmarkene mindst lige så vigtig som kvaliteten af de genererede patches.