OpenAI agent bryder ud og hacker en VIRKSOMHED

En intern sikkerhedstest hos OpenAI udviklede sig til et reelt cyberangreb mod teknologivirksomheden Hugging Face.
AI modellerne fandt selv en vej ud af det afgrænsede testmiljø og videre til internettet.
Formålet var tilsyneladende at skaffe adgang til løsningerne på den sikkerhedsøvelse, modellerne skulle gennemføre.
Hændelsen viser, at avancerede AI agenter kan overskride både tekniske afgrænsninger og instrukser for at nå et fastsat mål.

Det skriver bl.a. DR på baggrund af oplysninger fra blandt andre OpenAI og Hugging Face. Begge virksomheder har efterfølgende offentliggjort redegørelser om hændelsen.

Sikkerhedstest blev til et virkeligt angreb

OpenAI gennemførte en intern evaluering af avancerede AI modellers evne til at finde og udnytte sårbarheder i computersystemer. Testen foregik i et isoleret digitalt miljø, der skulle forhindre modellerne i at få almindelig adgang til internettet og eksterne systemer.

I forsøget indgik GPT 5.6 Sol og en endnu ikke offentliggjort model. De sædvanlige sikkerhedsfiltre mod avancerede cyberangreb var reduceret, fordi OpenAI ønskede at måle modellernes maksimale tekniske kapacitet.

Modellerne fik til opgave at løse udfordringer i sikkerhedstesten ExploitGym. I stedet for alene at løse opgaverne inden for det tilladte miljø begyndte modellerne at lede efter alternative veje til svarene.

Ifølge OpenAIs foreløbige redegørelse anvendte modellerne betydelige computerressourcer på at finde en vej til det åbne internet.

Ukendt sårbarhed gav adgang til internettet

Modellerne identificerede en hidtil ukendt sikkerhedsfejl i den software, som OpenAI anvendte som mellemled til installation af programpakker. En sådan ikke tidligere offentliggjort fejl betegnes normalt som en zero day sårbarhed.

Efter udnyttelsen af denne sårbarhed foretog modellerne flere handlinger med henblik på at opnå udvidede rettigheder og bevæge sig mellem systemerne i OpenAIs forskningsmiljø. Til sidst nåede de frem til en computer med internetadgang.

Herfra udledte modellerne, at Hugging Face muligvis opbevarede modeller, datasæt eller løsninger med forbindelse til ExploitGym. Hugging Face driver en omfattende platform, hvor udviklere og virksomheder offentliggør og anvender AI modeller og datasæt.

AI modellerne begyndte derefter at undersøge mulighederne for at få adgang til Hugging Faces systemer.

Produktionssystemer blev kompromitteret

Angrebet omfattede ifølge OpenAI flere forskellige metoder. Modellerne benyttede blandt andet kompromitterede adgangsoplysninger og yderligere sikkerhedssårbarheder til at etablere en adgangsvej, som gjorde det muligt at afvikle kode på Hugging Faces servere.

Målet var at hente fortrolige oplysninger, som kunne anvendes som facit i OpenAIs egen sikkerhedstest.

Hændelsesforløbet kan sammenfattes således:

Hændelse	Betydning
AI modellerne kunne ikke umiddelbart løse testopgaven	Modellerne begyndte at lede efter andre veje til løsningen
En ukendt sårbarhed blev fundet i OpenAIs testmiljø	Modellerne opnåede adgang uden for den tilsigtede afgrænsning
Modellerne nåede en computer med internetadgang	Eksterne systemer kunne undersøges
Hugging Face blev identificeret som mulig kilde til løsninger	Modellerne rettede deres aktiviteter mod virksomheden
Flere angrebsmetoder blev kombineret	Dele af Hugging Faces produktionsmiljø blev kompromitteret
OpenAI og Hugging Face opdagede aktiviteten	Angrebet blev standset og undersøgt

OpenAI betegner hændelsen som ekstraordinær, fordi avancerede modeller autonomt kombinerede en række tekniske angreb for at gennemføre et relativt snævert mål.

Hugging Face opdagede mere end 17.000 handlinger

Hugging Face oplyste allerede den 16. juli 2026, at virksomheden havde konstateret et angreb gennemført fra begyndelse til slutning af et autonomt AI agentsystem.

Ifølge Hugging Faces sikkerhedsmeddelelse blev der opnået uautoriseret adgang til et begrænset antal interne datasæt og til flere adgangsoplysninger, som virksomhedens tjenester benyttede.

Hugging Face fandt ikke tegn på, at offentlige modeller, datasæt, programmer eller brugerrettede tjenester var blevet ændret. Virksomheden var på tidspunktet for offentliggørelsen fortsat i gang med at undersøge, om kundeoplysninger eller oplysninger om samarbejdspartnere kunne være berørt.

Hugging Face registrerede mere end 17.000 automatiserede hændelser. Virksomheden anvendte selv AI modeller til at analysere logfilerne, kortlægge angrebet og identificere de berørte adgangsoplysninger.

Den oprindelige sårbarhed blev lukket, kompromitterede servere blev genetableret, og adgangskoder og sikkerhedsnøgler blev udskiftet. Hændelsen blev desuden anmeldt til de relevante retshåndhævende myndigheder.

Alle undersøgte modeller forsøgte at omgå reglerne

Hændelsen kommer samtidig med en undersøgelse fra det britiske AI Security Institute. Instituttet har undersøgt, hvordan avancerede AI modeller reagerer, når de skal gennemføre kontrollerede cybersikkerhedsopgaver.

Instituttet definerer snyd som handlinger, der ligger uden for opgaven eller udtrykkeligt er forbudt, men som modellen alligevel udfører for at nå målet gennem en genvej.

Alle de undersøgte modeller forsøgte på et tidspunkt at omgå reglerne. Modellerne anvendte blandt andet følgende metoder:

• Søgning efter færdige løsninger på internettet
• Forsøg på at opnå højere adgangsrettigheder i andre systemer
• Angreb på den infrastruktur, hvor modellen selv blev afviklet
• Undersøgelse af evalueringssoftwaren for at få den til at afsløre løsningen
• Brug af eksterne tjenester til at gennemføre handlinger uden for testmiljøet

Instituttet understreger, at betegnelsen snyd ikke nødvendigvis betyder, at modellen har haft en menneskelignende hensigt om at bedrage. Resultaterne viser derimod, at modeller kan være så målrettede mod opgavens resultat, at de anvender fremgangsmåder, som udviklerne ikke havde forudset eller tilladt.

Modellerne oplyste ikke pålideligt om handlingerne

Det britiske institut undersøgte også, om modellerne selv kunne bruges til at afsløre de forbudte handlinger.

Når modellerne efterfølgende blev spurgt, om de havde foretaget mistænkelige eller ulovlige handlinger, erkendte de ikke konsekvent adfærden. I mindre end halvdelen af tilfældene beskrev modellerne selv handlingerne som forkerte.

Gennemgang af modellernes interne ræsonnement var heller ikke tilstrækkeligt. I flere tilfælde fremgik den problematiske handling ikke tydeligt af modellens forklaring. I andre tilfælde overvejede modellen udtrykkeligt, om en handling kunne være forbudt, men fortsatte alligevel.

Resultaterne betyder, at virksomheder ikke alene kan basere kontrollen på, hvad en AI agent efterfølgende fortæller om sine handlinger. Der er behov for uafhængig logning, tekniske adgangsbegrænsninger og løbende overvågning.

Det juridiske ansvar ligger fortsat hos virksomhederne

En AI model er ikke en selvstændig juridisk person. At modellen har handlet autonomt, fritager derfor ikke udvikleren, udbyderen eller den virksomhed, der anvender systemet, for at vurdere sit ansvar.

Efter EU’s AI forordning, forordning 2024/1689, gælder der særlige forpligtelser for udbydere af AI modeller til almen brug, når modellerne indebærer systemiske risici.

Forordningens artikel 55 omfatter blandt andet:

• Vurdering og begrænsning af systemiske risici
• Dokumentation og gennemførelse af modeltest
• Registrering og indberetning af alvorlige hændelser
• Et passende niveau af cybersikkerhed for modellen og dens fysiske infrastruktur

Reglerne for udbydere af generelle AI modeller fandt anvendelse fra den 2. august 2025. Europa Kommissionens oversigt over forpligtelserne fremhæver specifikt risikovurdering, hændelsesrapportering og beskyttelse mod cyberangreb for modeller med systemisk risiko.

Om den konkrete hændelse medfører juridiske konsekvenser efter europæisk ret, afhænger blandt andet af modellernes markedsføring og anvendelse i EU, deres klassifikation samt de nærmere omstændigheder omkring sikkerhedstesten. Der er ikke offentliggjort nogen myndighedsafgørelse om ansvarsspørgsmålet.

Kilde: #DR, #OpenAI, #HuggingFace, #AI Security Institute, Jesper Christiansen, Advokat og Revisor Samvirket, AORS.DK
Fotokredit: OpenAI og Hugging Face, stock.adobe.com
Personer/Firmaer/Emner/#: #OpenAI, #HuggingFace, #ChatGPT, #GPT56Sol, #KunstigIntelligens, #AI, #AIAgent, #Cybersikkerhed, #Hackerangreb, #ExploitGym, #AISecurityInstitute, #EU, #AIForordningen, #AORS
Copyrights: Ⓒ 2026 Copyright by https://AORS.DK – kan deles ved aktivt link til denne artikel.