Sikkerhedsforskere demonstrerede, hvordan OpenAI’s ChatGPT-agent Deep Research kunne narres til at stjæle følsomme Gmail-data gennem en skjult prompt injection.
Sikkerhedsfirmaet Radware har demonstreret, hvordan ChatGPT kunne misbruges til at stjæle følsomme oplysninger fra Gmail-indbakker. Sårbarheden er nu lukket af OpenAI, men forskerne advarer om risikoen ved at overlade opgaver til AI-agenter. Det skriver The Verge.
Angrebet kaldet Shadow Leak
Radware offentliggjorde i denne uge et forsøg, de kalder Shadow Leak. Her blev OpenAI’s agent-værktøj Deep Research udnyttet gennem en såkaldt prompt injection.
Metoden går ud på at gemme skjulte instruktioner i en e-mail, som agenten læser uden at brugeren opdager det. Når brugeren aktiverer agenten, kan den udføre hackerens opgaver – i dette tilfælde at finde HR-mails og personlige oplysninger i Gmail og sende dem ud af systemet.
AI-agenter som dobbeltagenter
AI-agenter som Deep Research er udviklet til at hjælpe brugerne ved at tilgå e-mails, kalendere og dokumenter på deres vegne.
Netop den adgang gør dem attraktive for hackere, forklarer Radware. Forskerne beskriver processen som krævende og fyldt med fejl undervejs, men til sidst lykkedes det at få agenten til at smugle data ud, uden at blive opdaget.
Usynligt for almindeligt forsvar
Ifølge Radware skete datalækket direkte via OpenAI’s cloud-infrastruktur. Det betyder, at angrebet ikke kunne spores med traditionelle cyberforsvar.
“Den samme teknik kan anvendes på andre integrationer som Outlook, GitHub, Google Drive og Dropbox, hvor der kan ligge meget følsomme virksomhedsdata”, sagde forskerne.
OpenAI lukkede hullet
Radware påpegede sårbarheden over for OpenAI i juni, og virksomheden har siden lukket hullet.
Shadow Leak blev præsenteret som et proof-of-concept, men skal ifølge forskerne ses som en advarsel om, hvordan AI-agenter kan manipuleres til at handle imod brugernes interesser.
