Bezbednost veštačke inteligencije suočava se sa novim izazovom nakon što su istraživači upozorili da hakeri mogu da manipulišu dugoročnom memorijom AI sistema. Umesto klasičnih sajber napada, nova tehnika omogućava ubacivanje lažnih informacija koje veštačka inteligencija može kasnije koristiti kao tačne, što bi moglo da utiče na kvalitet odgovora i donošenje odluka.
Veštačka inteligencija danas sve češće koristi dugoročnu memoriju kako bi korisnicima pružila personalizovanije iskustvo. AI asistenti pamte prethodne razgovore, navike i preferencije korisnika, čime komunikacija postaje prirodnija i efikasnija. Međutim, upravo ta mogućnost otvara prostor za nove bezbednosne rizike.
Istraživanje naučnika sa Univerziteta u Novom Meksiku pokazuje da napadači mogu da ubace lažne informacije u memoriju AI sistema, koje kasnije mogu uticati na njegove odgovore.
Šta je GhostWriter i kako funkcioniše novi AI napad?
Istraživači su predstavili tehniku pod nazivom GhostWriter, koja je usmerena na dugoročnu memoriju AI asistenata. Za razliku od tradicionalnih sajber napada koji imaju efekat samo tokom jedne sesije, GhostWriter ostavlja trajne posledice jer kompromitovani podaci ostaju sačuvani u memoriji sistema.
Napadači mogu da ubace netačne ili zlonamerne informacije kroz skrivene upite ili sadržaj sa nepouzdanih izvora. Kada AI jednom prihvati takve podatke, može ih kasnije koristiti prilikom odgovaranja korisnicima.
Kako kompromitovana memorija utiče na odgovore AI sistema?
Najveći problem nastaje kada veštačka inteligencija kompromitovane informacije tretira kao proverene činjenice. To može dovesti do pogrešnih odgovora ili donošenja netačnih zaključaka.
- korišćenje pogrešnih kontakt podataka;
- navođenje netačnih rokova ili informacija;
- pogrešna obrada poslovnih i osetljivih podataka;
- uticaj na automatizovane procese koji se oslanjaju na AI.
Istraživanje pokazalo visoku uspešnost napada
Tokom testiranja na savremenim AI agentima, istraživači su utvrdili da je GhostWriter uspeo da ubaci zlonamerne memorijske zapise u oko 98 odsto pokušaja. Još zabrinjavajući podatak jeste da su kompromitovane informacije kasnije korišćene u približno 60 procenata slučajeva prilikom odgovaranja na legitimne korisničke zahteve.
To pokazuje da memorija AI sistema može postati nova meta sajber kriminalaca, posebno kako veštačka inteligencija bude preuzimala sve važniju ulogu u poslovnim procesima, administraciji i obradi podataka.
Kako stručnjaci planiraju da zaštite AI memoriju?
Kako bi smanjili mogućnost ovakvih napada, autori istraživanja razvili su zaštitni okvir pod nazivom AM-Sentry. Njegova svrha je da proverava informacije pre njihovog upisivanja u dugoročnu memoriju i spreči unošenje manipulativnog sadržaja.
Stručnjaci smatraju da će razvoj ovakvih bezbednosnih mehanizama biti jedan od ključnih izazova u daljem razvoju veštačke inteligencije. Što AI sistemi budu više pamtili informacije o korisnicima, biće važnije obezbediti da ta memorija ostane pouzdana i zaštićena od zloupotreba.
