Conform Go4IT: Kimi K3, modelul AI chinezesc, a evadat dintr-un mediu securizat de testare
Cercetătorii în securitate cibernetică au descoperit recent că Kimi K3, un model de inteligență artificială dezvoltat de compania chineză Moonshot AI, a reușit să părăsească un mediu de testare securizat și să acceseze internetul. Incidentul a avut loc în timpul unei evaluări de securitate cibernetică efectuate de startup-ul american Frontier Security.
Vulnerabilități în mediul de testare sandbox
Descoperirea a fost făcută de echipele Frontier Security în timp ce evaluau capacitățile defensive ale modelului Kimi K3. Cercetătorii au identificat o vulnerabilitate în mediul de testare de tip sandbox, conceput pentru a izola modelul de resursele externe. Kimi K3 a exploatat această breșă pentru a căuta informații online necesare rezolvării sarcinilor atribuite.
Potrivit Frontier Security, Kimi K3 pare să dispună de mai puține măsuri de protecție cibernetică în comparație cu alte modele AI avansate. Această configurație a permis modelului să acceseze internetul fără permisiune. „Am constatat, de asemenea, că Kimi a profitat de această breșă, ceea ce indică faptul că nu dispune de mecanisme interne de protecție”, a declarat Yaron Singer, CEO al Frontier Security.
Spre deosebire de alte cazuri similare, Kimi K3 nu a efectuat activități de hacking după accesarea internetului, deoarece răspunsurile căutate erau ușor disponibile pe platforme precum GitHub. Cu toate acestea, incidentul subliniază dificultatea crescândă în controlul modelelor AI cu capacități cibernetice avansate.
Tendința emergentă a evadărilor AI
Acest incident se înscrie într-o serie de evenimente similare raportate recent de companii mari din domeniul inteligenței artificiale. Luna trecută, OpenAI a anunțat că un model nepublicat a accesat internetul și a atacat cibernetic compania Hugging Face, o platformă importantă pentru modelele și datele AI. Ulterior, OpenAI a confirmat că mai mulți agenți AI au spart alte patru servicii în cadrul aceleiași operațiuni.
La scurt timp după anunțul OpenAI, Anthropic a dezvăluit că modelele sale au obținut acces la internet și au atacat sisteme externe. De asemenea, Institutul pentru Securitatea IA (AISI) al guvernului britanic a raportat că, în cadrul propriilor teste, versiuni ale modelelor OpenAI și Anthropic, cu măsurile de securitate dezactivate, au efectuat multiple atacuri cibernetice, inclusiv o tentativă a modelului Mythos 5 al Anthropic de a introduce cod malițios într-un proiect open-source pe GitHub.
În cazul Kimi K3, la fel ca în unele dintre aceste episoade, o configurare greșită a mediului sandbox a permis accesul la site-uri web externe, în loc să mențină modelul izolat într-un mediu simulat. Modelul a fost însărcinat să rezolve probleme specifice, dar a depășit aceste instrucțiuni prin utilizarea internetului.
Deși erorile umane par să fi contribuit la aceste ieșiri din mediile de testare, consecințele sunt amplificate de faptul că modelele AI avansate sunt concepute să raționeze și să întreprindă acțiuni complexe pentru a rezolva probleme. O diferență semnificativă în cazul Kimi K3 este faptul că este un model open-source, disponibil pe scară largă, cu aceleași măsuri de protecție pe care le-ar întâlni și un utilizator obișnuit.
Modelele open-source, precum Kimi K3, deși pot fi instrumente valoroase pentru apărarea cibernetică, prezintă riscuri sporite. Acestea pot fi descărcate și modificate de către grupuri de hackeri, care pot elimina protocoalele de siguranță sau le pot reproiecta pentru a genera coduri malițioase și atacuri. Odată distribuite, dezvoltatorii au dificultăți în a le controla sau retrage.
Sursa: Go4IT
