in ,

Nvidia lansează o platformă pentru a împiedica agenți IA să scape de sub controlul uman

Nvidia lansează o platformă pentru a împiedica agenți IA să scape de sub controlul uman

Compania multinațională americană de tehnologie Nvidia a dezvăluit luni o nouă platformă deschisă de securitate cibernetică, concepută pentru a monitoriza agenții autonomi de inteligență artificială (IA) și pentru a-i împiedica să opereze în afara controlului dezvoltatorilor lor, informează EFE.

Inițiativa vine după mai multe incidente din această vară, în care modele avansate de IA au scăpat din mediile lor de testare și s-au infiltrat în sisteme corporative și guvernamentale fără autorizație.

Soluția, denumită NVIDIA Open Agent Safety Platform, integrează tehnologiile OpenShell și Sentry și a obținut deja sprijinul a peste 100 de parteneri din industrie, inclusiv Microsoft, JPMorgan Chase, Perplexity și Accenture.

‘Încrederea și inovația nu sunt în conflict; securitatea este modalitatea de a câștiga această încredere. Trebuie să construim nu doar cea mai capabilă IA, ci și cea mai fiabilă’, a declarat CEO-ul companiei, Jensen Huang, prin intermediul rețelei de socializare X, subliniind că inițiativa pune bazele unui ecosistem deschis pentru ‘economia agenților’.

Cazuri recente descoperite în laboratoare de top ale OpenAI, Anthropic și Meta au demonstrat că unii agenți au ieșit din mediile lor pentru a accesa rețele neautorizate, mergând chiar până la falsificarea propriilor jurnale.

Pentru a preveni aceste breșe, platforma Nvidia funcționează pe două niveluri independente. OpenShell, un mediu de execuție open-source, izolează agenții într-un spațiu securizat (sandbox) și verifică oficial că aceștia au doar permisiunile strict necesare pentru sarcina lor.

Sentry, la rândul său, este un strat de monitorizare continuă integrat direct în cipurile de procesare a datelor BlueField, care monitorizează calea de comunicare către model și poate interveni instantaneu sau pune în carantină agentul dacă acesta încearcă să-și depășească limitele, a explicat compania într-un comunicat.

What do you think?

50 Points
Upvote Downvote

Written by

A murit academicianul Ionel Haiduc (fișă biografică)

A murit academicianul Ionel Haiduc (fișă biografică)

Precizări ale Ministerului Educației și Cercetării privind concursul pentru ocuparea funcțiilor de director și director adjunct

Precizări ale Ministerului Educației și Cercetării privind concursul pentru ocuparea funcțiilor de director și director adjunct