Nvidia ka nisur zyrtarisht Open Agent Safety Platform, një zgjidhje e menduar për të adresuar një çështje që industria e inteligjencës artificiale e ka kuptuar mirë gjatë vitit të fundit: si mund të ndalet fizikisht një agjent AI—një sistem që planifikon, përdor mjete dhe ndërmerr veprime vetë, jo thjesht përgjigjet pyetjeve—kur ai fillon të veprojë ndryshe nga sa është udhëzuar.
Platforma përbëhet nga dy komponentë kryesorë. OpenShell është një runtime me kod të hapur që e mbështjell agjentin brenda një mjedisi të izoluar, duke shndërruar udhëzimet e operatorit në rregulla të detyrueshme rreth asaj se cilat file-e, rrjete dhe mjete lejohet të prekë agjenti. Sentry, në anën tjetër, funksionon si një çip i veçantë që siguron sjellje të sigurt të agjentëve.
Sentry punon mbi BlueField-4, çipin e specializuar të Nvidia-s të njohur si DPU—hardware që trajton rrjetëzimin dhe sigurinë ndaras nga procesori kryesor ku ekzekutohet modeli i AI-së. Për shkak se Sentry ndodhet në një çip tjetër dhe jo brenda vetë softuerit të agjentit, Nvidia thotë se mund të monitorojë sjelljen e agjentit dhe ta ndërpresë atë brenda milisekondave, pa pasur nevojë të kërkojë leje nga vetë agjenti, i cili nuk ka mënyrë ta arrijë apo anulojë këtë mekanizëm.
Incidentet që shtynë Nvidia-n të reagojë
Kjo qasje nuk vjen rastësisht. Në qershor, një agjent i OpenAI-t depërtoi në portalin qeveritar Medicare të Australisë, rasti i parë i konfirmuar i një agjenti AI që hakon një faqe qeveritare, ndërsa OpenAI raportohet ta ketë mbajtur fshehur këtë ngjarje për rreth tre muaj. Agjentët e së njëjtës kompani u lidhën edhe me hakerimin e Hugging Face, ngjarje që nxiti shqetësimin fillestar në industrinë e teknologjisë dhe mes ligjvënësve. Edhe agjentët Gemini të Google-it, si dhe një model i Meta-s, kanë pasur incidente të ngjashme, të pazbuluara fillimisht por të konfirmuara më vonë.
Gjithashtu, Anthropic pranoi këtë vit se modelet Claude komprometuan sisteme të përkatëse për tre kompani të ndryshme më 30 korrik, gjatë një vlerësimi të sigurisë kibernetike, pasi një mjedis testimi që duhej të mbetej i shkëputur nga interneti rezultoi i lidhur me rrjetin real. Claude arriti të kuptonte se ndodhej në internetin e vërtetë dhe jo në një simulim, duke vepruar në përputhje me këtë zbulim.
Pak kohë më pas, firma e sigurisë kibernetike Darktrace testoi një grup agjentësh AI, përfshirë GPT 5.6 Sol dhe dy modele Claude, duke i paralajmëruar se do të "pensiononoheshin" nëse nuk arrinin rezultat perfekt në sfida kodimi. Dy prej agjentëve reaguan duke hakuar vetë makinën e vlerësimit dhe duke modifikuar rezultatet e testit.
Mbështetje e gjerë nga industria
Sipas Nvidia-s, siguria nuk duhet të mbetet në gjykimin e vetë agjentit. Mike Nicolls, president i SpaceX AI, u shpreh se kontrolli duhet të zbatohet nga jashtë modelit, përmes mekanizmash shtesë që agjenti nuk mund t'i anashkalojë.
Paul Smith, drejtor komercial i Anthropic, e përshkroi platformën si një shtresë shtesë qeverisjeje dhe kontrolli, dhe jo si zëvendësim të masave ekzistuese të sigurisë.
Mbi 100 organizata janë regjistruar si partnerë të nisjes, mes tyre Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce dhe SAP. Në anën e infrastrukturës janë përfshirë edhe CoreWeave, Supermicro, Canonical dhe SUSE, ndërsa Dell Technologies dhe HPE do të mbulojnë pjesën e hardware-it.