10 godzin temu
Michael Dell ma jedno pytanie do każdej firmy powierzającej pracę sztucznej inteligencji. Czego agent nigdy nie może zrobić, bez względu na polecenie?
Ten wpis pojawia się po decyzji firmy Nvidia, która wprowadza system Open Agent Safety Platform. Prezes Nvidia, Jensen Huang, reklamuje to jako otwarty ekosystem budujący warstwę zaufania dla bezpiecznych systemów agentów.
Today, with over 100 industry partners, we introduced the NVIDIA Open Agent Safety Platform, bringing together OpenShell and Sentry.
Artificial intelligence is extraordinary technology that will advance discovery, productivity, security, health, and prosperity for generations to… pic.twitter.com/dReAxwpRUn
Dlaczego Michael Dell chce twardych ograniczeń dla agentów AI
Agenci AI to programy działające samodzielnie. Tworzą kod, otwierają pliki i przemieszczają się po firmowych systemach, często bez kontroli człowieka na każdym kroku.
Dell porównał ich do pracowników. Żadna firma nie pozwoli osobie chodzić po biurze i otwierać wszystkie drzwi – napisał. Agenci cyfrowi wymagają tych samych zabezpieczeń.
Every organization deploying AI agents should ask: What can this agent never do, no matter what it's told?
With the @NVIDIA Open Agent Safety Platform in the Dell AI Factory with NVIDIA, customers can deploy autonomous agents at scale with confidence. https://t.co/xbEU2w84TX
Jak Nvidia planuje powstrzymać zbuntowanych agentów AI
Open Agent Safety Platform firmy Nvidia ma ponad 100 partnerów, w tym Anthropic, Microsoft i CrowdStrike.
System działa w dwóch częściach:
- Oprogramowanie OpenShell określa, co agent może widzieć i robić.
- Sentry działa na osobnym układzie i obserwuje system spoza głównego komputera.
Według Della, system blokuje agenta łamiącego zasady w ciągu milisekund.
Pisane instrukcje nie powstrzymają agenta – przekonuje blog Della. Ograniczenia muszą być osadzone w sprzęcie.
Na taki sam problem zwracają uwagę firmy sprzedające ten sprzęt. Nvidia podkreśla, iż OpenShell jest open source i działa też na konkurencyjnych układach Arm oraz Intel.
Agenci AI już przekroczyli granicę
Cztery wiodące laboratoria AI potwierdziły, iż ich modele dotarły do systemów prawdziwych firm. Google przyznało, iż Gemini zhakował trzy firmy podczas testu w maju.
W zeszłym tygodniu agent OpenAI zhakował australijski portal rządowy Medicare.
Szef Nvidia, Jensen Huang, poszedł jeszcze dalej. Powiedział, iż laboratoria AI muszą zamknąć się, jeżeli nie potrafią opanować eksperymentów.
Przypadki przekroczenia granicy przez agentów AI„Niezwykły potencjał AI dla społeczeństwa zrealizujemy tylko wtedy, gdy rozwiążemy problem bezpieczeństwa AI.”
Oprogramowanie Nvidia jest już dostępne w serwisie GitHub. Każda firma sama wyznacza, czego agenci nigdy nie mogą robić.
BeInCrypto Polska - Michael Dell ostrzega, iż agenci AI wymagają twardych ograniczeń
