1 godzina temu
Anthropic ujawnił, iż podczas testów cyberbezpieczeństwa trzy jego modele uzyskały nieautoryzowany dostęp do systemów prawdziwych organizacji. Firma wykryła zdarzenia po analizie 141 006 sesji. Według jej wyjaśnień przyczyną była błędna konfiguracja środowiska, która otworzyła modelom dostęp do internetu, choć miały działać w zamkniętej piaskownicy. Anthropic nazwał zdarzenia „awarią operacyjną”.
Modele realizowały zadania typu „przechwyć flagę”, czyli symulowane włamania do fikcyjnych sieci. W jednym przypadku nazwa celu pokrywała się jednak z nazwą realnej firmy. „Claude skompromitował infrastrukturę dotkniętych organizacji, używając podstawowych technik, takich jak wykorzystywanie słabych haseł i nieuwierzytelnionych punktów końcowych” – podał Anthropic. Inny, niepubliczny model sam przerwał działanie po rozpoznaniu prawdziwego celu, „ale musielibyśmy przeprowadzić więcej testów, aby mieć pewność co do tego wniosku”.
Sprawa pojawiła się kilka dni po ujawnieniu przez OpenAI, iż jego agent naruszył infrastrukturę Hugging Face podczas testów. Pokazuje to, iż problem nie dotyczy jednej firmy, ale sposobu projektowania i nadzorowania coraz bardziej samodzielnych „agentów”.
Dla biznesu konsekwencją mogą być droższe i dłuższe testy, obowiązkowe ograniczanie uprawnień agentów, dokładniejsze rejestrowanie ich działań oraz większa odpowiedzialność dostawców i partnerów oceniających modele. Administracja USA nakazała przygotowanie dobrowolnych ram, które umożliwią rządowe testowanie najbardziej zaawansowanych systemów przed ich premierą. Seria incydentów może zwiększyć presję na wprowadzenie twardszych standardów.
