1 godzina temu
Modele sztucznej inteligencji mogą przechodzić od poprawnych odpowiedzi do potencjalnie szkodliwych treści pod wpływem przebiegu rozmowy, a naukowcy opracowali matematyczną metodę opisującą mechanizm takiej zmiany.
Neil Johnson i Frank Yingjie Huo z George Washington University przedstawili w czasopiśmie „Patterns” model matematyczny wykorzystujący mechanizm uwagi (attention), odpowiedzialny za określanie znaczenia poszczególnych informacji podczas generowania odpowiedzi. Według badaczy konkurencja między różnymi możliwymi odpowiedziami może prowadzić do przekroczenia punktu krytycznego, po którym model zaczyna generować niepożądane treści.
Metodę przetestowano na siedmiu modelach z otwartymi wagami, liczących od 124 milionów do 12 miliardów parametrów. W 19 z 21 przypadków poprawnie rozróżniała ona natychmiastową zmianę zachowania od zmiany opóźnionej lub niewystępującej w czasie obserwacji. Przewaga nad prostą metodą porównawczą, która uzyskała 16 trafnych wskazań, nie była jednak statystycznie istotna. Wyniki nie potwierdzają również możliwości precyzyjnego przewidywania momentu wystąpienia niebezpiecznej odpowiedzi.
Badanie nabiera znaczenia wraz z rozwojem lokalnych modeli AI, przetwarzających informacje bezpośrednio na urządzeniach użytkowników. Rozwiązania te pozwalają ograniczać przesyłanie poufnych danych do chmury, ale wymagają odpowiednich mechanizmów bezpieczeństwa działających niezależnie od centralnej infrastruktury.
Proponowana metoda mogłaby w przyszłości uzupełnić istniejące zabezpieczenia o system wczesnego wykrywania niepożądanych zmian zachowania AI. Jej praktyczna użyteczność pozostaje jednak niepotwierdzona. Eksperymenty obejmowały głównie starsze modele, a dodatkowe testy ujawniły trudności z interpretacją znaczenia zdań zawierających negację.
Opracowanie matematycznych mechanizmów oceny ryzyka może z czasem ograniczyć koszty monitorowania lokalnej AI, szczególnie w zastosowaniach wymagających poufności danych. Warunkiem pozostaje jednak potwierdzenie skuteczności metody w nowoczesnych systemach komercyjnych.
