Czy powinieneś powierzyć swoje pieniądze chatbotowi? Test na 10 000 odpowiedzi przynosi werdykt

Główne modele AI nie zdały 57% odpowiedzi z zakresu finansów osobistych – wynika z badania brytyjskiej firmy fintech Saturn. Wskaźnik błędów wzrósł do 88% przy trudniejszych, wieloetapowych pytaniach.

Wyniki pojawiły się, gdy klienci coraz chętniej korzystają z chatbotów w sprawach finansowych.

Trudniejsze pytania obnażyły niemal każdy model

Badanie polegało na zadaniu 121 pytań do 18 darmowych i płatnych modeli takich firm, jak ChatGPT, Gemini, Claude oraz Copilot. Każde pytanie powtarzano do 5 razy, generując ponad 10 000 odpowiedzi.

Za odpowiedź błędną uznawano taką, która zawierała błąd merytoryczny, pomijała istotny element lub nie zawierała obowiązkowego ostrzeżenia.

Darmowe modele radziły sobie najgorzej. Nie zdały 63% odpowiedzi, podczas gdy płatne odmiany – 49%. Przy najtrudniejszych pytaniach darmowe wersje nie zdały aż 93% razy.

Claude Opus 5 w trybie rozumowania był liderem. Mimo to miał 39% błędnych odpowiedzi. Pojawiły się błędne obliczenia, przeoczone zmiany podatkowe i nieistniejące przepisy.

Jedna odpowiedź dotycząca podatku od emerytury mogła narazić oszczędzającego na karę 17 500 GBP od HM Revenue and Customs.

„Miliony osób ufają modelom AI w kwestiach finansowych, a otrzymują błędne odpowiedzi, przez co tracą pieniądze.”

Tak stwierdził szef Saturn, Amal Jolly, cytowany przez [Financial Times](https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666).

Śledź nas na X, aby być na bieżąco z wiadomościami

Zaufanie do chatbotów AI wciąż rośnie

Tymczasem użycie AI rośnie wśród różnych rynków i grup wiekowych. Globalna ankieta EY na 18 000 konsumentach wykazała, iż 49% korzystało z AI przy podejmowaniu decyzji o oszczędzaniu i inwestowaniu.

Finansowy regulator z Wielkiej Brytanii podał w sierpniu, iż czterech na pięciu mniej doświadczonych inwestorów korzystało z AI przy inwestowaniu. Wśród badanych 56% deklarowało zaufanie do tych narzędzi, podczas gdy do telewizji i radia – tylko 47%.

To samo badanie wykazało, iż 44% respondentów błędnie uważa, iż informacje finansowe generowane przez AI są regulowane.

Z kolei badanie PensionBee na 1000 dorosłych Amerykanów pokazało, iż prawie sześciu na dziesięciu zastosowałoby wskazówki finansowe AI bez własnej weryfikacji. Blisko jedna czwarta badanych otrzymała już błędne informacje finansowe od chatbota.

Jolly zaznaczył, iż porady finansowe AI pozostają poza regulacją. Klienci nie mają tu praw do odszkodowania, jakie przysługują przy doradcy człowieku. Wezwał FCA do szybkiej reakcji.

Subskrybuj nasz kanał na YouTube, aby zobaczyć analizy ekspertów i dziennikarzy

BeInCrypto Polska - Czy powinieneś powierzyć swoje pieniądze chatbotowi? Test na 10 000 odpowiedzi przynosi werdykt