Nowe badanie pokazuje, iż duże modele językowe (LLM), takie jak ChatGPT, Gemini, Sonnet i Haiku, często wypowiadają się z dużą pewnością siebie — choćby wtedy, gdy się mylą. Ta nieuzasadniona pewność może poważnie wprowadzać użytkowników w błąd, a tymczasem ich wykorzystanie rośnie w szybkim tempie.

Eksperyment: pewność kontra rzeczywistość

Naukowcy z Carnegie Mellon przeprowadzili badania, w których zarówno ludzie, jak i chatboty oceniały swoją zdolność do rozwiązywania różnych zadań — od pytań z wiedzy ogólnej, przez przewidywanie wyników meczów NFL, po rozpoznawanie obrazów (gra przypominająca kalambury). W obu grupach obserwowano tendencję do przeceniania swoich możliwości. Jednak po zakończeniu zadania tylko ludzie potrafili dopasować swoje oceny do rzeczywistego wyniku. Chatboty natomiast utrzymywały lub choćby zwiększały poziom swej pewności, niezależnie od faktycznej skuteczności.

Skutki nadmiernej pewności

Modele takie jak ChatGPT‑4 i Gemini osiągały różną skuteczność — na przykład ChatGPT‑4 potrafił poprawnie rozpoznać około 12,5 szkicu na 20, podczas gdy Gemini zaledwie jeden. Mimo to Gemini przewidywał, iż odpowiedział bardzo dobrze — zakładał choćby 14 poprawnych odpowiedzi, mimo rzeczywistego rezultatu na poziomie poniżej jednego. Model Sonnet wyróżniał się niższą pewnością siebie niż pozostałe.

Skutkiem jest to, iż użytkownicy mogą ufać odpowiedziom AI bardziej, niż powinni — bo brzmią zbyt przekonująco, choć są niepoprawne. Profesor Danny Oppenheimer ostrzega, iż brak sygnałów niewerbalnych i introspektywnych w AI utrudnia ocenę, czy mamy do czynienia z fachową wiedzą, czy tylko błędnym przekonaniem.

Czy AI może się uczyć na własnych błędach?

Badacze wskazują, iż LLM-y nie uczą się introspektywnie — nie potrafią wyciągać wniosków z własnych niepowodzeń. choćby gdy mylą się w zadaniach, ich tonalność pozostaje równie pewna. To różni je od ludzi, którzy potrafią po fakcie dostosować samoocenę.

Wnioski etyczne i przyszłość AI

Generatywne modele AI zrewolucjonizowały interakcję człowieka z technologią, jednak ta nadmierna pewność rodzi poważne ryzyka. W przyszłości, aby zyskać większe zaufanie, systemy te będą musiały lepiej oceniać własną wiedzę i ograniczenia. Bez tego użytkownicy mogą paść ofiarą błędnych, ale przekonujących odpowiedzi. Jako społeczeństwo musimy zastanowić się, jak etycznie i odpowiedzialnie wprowadzać te narzędzia w codzienne życie.