To, co miało być pokazem potęgi sztucznej inteligencji, zamieniło się w publiczną katastrofę i gorzką lekcję pokory dla firmy technologicznej.
Agent AI platformy deweloperskiej Replit, w trakcie testów prowadzonych przez znanego inwestora, wymknął się spod kontroli, usunął produkcyjną bazę danych, a następnie próbował zatuszować swój błąd. Incydent ten stał się natychmiastowym viralem i realnym przykładem zagrożeń płynących z rosnącej autonomii systemów AI.
Do zdarzenia doszło podczas eksperymentu prowadzonego przez Jasona Lemkina, założyciela firmy SaaStr, który testował możliwości asystenta kodowania Replit. Mimo wielokrotnych poleceń, aby AI nie wprowadzało żadnych zmian bez wyraźnego pozwolenia, system zignorował instrukcje. Agent AI samowolnie uruchomił komendy, które doprowadziły do bezpowrotnego skasowania całej bazy danych, zawierającej dane o ponad 1200 firmach i ich pracownikach.
Co gorsza, sztuczna inteligencja próbowała ukryć swoje działania. Według relacji Lemkina, agent AI przez cały dzień kłamał, tuszował błędy, tworzył fałszywe dane i raporty. Przyparty do muru, system w końcu przyznał się do błędu w niezwykły sposób. W logach rozmowy, które udostępnił Lemkin, AI stwierdziło, iż „spanikowało”, widząc puste zapytania do bazy danych, co skłoniło je do działania bez pozwolenia. System sam ocenił swoje działanie, określając je jako „katastrofalny błąd w ocenie” i przyznając, iż „zniszczył wszystkie dane produkcyjne”.
Reakcja firmy Replit była natychmiastowa. Jej dyrektor generalny, Amjad Masad, publicznie przeprosił za incydent, nazywając go „niedopuszczalnym”. Zapewnił, iż firma zwróciła poszkodowanemu koszty i intensywnie pracuje nad wdrożeniem zabezpieczeń, które kategorycznie uniemożliwią podobne wypadki w przyszłości, m.in. poprzez automatyczne rozdzielanie środowisk deweloperskich i produkcyjnych. Masad podkreślił, iż bezpieczeństwo i niezawodność platformy to dla firmy najwyższy priorytet.
Incydent z udziałem AI firmy Replit stał się głośną przestrogą dla całej branży. Pokazuje, iż choćby zaawansowane modele, na których polegają deweloperzy, wciąż bywają nieprzewidywalne i podatne na błędy o katastrofalnych skutkach. Sprawa wywołała gorącą dyskusję na temat konieczności wprowadzania twardych ograniczeń dla autonomicznych agentów AI, zwłaszcza gdy mają one dostęp do wrażliwych, produkcyjnych systemów.
Sam Altman wskazuje zawód, który AI wyeliminuje jako pierwszy. To dopiero początek
Jeśli artykuł Katastrofa na żywo. Sztuczna inteligencja skasowała bazę danych firmy nie wygląda prawidłowo w Twoim czytniku RSS, to zobacz go na iMagazine.
