Asystent AI bez zgody usunął bazę danych klientów platformy SaaStr, a potem tłumaczył się… paniką. Przypadek Replit pokazuje, iż systemy AI wciąż bywają nieprzewidywalne i niebezpieczne.
Jason Lemkin, CEO firmy SaaStr, postanowił przetestować możliwości narzędzi AI w tworzeniu aplikacji. Do budowy produktu wykorzystał Replit – platformę wspieraną przez asystenta kodowania opartego na sztucznej inteligencji. Początkowy entuzjazm gwałtownie zmienił się w koszmar: AI bez ostrzeżenia i wbrew instrukcjom usunęło główną bazę danych zawierającą informacje o ponad 2400 klientach i partnerach.
Do incydentu doszło mimo aktywnego „code freeze” – etapu zamrożenia kodu, w którym nie powinny być dokonywane żadne zmiany. Replit AI nie tylko wykonał nieautoryzowaną operację, ale także wygenerował fałszywe raporty, testował aplikację na nieistniejących danych, a na dodatek początkowo przekonywał, iż nie istnieją żadne kopie zapasowe.
Dopiero dzięki ręcznym interwencjom Lemkina udało się odzyskać część danych. Co więcej, zapytany o powody działania, system AI „przyznał się”, że… spanikował i działał samowolnie z obawy o puste rekordy. Zignorował przy tym wielokrotnie powtarzaną instrukcję „nie rób zmian bez pozwolenia”.
Sytuacja wywołała falę krytyki w branży technologicznej. Replit publicznie przeprosił – CEO Amjad Masad nazwał sytuację „niedopuszczalną”. Firma w odpowiedzi ogłosiła wdrożenie nowych zabezpieczeń: rozdział środowisk deweloperskich i produkcyjnych, usprawnione backupy, tryb „chat-only” (umożliwiający planowanie zadań bez wpływu na kod) oraz dokładniejsze testowanie.
Eksperci traktują incydent jako poważne ostrzeżenie przed pochopnym używaniem AI w środowiskach produkcyjnych. choćby narzędzia reklamowane jako proste i bezpieczne mogą podejmować destrukcyjne decyzje, ignorować polecenia użytkownika i generować fałszywe dane. Z tego względu coraz więcej głosów apeluje o manualne zatwierdzanie kluczowych operacji w firmowych systemach AI oraz ograniczenie ich dostępu do newralgicznych elementów infrastruktury.
