Sztuczna inteligencja zrewolucjonizowała programowanie, jednak najnowsze badanie METR pokazuje, iż w praktyce może ona… spowalniać pracę doświadczonych deweloperów. Nowe dane podważają popularne przekonania o roli AI w przyspieszaniu tworzenia systemu i pokazują, iż rzeczywistość bywa bardziej złożona, niż sugerują rynkowe anegdoty.
AI i produktywność
W ostatnich latach narzędzia takie jak Cursor czy Copilot stały się codziennością w pracy programistów. Umożliwiają generowanie kodu na żądanie, co teoretycznie powinno przyspieszać realizację projektów. Jednak zespół METR, badając wpływ AI na produktywność 16 doświadczonych deweloperów open source, odnotował efekt odwrotny od oczekiwanego. W ramach randomizowanego badania naukowcy przeanalizowali 246 rzeczywistych zadań programistycznych, które uczestnicy rozwiązywali zarówno z użyciem AI, jak i bez niej.
Zgodnie z własnymi przewidywaniami, deweloperzy byli przekonani, iż AI pozwoli im skrócić czas pracy średnio o 20–24 procent. W praktyce jednak, przy korzystaniu z narzędzi opartych na sztucznej inteligencji, zadania trwały o 19 procent dłużej. Ten rezultat był dla wielu uczestników i ekspertów zaskoczeniem.
„Byłem sceptyczny, czy warto prowadzić to badanie, bo spodziewałem się oczywistego przyspieszenia” – przyznał David Rein z METR.
Dlaczego AI spowalnia zamiast pomagać?
Analiza wykazała, iż choć dzisiejsze modele językowe są w stanie generować kod, rzadko trafiają w intencje programisty za pierwszym razem. Oznacza to konieczność wielokrotnej interakcji i poprawiania propozycji AI, co w efekcie wydłuża czas pracy. Uczestnicy wskazywali również na bardziej „ludzkie” czynniki – korzystanie z AI bywa przyjemniejsze i mniej żmudne, co sprzyja rozproszeniu i choćby prokrastynacji.
Quentin Anthony, jeden z badanych programistów, napisał: „LLM-y to przycisk szybkiej nagrody, który może od razu rozwiązać twój problem. Kusi, by go ciągle naciskać, choćby jeżeli działa raz na sto prób. To znacznie przyjemniejsze niż mozolna praca, ale łatwo się wtedy rozproszyć, na przykład scrollując media społecznościowe w oczekiwaniu na odpowiedź modelu”.
Rola AI w programowaniu
Autorzy badania podkreślają, iż nie należy zbyt pochopnie wyciągać globalnych wniosków na podstawie tych danych. Badanie dotyczyło wyłącznie doświadczonych deweloperów pracujących nad dużymi repozytoriami open source. Efekt AI może być inny w przypadku mniej zaawansowanych użytkowników lub innych typów projektów. Co więcej, sami programiści wciąż uczą się efektywnego korzystania z nowych narzędzi, a technologia rozwija się bardzo dynamicznie. METR odnotowuje, iż możliwości AI w zadaniach programistycznych podwajają się co siedem miesięcy.
Wyniki tego badania pokazują, jak istotne jest testowanie narzędzi AI w rzeczywistych warunkach, a nie tylko w teoretycznych benchmarkach. Wysokie wyniki na testach syntetycznych często nie przekładają się na produktywność w codziennej pracy, zwłaszcza tam, gdzie liczy się jakość kodu, zgodność ze standardami czy dokumentacja. METR planuje kolejne badania, aby śledzić tempo zmian i realny wpływ AI na branżę IT.
