Ta nowa technologia potrafi zamieniać obrazy i wspomnienia zarejestrowane w mózgu na pełne zdania. Naukowcy pokazali, iż dzięki połączeniu AI i rezonansu można niemal czytać w myślach i zapisywać to w postaci tekstu.
Zespół badaczy z Japonii i USA opracował system nazwany mind captioning, który analizuje aktywność mózgu zarejestrowaną w funkcjonalnym rezonansie magnetycznym i zamienia ją w zdania opisujące to, co dana osoba widzi lub sobie przypomina. Fizyka, językoznawstwo komputerowe i neurotechnologia połączyły tu siły w zaskakująco skuteczny sposób.
Choć naukowcy już wcześniej potrafili zidentyfikować ogólny temat oglądanego przez osobę podłączoną do fMRI obrazu, nowe podejście pozwala uzyskać dużo więcej: nie tylko słowa-klucze, ale całe, opisowe zdania. To tak, jakby na ekranie pojawiały się napisy generowane nie z mikrofonu, a bezpośrednio z mózgu.
Jak działa mind captioning?
Jak czytamy na łamach Nature, system opiera się na dwóch warstwach sztucznej inteligencji. Pierwsza analizuje tysiące filmów i generuje ich sygnatury znaczeniowe – numeryczne odciski, które opisują sens każdej sceny. Następnie druga AI uczy się powiązań między tymi sygnaturami a wzorcami aktywności mózgu, jakie pojawiają się u uczestników podczas oglądania tych samych filmów w skanerze fMRI. Kiedy system jest już wytrenowany, potrafi przeanalizować nowe dane z mózgu i odczytać, jaki rodzaj znaczenia się za nimi kryje. Potem pozostaje ostatni krok – AI wybiera zdanie najbliższe temu, co mózg właśnie myśli lub przypomina.
Jednym z najbardziej zaskakujących efektów podczas testów był fakt, iż system równie dobrze działał nie tylko podczas oglądania nagrania, ale też przy jego przypominaniu. Gdy uczestnicy odtwarzali w pamięci filmy, które wcześniej widzieli, AI była w stanie zrekonstruować ich treść na podstawie aktywności mózgu. To oznacza, iż reprezentacja pamięciowa i percepcyjna w mózgu mają zbliżoną strukturę, a system potrafi tę strukturę skutecznie złamać.
Czy to przyszłość komunikacji osób z afazją?
Choć obecna wersja technologii wymaga dużych, nieruchomych urządzeń fMRI, badacze już myślą o tym, w jakim kierunku może rozwinąć się ta technologia. Mind captioning może bowiem stanowić fundament pod rozwój nieinwazyjnych interfejsów mózg-komputer, które pomogą ludziom z zaburzeniami mowy, np. po udarach, komunikować się dzięki myśli. W połączeniu z rozwojem mobilnych technik obrazowania mózgu, takich jak funkcjonalna spektroskopia w bliskiej podczerwieni (fNIRS) czy zaawansowane elektroencefalografy (EEG), możliwe będzie przeniesienie tej metody poza laboratoria.
Co istotne, autorzy badań podkreślają, iż obecne metody wymagają ścisłej współpracy z uczestnikiem i wielogodzinnego zbierania danych. Nie istnieje więc zagrożenie cichego odczytu prywatnych myśli. Przynajmniej na razie. Ale już sam fakt, iż takie obawy się pojawiają, świadczy o tempie, w jakim rozwija się interfejs między mózgiem a maszyną. Przyszłość komunikacji, terapii i neurotechnologii właśnie zyskała nowy rozdział zapisany prosto z myśli.
*Grafika wprowadzająca wygenerowana przez AI
