Świat dopiero przyzwyczaja się do potęgi i wyrafinowania wirtualnych asystentów stworzonych przez firmy takie jak Yandex i Google, które potrafią rozszyfrować nasz język mówiony z niesamowitą dokładnością w porównaniu do technologii zaledwie kilka lat temu.
W rzeczywistości jednak znacznie bardziej imponujący i przytłaczający kamień milowy może nie być daleko, dzięki czemu rozpoznawanie mowy jest prawie dziecinnie proste: systemy sztucznej inteligencji (AI), które mogą przełożyć aktywność naszego mózgu na w pełni uformowany tekst bez słyszenia ani jednego słowa.
To nie jest tak naprawdę science fiction. W ostatnich dziesięcioleciach interfejsy mózg-maszyna ewoluowały w szybkim tempie, od pracy ze zwierzętami do ludzi, i faktycznie istnieją już takie próby.
Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco wyjaśniają to w nowym badaniu.
Zespół naukowców pod kierownictwem neurochirurga Edwarda Changa z laboratorium UCSF zastosował nową metodę dekodowania elektrokortykogramu: rejestrowania impulsów elektrycznych, które pojawiają się podczas aktywności korowej, rejestrowanych przez elektrody wszczepione do mózgu.
W badaniu, w którym czterech pacjentów z padaczką nosiło implanty w celu monitorowania napadów spowodowanych ich stanem chorobowym, zespół UCSF przeprowadził równoległy eksperyment, w którym uczestnicy czytali i powtarzali na głos kilka sugerowanych zdań, podczas gdy elektrody rejestrowały aktywność ich mózgu podczas ćwiczeń.
Dane te zostały następnie przesłane do sieci neuronowej, która przeanalizowała wzorce aktywności mózgu odpowiadające określonym sygnaturom mowy, takim jak samogłoski, spółgłoski lub ruchy ust, na podstawie nagrań dźwiękowych eksperymentu.
Następnie inna sieć neuronowa zdekodowała te reprezentacje – zebrane z powtórzeń 30-50 wypowiadanych zdań – i wykorzystała je, aby spróbować przewidzieć, co zostanie powiedziane, wyłącznie na podstawie korowych sygnatur słownych.
System wykazywał współczynnik błędów wynoszący tylko 3 procent.
Chociaż istnieje wiele przeszkód do pokonania, naukowcy spekulują, że system może pewnego dnia stać się kręgosłupem protezy mowy dla pacjentów, którzy utracili zdolność mówienia.
Wyniki przedstawiono w czasopiśmie Nature Neuroscience.
