Zespół neurobiologów z Kalifornijskiego Uniwersytetu w Berkeley zakończył właśnie ponad dziesięcioletni projekt, którego celem było uchwycenie aktywności elektrycznej obszarów mózgu odpowiedzialnych za przetwarzanie muzyki i jej elementów: tonu, rytmu, harmonii i słów. Naukowcom udało się dowieść, że tylko dzięki samym zapisom aktywności mózgu badanych pacjentów można zrekonstruować słyszaną przez nich piosenkę. Jakie zastosowania może przynieść to odkrycie?
Dla osób, które mają trudności z komunikacją, czy to z powodu udaru, czy paraliżu, takie nagrania z elektrod na powierzchni mózgu mogą pomóc w odtworzeniu muzykalności mowy, której brakuje w dzisiejszych rekonstrukcjach przypominających mowę robotów. Efekt badania udowadnia możliwość nagrywania i tłumaczenia fal mózgowych w celu uchwycenia muzycznych elementów mowy, a także sylab. U ludzi te elementy muzyczne, zwane prozodią – rytm, akcent, akcent i intonacja – niosą ze sobą znaczenie, którego same słowa nie są w stanie przekazać.
Interfejsy mózg-maszyna używane obecnie przez osoby, które nie są w stanie mówić, mogą przetwarzać słowa, ale produkowane przez nie zdania mają robotyczne brzmienie podobne do tego, jak brzmiał Stephen Hawking, gdy używał urządzenia generującego mowę.
Źródło zdjęcia: Peter Brunner of Albany Medical College in New York and Washington University
Jak twierdzi jeden z głównych autorów badania, Ludovic Bellier: „Obecnie ta technologia przypomina raczej klawiaturę dla umysłu. Nie możesz odczytać swoich myśli z klawiatury. Musisz naciskać przyciski. A to sprawia, że głos jest robotyczny; na pewno nie zapewnia tego, co nazywam wolnością wyrażania siebie”.
Ponad dekadę od pierwszych badań na ten temat, po szczegółowej analizie danych zebranych od dwudziestu dziewięciu pacjentów, neurobiolodzy z Berkeley są pewni, że ich odkrycie przyniesie postęp w umożliwianiu komunikacji osobom z zaburzeniami mowy. W badaniu posłużyli się hitem zespołu Pink Floyd – Another Brick in the Wall, który odtworzyli pacjentom poddanym operacji epilepsji. Fraza „All in all it was just a brick in the wall” pojawiła się wyraźnie w zrekonstruowanej piosence, jej rytm pozostał nienaruszony, a słowa chociaż niewyraźne, były wciąż możliwe do rozszyfrowania. To pierwszy raz, kiedy naukowcy zrekonstruowali piosenkę z nagrań aktywności mózgu.
Ponieważ te wewnątrzczaszkowe zapisy elektroencefalograficzne (iEEG) mogą być wykonane tylko z powierzchni mózgu – tak blisko, jak to tylko możliwe do ośrodków słuchowych – nikt nie będzie podsłuchiwał piosenek w twojej głowie, a na pewno nie w najbliższej przyszłości.
Najnowsze filmy
Dla Roberta Knighta, neurologa i profesora psychologii na Uniwersytecie w Berkeley, który przeprowadził badanie wraz z podoktorantem Ludovicem Bellierem jedną z największych zalet muzyki jest to, że niesie za sobą treść emocjonalną. W miarę rozwoju całej dziedziny interfejsów mózg-maszyna, oferuje to sposób na dodanie muzykalności do przyszłych implantów mózgowych dla osób, które tego potrzebują; dla kogoś, kto cierpi na stwardnienie zanikowe boczne lub inne zaburzenie neurologiczne lub rozwojowe upośledzające mowę. Daje to możliwość dekodowania nie tylko treści językowych, ale także niektórych treści prozodycznych mowy. W miarę doskonalenia technik monitorowania aktywności mózgu, być może pewnego dnia możliwe będzie wykonywanie takich nagrań bez otwierania mózgu, na przykład przy użyciu czułych elektrod przymocowanych do skóry głowy. Obecnie EEG skóry głowy może mierzyć aktywność mózgu w celu wykrycia pojedynczej litery ze strumienia liter, ale podejście to zajmuje co najmniej dwadzieścia sekund, aby zidentyfikować pojedynczą literę, co sprawia, że komunikacja jest pracochłonna i trudna. Techniki nieinwazyjne nie są obecnie wystarczająco dokładne. Badacze mają nadzieję, że w przyszłości będą mogli, za pomocą elektrod umieszczonych na zewnątrz czaszki, odczytywać aktywność z głębszych obszarów mózgu.
Bellier, Knight i ich koledzy opublikowali wyniki w czasopiśmie PLOS Biology, nawiązując do tekstu piosenki Pink Floyd stwierdzili, że dodali „kolejną cegiełkę do muru naszego zrozumienia przetwarzania muzyki w ludzkim mózgu”.
W dwa tysiące dwunastym roku Knight, Brian Pasley i ich współpracownicy jako pierwsi zrekonstruowali słowa, które dana osoba słyszała na podstawie samych nagrań aktywności mózgu.
Niedawno inni badacze posunęli prace Knighta znacznie dalej. Eddie Chang, neurochirurg z Uniwerysytetu w San Francisco i starszy współautor artykułu z dwa tysiące dwunastego roku, zarejestrował sygnały z obszaru motorycznego mózgu związanego z ruchami szczęki, warg i języka, aby zrekonstruować mowę zamierzoną przez sparaliżowanego pacjenta, a słowa były wyświetlane na ekranie komputera.
Praca ta, zgłoszona w dwa tysiące dwudziestym pierwszym roku wykorzystywała sztuczną inteligencję do interpretacji nagrań mózgu pacjenta próbującego wypowiedzieć zdanie na podstawie zestawu pięćdziesięciu słów. Podczas gdy technika Changa okazała się skuteczna, nowe badania sugerują, że nagrywanie z obszarów słuchowych mózgu, w których przetwarzane są wszystkie aspekty dźwięku, może uchwycić inne aspekty mowy, które są ważne w komunikacji międzyludzkiej.
Patronite
Zostań Patronem Astrofazy! Pomóż rozwijać projekt i zyskaj dostęp do bonusowych treści!W nowym badaniu Bellier ponownie przeanalizował nagrania mózgu uzyskane w ponad dekadę temu, kiedy pacjentom odtwarzano około trzyminutowy fragment utworu Pink Floyd, pochodzący z albumu The Wall z tysiąc dziewięćset siedemdziesiątego dziewiątego roku. Jego celem było wyjście poza poprzednie badania, w których testowano, czy modele dekodowania mogą identyfikować różne utwory i gatunki muzyczne, aby faktycznie zrekonstruować frazy muzyczne za pomocą modeli dekodowania opartych na regresji.
Badacz podkreślił, że badanie, w którym wykorzystano sztuczną inteligencję do dekodowania aktywności mózgu, a następnie kodowania reprodukcji, nie polegało jedynie na stworzeniu czarnej skrzynki do syntezy mowy. On i jego koledzy byli również w stanie wskazać nowe obszary mózgu zaangażowane w wykrywanie rytmu, takie jak brzmienie gitary, i odkryli, że niektóre części kory słuchowej w górnym zakręcie skroniowym, znajdującym się tuż za i nad uchem – reagują na pierwsze brzmienia głosu lub syntezatora, podczas gdy inne obszary reagują na ciągłe brzmienie.
W badaniu naukowcy potwierdzili również, że prawa półkula mózgu jest bardziej dostrojona do muzyki niż lewa. – “Za mowę odpowiedzialna jest lewa półkula mózgu. Muzyka jest bardziej rozproszona, z tendencją w kierunku prawej półkuli.”
Autor projektu Robert Knight rozpoczyna kolejne badania, dzięki którym być może zrozumiemy działanie obwodów mózgowych, które pozwalają niektórym osobom z afazją spowodowaną udarem lub uszkodzeniem mózgu komunikować się za pomocą śpiewu, gdy w inny sposób nie mogą znaleźć słów, aby wyrazić siebie.
