Muzyka w głowie

Stało się: wykorzystywanie rejestratorów fal mózgowych do tworzenia muzyki weszło do głównego nurtu. Utwór pt. „Brainwave Symphony” nagrany z wykorzystaniem urządzenia analizującego fale alfa, beta, delta, gamma i theta jest częścią kampanii marketingowej nowego serialu science fiction „Sense8”, dostępnego od niedawna na Netfliksie. 

Utwór promujący nowy serial Lany i Andy’ego Wachowskich dostępny w popularnym serwisie streamingowym nie jest ani pierwszym, ani ostatnim przypadkiem wykorzystania rejestratora fal mózgowych do komponowania muzyki. Podobne eksperymenty są przeprowadzane od kilku dekad. Jednak tym razem utwór nie jest już tylko niszowym przedsięwzięciem artystycznym skierowanym do wąskiego grona odbiorców. Skoro jest elementem kampanii marketingowej prowadzonej przez internetowego giganta (na marginesie: wkrótce Netflix będzie dostępny w Polsce) i dotyczy serialu o rosnącej popularności, to można go już uznać za element mainstreamu. Całego utworu można posłuchać przez Spotify, a jego fragmenty można usłyszeć, włączając poniższy film promujący serial.

https://www.youtube.com/watch?v=HMH4VFY6cFk

Zaledwie kilka tygodni przed pojawieniem się tego nagrania w sieci, a mianowicie podczas festiwalu DMY 2015, który odbywał się od 11 do 14 czerwca w Berlinie, poznałem Boba van Luijta i Renate Roze, którzy przybliżyli mi temat wykorzystywania fal mózgowych do tworzenia muzyki na przykładzie projektu Boba pt. „control(human, data, sound)”. Bob zastosował w swojej pracy elektroniczną opaskę Muse, sprzedawaną i reklamowaną przez producenta jako urządzenie ułatwiające medytację. W styczniu tego roku miałem okazję ją testować na targach CES – mimo początkowego sceptycyzmu co do jej skuteczności Muse rzeczywiście pomogła mi odpocząć. Wtedy jeszcze jednak nie wiedziałem, że oprócz wprowadzania użytkownika w stan wyciszenia opaska może – po dodaniu odpowiedniego kodu do oprogramowania – służyć również do tworzenia muzyki. Na taki właśnie pomysł wpadł Bob. Ale nie tylko on – nieco później Muse zostało wykorzystane przez studio Tool podczas produkcji utworu „Brainwave Symphony” dla Netfliksa. Coś mi mówi, że na tym się nie skończy. Potwierdza to Bob, który w opublikowanym poniżej wywiadzie wyznaje, że jego zdaniem za kilkanaście lat rejestratory fal mózgowych będą wbudowywane w gogle wirtualnej rzeczywistości.

Kubrickology Bob van Luijt Renate Roze DMY credits Trend Nomad
(od prawej) Bob van Luijt: kreator, kompozytor, założyciel studia projektowego Kubrickology działającego w obszarach technologii, muzyki, sztuki, gier i urbanistyki. Renate Roze: współproducentka filmu dot. projektu „control(human, data, sound)”; freelancerka, dziennikarka i redaktorka tekstów dotyczących festiwali filmowych. Fot.: Trend Nomad.

Trend Nomad: Z wykształcenia jesteś muzykiem, ale zamiast zapisywania nut piszesz kody na swoim komputerze.
Bob van Luijt: Kilka lat temu, gdy po raz pierwszy uczestniczyłem w konferencji na temat rozszerzonej rzeczywistości, natknąłem się na urządzenie Muse dokonujące pomiaru aktywności elektrofizjologicznej mózgu w celu ułatwienia użytkownikowi przejścia w stan medytacji. Zacząłem się zastanawiać, do jakiego celu mogłyby jeszcze posłużyć dane generowane przez taką opaskę. Postanowiłem wykorzystać je do projektu artystycznego. Stworzyłem kompozycję opartą na zmiennych. Ich wartości są na bieżąco generowane przez czujniki zainstalowane w opasce. Pierwotna kompozycja ma swoją formę muzyczną, strukturę i instrumentację, ale zmienne elementy utworu, takie jak: tonacja, tempo, balans dźwięków, długość nut czy czas trwania, zależą od danych generowanych na bieżąco przez opaskę założoną na głowę użytkownika. W przypadku mojego projektu jest nim tancerz.

https://vimeo.com/114393301

Twój projekt w znacznie większym stopniu dotyczy zatem danych niż samej muzyki.
W pełni się zgadzam z tym stwierdzeniem. Pamiętaj jednak o tym, że same dane przechowywane na dysku komputera nie są nic warte. Jedynie człowiek potrafi nadać im kontekst, a tym samym wartość. Obecnie coraz więcej algorytmów analizuje dane i stara się nadawać im znaczenie. Niekiedy wychodzi z tego coś sensownego, ale zazwyczaj efekt nie ma najmniejszego sensu. Im zbiór danych staje się większy, tym trudniej go zrozumieć. Zacząłem się zastanawiać, co się stanie, gdy pewnego dnia dane będą czerpane bezpośrednio z naszego mózgu. Mój projekt pt. „control(human, data, sound)” jest abstrakcyjnym wyrazem tej idei.

W jaki sposób przekładasz parametry fal mózgowych na dźwięki?
Wykorzystując pakiet programistyczny opaski Muse, stworzyłem funkcję w oprogramowaniu, które na bieżąco wyszukuje informacje, pobiera je i przekłada na liczby całkowite – wyniki mają wpływ na brzmienie kompozycji. Z kolei samą kompozycję stworzyłem przy użyciu środowiska programistycznego Nude.js ze zintegrowaną biblioteką plików MIDI oraz oprogramowania Logic Pro X. Wybrałem 14 instrumentów z trzech bibliotek efektów dźwiękowych opartych na sekcji smyczkowej: „Symphobia 2” od ProjectSAM, „Epic World” autorstwa Eduardo Tarilontego i „Synth Werk” od Best Service.

Czy ruch tancerza, który ma założoną na głowę opaskę Muse, wpływa na muzykę?
To zależy. To oprogramowanie decyduje o tym, gdzie umieszcza dane, i na ich podstawie tworzy muzykę. Kompozycja za każdym razem – bez względu na to, czy urządzenie znajduje się na głowie tej samej, czy innej osoby – brzmi nieco inaczej. Tancerz nie jest w stanie umyślnie wpłynąć na kompozycję.
Renate Roze: Oczywiście muzyka powstaje również wtedy, gdy tancerz stoi lub siedzi nieruchomo – jego mózg zawsze jest przecież aktywny. Utwór nie przyśpieszy, jeśli tancerz zacznie się szybciej ruszać. Muzyka zależy od stanu jego umysłu.
B.v.L.: Ale jeśli pokazałbym tancerzowi obraz czy fotografię, która go uspokoi lub wystraszy, to sensory odnotują zmiany w aktywności jego mózgu i oprogramowanie przełoży dane na muzykę.
R.R.: Zmiany będą jednak bardzo delikatne. Jak Bob już wspomniał, dźwięki syntezatora są z góry określone. Jeśli powtórzylibyśmy eksperyment z tą samą osobą, a tancerz podczas tańca myślałby o czymś zupełnie innym lub wykonywał inne ruchy, efekt różniłby się od poprzedniego w ograniczonym stopniu. Usłyszelibyśmy te same rodzaje dźwięków, ale być może trwałyby one krócej, brzmiały łagodniej czy były cichsze. Zupełnie inny utwór w ten sposób by nie powstał.
B.v.L.: Ale nigdy też nie powstaną dwa identyczne utwory. Opaska przeprowadza sześć pomiarów co jedną lub co dwie milisekundy. Jedna sekunda przynosi wyniki 4,5 tys. pomiarów. To sporo danych do przetłumaczenia na język muzyki.

Kubrickology data
Kolumny danych w oprogramowaniu stworzonym przez Boba van Luijta.

Czy ludzie nie mają obaw przed zakładaniem tego typu urządzeń na głowę?
B.v.L.: Jeśli ktoś szuka odpowiedzi na pytanie, czy można „wykraść” myśli przy użyciu takiego urządzenia, to brzmi ona: „Nie, nie można”. Odczytanie tego, o czym myślisz, gdy siedzisz, stoisz, chodzisz czy tańczysz z opaską Muse na głowie, nie jest możliwe. Na podstawie pomiaru aktywności twojego mózgu mogę jedynie stwierdzić, czy jesteś zestresowany, czy spokojny.

Poza muzyką i urządzeniami noszonymi na ciele interesujesz się również wirtualną rzeczywistością. Czy sądzisz, że w przyszłości gogle do VR-u, takie jak Oculus Rift, będą wyposażone w rejestratory fal mózgowych?
B.v.L.: Moim zdaniem za 15 lat tego typu urządzenia lub ich znacznie bardziej zaawansowane wersje będą standardowym elementem wyposażenia gogli wirtualnej rzeczywistości. Jestem pewien, że ludzie będą na sobie nosili, również na głowie, coraz więcej różnych sensorów. Facebook i inne firmy będą z tego powodu zachwycone.

Jaka jest twoja prognoza dotycząca powszechności urządzeń do VR-u w 2020 r.? Czy będą one tak popularne jak dzisiaj są smartfony?
B.v.L.: Wirtualna rzeczywistość będzie wtedy raczej na etapie, na jakim jest dzisiaj telewizja 3D – nie każdy ma w domu sprzęt potrzebny do jej odtwarzania. Aby oglądać treści przygotowane w standardzie wirtualnej rzeczywistości, potrzebujesz kilku rzeczy. Poza tym wiele osób źle się czuje od VR-u [tabletka przeciw dolegliwościom towarzyszącym oglądaniu treści VR już powstała – red.]. Uważam, że technologia wirtualnej rzeczywistości została skomercjalizowana za wcześnie. Kilka lat temu, gdy po raz pierwszy uczestniczyłem w konferencji na temat VR-u, poruszano na niej rozmaite tematy. Teraz mówi się wyłącznie o jego komercyjnej stronie. Urządzenia, które trafiają na rynek jako gotowe produkty, w rzeczywistości nadal są prototypami. Ale może się mylę. Nie tak dawno temu niektórzy ludzie twierdzili, że internet nigdy nie trafi do głównego nurtu.

Jeśli jesteś zainteresowany technicznymi zagadnieniami projektu pt. „control(human, data, sound)”, proszę, obejrzyj niżej osadzony film oraz zapoznaj się z artykułem Boba pt. „A story about how I created music out of data”.

https://vimeo.com/114440097

Wszelkie pytania dotyczące projektu „control(human, data, sound)” możesz przesłać do Boba van Luijta na adres: bob@kubrickolo.gy.

Kubrickolo.gy

PS Jeśli chcesz dowiedzieć się więcej o samej opasce Muse, zachęcam cię do obejrzenia niżej umieszczonego filmu oraz odwiedzenia firmowej strony internetowej tego urządzenia. Po wprowadzeniu zmian do jego oprogramowania Muse może służyć do komponowania muzyki. Gotowy kod można pobrać z biblioteki Boba van Luijta dostępnej na GitHubie.

https://www.youtube.com/watch?v=YI5uXlTnNms

Spodobał Ci się wywiad? Postaw mi za niego kawę. Możesz przekazać mi dowolną kwotę ze swojego konta PayPal lub karty kredytowej. Wszystkie darowizny przeznaczam na finansowanie wyjazdów na targi, festiwale i konferencje o dizajnie i nowych technologiach – to na nich odkrywam tematy opisywane na blogu. Aby dokonać bezpiecznej transakcji, wystarczy kliknąć znajdujący się niżej przycisk. Dziękuję za wsparcie, odwdzięczę się kolejnymi materiałami.

Polecane artykuły