ElevenLabs i Y7 łączą siły przy filmie science fiction

Z radością dzielimy się naszą współpracą z Y7: wyjątkowym, godzinnym filmem science fiction zatytułowanym Report 5923. Poniżej artyści z Y7 opowiadają o swoich doświadczeniach przy jego tworzeniu. Poruszają tematy dźwięku, wojny dźwiękowej i audio jako wirusa, łącząc je z wątkami filozoficznymi i teoretycznymi. Naszą rolą w ElevenLabs było wsparcie tego projektu i połączenie sztuki z AI. Przeczytaj więcej o procesie twórczym Y7 i o tym, jak ożywili Report 5923.

Report 5923 to godzinny film science fiction stworzony głównie z użyciem AI oraz szerokiej gamy narzędzi i metod. Opowiada o Shevek, która podróżuje między trzema planetami, tworząc coś, co przypomina raport etnograficzny. Dźwięk, wojna dźwiękowa i audio jako wirus powracają przez całą historię, która szerzej dotyka budowania światów i technooptymizmu. W pracy wykorzystujemy idee z bliskich nam tekstów filozoficznych i teoretycznych, zwłaszcza Gilles’a Deleuze’a i Félixa Guattariego.

Film po raz pierwszy pokazaliśmy jako projekt w toku dla FACT, galerii i kina w Liverpoolu w Wielkiej Brytanii. Poproszono nas tam o prezentację pracy na koniec dwudniowych warsztatów w czerwcu 2023 roku, wspierających artystów, badaczy i kuratorów. Program „Turning Together” wziął swoją nazwę z koncepcji „języka matczynego” autorki literatury spekulatywnej Ursuli K. Le Guin — sposobu komunikacji opartego na słuchaniu i budowaniu relacji. Po pokazie szybko otrzymaliśmy od ElevenLabs finansowanie na dokończenie filmu, gdy dowiedzieli się, że używamy ich narzędzi zarówno w Report , jak i w naszej szerszej praktyce. 

W odpowiedzi na nawiązanie FACT do Le Guin postanowiliśmy dostroić model OpenAI GPT-3.5 na podstawie jej powieści Wydziedziczeni , aby wspólnie z AI napisać scenariusz. Dostrajanie różni się od rozmowy z ChatGPT: pozwala wyspecjalizować model w nowym zbiorze danych, ponad ogólną wiedzę językową, którą już zdobył. Po treningu nowy model może tworzyć tekst w stylu twojego zbioru danych. Parametr temperature pozwala określić, jak bardzo ma się trzymać oryginału: im niższa temperatura, tym bardziej poszatkowany i losowy tekst; im wyższa, tym większa szansa, że dosłownie powtórzy fragmenty zbioru danych. Chodzi o znalezienie złotego środka. Dostrojony model można traktować jako esencję klimatu Le Guin. W tym sensie to nowy rodzaj fan fiction. Wspólnie zmieniliśmy rzeczownik „Ursula K. Le Guin” w czasownik. Możemy teraz Le Guinować tak samo, jak możemy malować, rzeźbić czy śpiewać. 

Po eksperymentach z różnymi temperaturami zaczęły wyłaniać się zarysy historii. Wspólne pisanie z AI przypomina trochę technikę cut-up Williama Burroughsa w wydaniu Davida Bowiego: zaczęliśmy łączyć różne fragmenty wygenerowanego tekstu. Czasem AI podsuwała nam pomysły, które od razu jej oddawaliśmy, a czasem wprowadzaliśmy odpowiednie fragmenty tekstów ulubionych autorów. W końcu trudno było rozróżnić, kto co napisał i skąd wzięły się dane pomysły — choć tradycyjne autorstwo wcale nie wygląda tak inaczej. Gdybyśmy mieli szacować, około 60/40 zasług za tekst przypada na nas. AI nie potrafiła stworzyć ogólnego łuku fabularnego. Technicznie byłoby to możliwe z ChatGPT, ale gdy zaczyna się z nim pracę nad strukturą opowieści, szybko okazuje się bardzo schematyczny i dziwnie uzależniony od szczęśliwych zakończeń. 

Równolegle ze scenariuszem rozwijaliśmy wizualną stronę historii za pomocą narzędzi AI, głównie Midjourney i Gen-2 od Runway. Jedną z głównych trudności było uniknięcie tego, co Shumon Basar nazwał „mid-nością Midjourney”: wbudowanej skłonności do kiczowatej estetyki DeviantArt, obecnej w wielu narzędziach text-to-content, często połączonej z mizoginicznym i infantylizującym przedstawianiem kobiet. Najpierw zaczęliśmy wypełniać prompty techniczną terminologią fotograficzną, by odejść od mocno stylizowanych obrazów. Jednym z największych efektów dla Report była zmiana głównej postaci, Shevek, z młodej kobiety na starszą kobietę. Po odpowiednim prompcie Midjourney często przedstawia starsze kobiety jako obiekty odrażającej grozy. Uznaliśmy, że to znacznie bogatszy, bardziej wywrotowy i złożony grunt estetyczny dla naszej protagonistki. Wspiera to też teza Le Guin z Space Crone , że starsze kobiety byłyby idealnymi ziemskimi reprezentantkami w podróżach międzygalaktycznych. 

W pracy z AI często, choć nie zawsze, stawiamy na błędy i zakłócenia. Staramy się tworzyć momenty, w których AI zapomina maskować lub naśladować — gdy możemy ją pokierować, naprowadzić promptem i obejść jej zabezpieczenia tak, by przestała odtwarzać stylistyczne schematy, do których została zaprogramowana, a zaczęła tworzyć materiał sprawiający wrażenie, jakby przetwarzała własne halucynacje wstecz. Jakby zachowywała się bardziej po swojemu, niż powinna.

AI wykorzystaliśmy też, by ożywić Report dźwiękowo: narzędzia text-to-audio i surowe neuronowe sieci audio pomogły nam stworzyć wszystko — od efektów dźwiękowych zatłoczonego peronu po dźwięki grającego magnetofonu, a także syntezatory, przetworzone wokale i polirytmiczne partie perkusji do ścieżki dźwiękowej. Następnie użyliśmy narzędzi syntezy mowy ElevenLabs, by opowiedzieć historię i ożywić postacie: Report 5923 to połączenie sieci neuronowych ułożone przez nas — mamy nadzieję, że oglądanie go sprawi ci tyle radości, ile nam sprawiło jego tworzenie!