‘Énorme’: l’intelligence artificielle pour créer un clip vidéo à partir d’enregistrements du 19e siècle

Un groupe de créatifs utilise les nouvelles technologies pour réaliser un montage musical à partir des archives de la Cinémathèque espagnole

Matériel d’archives: Cinémathèque espagnole et Bibliothèque nationale d’Espagne. La réalisation de cette vidéo a été possible grâce aux technologies opensource pour la remastérisation, la coloration et la deepface en utilisant le Deep Learning.

La créativité n’a pas été mise en quarantaine. Des artistes d’avant-garde Meriem Bennani et Orian Barki et leurs formidables 2lizards sur Instagram au nouveau roi de la musique urbaine latine, Bad Bunny, qui a sorti deux albums sur des plateformes numériques dans les semaines où nous avons été confinés. Collaborations, expériences, remixes, couvertures, mêmes improbables. L’isolement volontaire est l’environnement de travail habituel pour de nombreux créateurs. Cette force que nous vivons a permis à beaucoup d’entre eux de découvrir les énormes capacités de la technologie comme outil créatif.

Le studio madrilène EspadaySantacruz a passé des années à travailler à l’intersection de l’art et de la technologie. Ses trois partenaires, Nerea Goikoetxea, Juan Santacruz et Miguel Espada, ont profité de la quarantaine pour enquêter sur l’application de l’intelligence artificielle et du deep learning aux processus créatifs. Ces semaines à la maison leur ont permis d’expérimenter des outils qui jusqu’à très récemment étaient réservés aux grandes entreprises technologiques ou aux groupes de recherche universitaires. «Dans notre cas, ce que nous voulions, c’était jouer, nous amuser et amener cette technologie sur un support inattendu tel que faire un clip vidéo», explique Miguel Espada.

Son idée était d’utiliser des algorithmes d’ apprentissage en profondeur et des réseaux de neurones pour colorer des enregistrements en noir et blanc du début du XXe siècle et générer des contrefaçons profondes à partir de photographies de l’époque. «Pour colorer les images, un réseau de neurones a été formé avec de nombreuses images en noir et blanc et leurs versions en couleur respectives. Le réseau de neurones dans ce processus apprend à colorier non seulement les images avec lesquelles il a été formé, mais toute autre image. Ce qui est merveilleux à propos de ce processus, c’est cette capacité d’extrapoler ce qui a été appris et, dans ce cas, de générer des couleurs là où il n’y en avait pas ou aucun mouvement dans les photos statiques comme dans le cas des contrefaçons profondes », explique Goikoetxea.

Le matériel de départ était les archives de la Filmoteca Española . En particulier, la collection Sagarminaga , une série de films de la fin du XIXe et du début du XXe siècle (le plus ancien est de 1896 et le plus moderne, de 1904) avec des fragments traditionnels et des pièces documentaires. «Nous avons aimé l’idée de travailler avec un matériau appartenant au patrimoine national. Nous avons travaillé de manière créative à partir de l’appropriation et avons trouvé des images pour créer un récit entre lucide et bizarre raconté à travers les aventures d’acrobates, de trapézistes, de vedettedes, de clowns, d’hommes forts, de danseurs, de prêtres et de voyeurs « , explique Santacruz.

Pour donner vie au projet, ils ont collaboré avec Jesús Hernández de NYSU, qui avait réalisé des clips vidéo pour des groupes comme New Order, Bastille, Band of Skulls ou Guadalupe Plata. Hernández était chargé de rechercher de la musique. «Nous avions ces images primitives de foules jouissant de liberté et de joie que nous, au milieu d’une pandémie, ne pouvions pas apprécier. Nous devions trouver un véhicule musical capable de transporter toute cette énergie silencieuse. À cette époque, je continuais d’écouter l’album La Juventud. Je ne savais rien d’eux, mais j’étais obsédé par leurs chansons. Dès que j’ai mis cette musique sur les images, le contraste était parfait. Mon travail consistait donc à connecter les deux parties et à donner une certaine structure narrative par le montage.  » Pour le directeur de NYSU, «jusqu’à présent, la machine ou le matériel, c’étaient de simples exécuteurs testamentaires. Un outil. Il n’y avait pas de dialogue créatif autre que le caractère aléatoire de certains plugins. Avec l’intelligence artificielle, il y a un autre auteur qui repense, décide et propose l’auteur principal. Peut-être grâce à cela, nous parviendrons à des conclusions jamais soulevées et élargirons l’horizon créatif. »

La chanson choisie était Tremendo, du groupe La Juventud . Le groupe était attiré par l’idée de «capturer le public actuel à partir d’images d’il y a des décennies». Le cocktail était donc complet. Technologie de pointe du 21e siècle, enregistrements populaires du début de la fin du 19e siècle et garage rock idéal pour écouter à plein volume dans cette course des taureaux. En bref, énorme !