Exclusif : regardez la première mondiale de l'IA

Exclusif : regardez la première mondiale du court métrage généré par l'IA, The Frost.

Le Frost cloue son ambiance étrange et déconcertante dans ses premiers coups. De vastes montagnes glacées, un camp de fortune de tentes de style militaire, un groupe de personnes blotti autour d'un feu, des chiens qui aboient. C'est quelque chose de familier, mais assez étrange pour planter une graine croissante d'effroi. Il y a quelque chose qui ne va pas ici.

« Passe-moi la queue », dit quelqu'un. Coupure sur un gros plan d'un homme près du feu qui ronge un morceau rose de viande séchée. C'est grotesque. La façon dont ses lèvres bougent n'est pas tout à fait correcte. Pendant un instant, on dirait qu'il mordille sa propre langue gelée.

Bienvenue dans le monde troublant de la réalisation de films IA. "Nous avons en quelque sorte atteint un point où nous avons simplement cessé de lutter contre le désir de précision photographique et avons commencé à nous pencher sur l'étrangeté qu'est DALL-E", déclare Stephen Parker de Waymark, la société de création vidéo basée à Detroit derrière The Frost.

The Frost est un film de 12 minutes dans lequel chaque plan est généré par une IA de création d'images. C'est l'un des exemples les plus impressionnants et les plus bizarres de ce nouveau genre étrange. Vous pouvez regarder le film ci-dessous dans une révélation exclusive de MIT Technology Review.

Pour faire The Frost, Waymark a pris un scénario écrit par Josh Rubin, un producteur exécutif de la société qui a réalisé le film, et l'a transmis au modèle de création d'images d'OpenAI DALL-E 2. Après quelques essais et erreurs pour obtenir le modèle à produire images dans un style qui leur plaisait, les cinéastes ont utilisé DALL-E 2 pour générer chaque plan. Ensuite, ils ont utilisé D-ID, un outil d'intelligence artificielle capable d'ajouter du mouvement aux images fixes, pour animer ces prises de vue, en faisant clignoter les yeux et bouger les lèvres.

"Nous avons construit un monde à partir de ce que DALL-E nous donnait", déclare Rubin. "C'est une esthétique étrange, mais nous l'avons accueillie à bras ouverts. C'est devenu le look du film."

"C'est certainement le premier film d'IA générative que j'ai vu où le style semble cohérent", déclare Souki Mehdaoui, cinéaste indépendant et cofondateur de Bell & Whistle, un cabinet de conseil spécialisé dans les technologies créatives. "Générer des images fixes et les marionnettiser lui donne une ambiance de collage amusante."

The Frost rejoint une série de courts métrages réalisés à l'aide de divers outils d'IA génératifs qui ont été publiés au cours des derniers mois. Les meilleurs modèles de vidéo générative ne peuvent encore produire que quelques secondes de vidéo. Ainsi, la récolte actuelle de films présente un large éventail de styles et de techniques, allant de séquences d'images fixes de type storyboard, comme dans The Frost, à des mélanges de nombreux clips vidéo de plusieurs secondes.

En février et mars, Runway, une entreprise qui fabrique des outils d'IA pour la production vidéo, a organisé un festival du film sur l'IA à New York. Les faits saillants incluent le PLSTC d'un autre monde de Laen Sanches, une séquence vertigineuse d'étranges créatures marines enveloppées de plastique générées par le modèle de création d'images Midjourney; l'onirique Given Again de Jake Oleson, qui utilise une technologie appelée NeRF (neural radiance fields) qui transforme des photos 2D en objets virtuels 3D ; et la nostalgie surréaliste de Expanded Childhood de Sam Lawton, un diaporama des vieilles photos de famille de Lawton qu'il a fait étendre DALL-E 2 au-delà de leurs frontières, le laissant jouer avec les détails à moitié oubliés de vieilles photos.

Lawton a montré les images à son père et enregistre sa réaction dans le film: "Quelque chose ne va pas. Je ne sais pas ce que c'est. Est-ce que je ne m'en souviens tout simplement pas?"

Les artistes sont souvent les premiers à expérimenter les nouvelles technologies. Mais l'avenir immédiat de la vidéo générative est façonné par l'industrie de la publicité. Waymark a créé The Frost pour explorer comment l'IA générative pourrait être intégrée à ses produits. La société fabrique des outils de création vidéo pour les entreprises à la recherche d'un moyen rapide et peu coûteux de faire des publicités. Waymark est l'une des nombreuses startups, aux côtés d'entreprises telles que Softcube et Vedia AI, qui proposent des publicités vidéo sur mesure pour les clients en quelques clics.

La technologie actuelle de Waymark, lancée au début de l'année, rassemble plusieurs techniques d'IA différentes, notamment de grands modèles de langage, la reconnaissance d'images et la synthèse vocale, pour générer une publicité vidéo à la volée. Waymark s'est également appuyé sur son vaste ensemble de données de publicités non générées par l'IA créées pour d'anciens clients. "Nous avons des centaines de milliers de vidéos", déclare le PDG Alex Persky-Stern. "Nous avons tiré le meilleur de ceux-ci et l'avons formé sur ce à quoi ressemble une bonne vidéo."

Pour utiliser l'outil de Waymark, qu'il propose dans le cadre d'un service d'abonnement à plusieurs niveaux à partir de 25 $ par mois, les utilisateurs fournissent simplement un nom d'entreprise et un emplacement. L'outil commence par gratter les sites Web et les comptes de médias sociaux de cette entreprise pour le texte et les images. Il utilise ensuite ces données pour générer une publicité, en utilisant le GPT-3 d'OpenAI pour écrire un script qui est lu à haute voix par une voix synthétisée sur des images sélectionnées qui mettent en valeur l'entreprise.

Une publicité d'une minute peut être générée en quelques secondes. Les utilisateurs peuvent modifier le résultat s'ils le souhaitent, peaufiner le script, éditer des images, choisir une voix différente, etc. Waymark indique que plus de 100 000 personnes ont utilisé son outil jusqu'à présent. (Vous pouvez regarder l'une des publicités générées par l'IA de Waymark ici.)

Le problème est que toutes les entreprises ne disposent pas d'un site Web ou d'images sur lesquelles s'appuyer, explique Parker. "Un comptable ou un thérapeute peut n'avoir aucun actif", dit-il.

La prochaine idée de Waymark est d'utiliser l'IA générative pour créer des images et des vidéos pour les entreprises qui n'en ont pas encore ou qui ne veulent pas utiliser celles qu'elles ont. "C'est l'idée derrière la création de The Frost", déclare Parker. "Créer un monde, une ambiance."

Le Frost a une ambiance, c'est sûr. Mais c'est aussi janky. "Ce n'est pas encore un média parfait", déclare Rubin. "C'était un peu difficile d'obtenir certaines choses de DALL-E, comme des réponses émotionnelles sur les visages. Mais à d'autres moments, cela nous ravissait. Nous nous disions : "Oh mon Dieu, c'est de la magie qui se passe sous nos yeux". .'"

Ce processus aléatoire s'améliorera à mesure que la technologie s'améliorera. DALL-E 2, que Waymark a utilisé pour fabriquer The Frost, est sorti il ​​y a tout juste un an. Les outils de génération vidéo qui génèrent de courts clips n'existent que depuis quelques mois.

L'aspect le plus révolutionnaire de la technologie est de pouvoir générer de nouveaux plans quand vous le souhaitez, déclare Rubin : "Avec 15 minutes d'essais et d'erreurs, vous obtenez le plan que vous vouliez qui s'intègre parfaitement dans une séquence." Il se souvient avoir coupé le film ensemble et avoir eu besoin de plans particuliers, comme un gros plan d'une botte à flanc de montagne. Avec DALL-E, il pouvait simplement l'appeler. "C'est époustouflant", dit-il. "C'est à ce moment-là que cela a commencé à être une véritable expérience révélatrice en tant que cinéaste."

Chris Boyle, cofondateur de Private Island, une startup basée à Londres qui fait de la vidéo courte, se souvient également de ses premières impressions sur les modèles de création d'images l'année dernière : "J'ai eu un moment de vertige quand je me suis dit : 'Ça va changez tout.'"

Boyle et son équipe ont réalisé des publicités pour une gamme de marques mondiales, notamment Bud Light, Nike, Uber et Terry's Chocolate, ainsi que de courtes vidéos en jeu pour des titres à succès tels que Call of Duty.

Private Island utilise des outils d'IA en postproduction depuis quelques années, mais s'est intensifié pendant la pandémie. "Pendant le confinement, nous étions très occupés, mais nous ne pouvions pas filmer de la même manière qu'avant, nous avons donc commencé à nous pencher beaucoup plus sur l'apprentissage automatique à ce moment-là", explique Boyle.

La société a adopté une gamme de technologies qui facilitent la postproduction et les effets visuels, telles que la création de scènes 3D à partir d'images 2D avec des NeRF et l'utilisation de l'apprentissage automatique pour extraire les données de capture de mouvement des séquences existantes au lieu de les collecter à partir de zéro.

Mais l'IA générative est la nouvelle frontière. Il y a quelques mois, Private Island a publié sur son compte Instagram une publicité de bière parodie qui a été produite à l'aide du modèle de création de vidéos Gen-2 de Runway et du modèle de création d'images Stable Diffusion de Stability AI. C'est devenu un hit viral à combustion lente. Intitulée Synthetic Summer, la vidéo montre une scène typique de fête dans le jardin où de jeunes gens insouciants se détendent et sirotent leurs boissons au soleil. Sauf que bon nombre de ces personnes ont des trous béants au lieu de bouches, leurs canettes de bière s'enfoncent dans leur tête lorsqu'elles boivent et le jardin est en feu. C'est un spectacle d'horreur.

"Vous le regardez au départ - c'est juste un truc Americana très générique et intermédiaire", dit Boyle. "Mais votre cerveau postérieur ou quoi que ce soit qui se passe, 'Ugh tous leurs visages sont à l'envers.'"

"Nous aimons jouer avec l'utilisation du médium lui-même pour raconter l'histoire", dit-il. "Et je pense que 'Synthetic Summer' est un excellent exemple parce que le médium lui-même est si effrayant. Il visualise en quelque sorte certaines de nos peurs à propos de l'IA."

Est-ce le début d'une nouvelle ère du cinéma ? Les outils actuels ont une palette limitée. Le Frost et "Synthetic Summer" jouent tous les deux sur les points forts de la technologie qui les a fabriqués. Le Frost est bien adapté à l'esthétique effrayante de DALL-E 2. "Synthetic Summer" a de nombreuses coupes rapides, car les outils de génération vidéo comme Gen-2 ne produisent que quelques secondes de vidéo à la fois qui doivent ensuite être assemblées. Cela fonctionne pour une scène de fête où tout est chaotique, dit Boyle. Private Island a également envisagé de faire un film d'arts martiaux, où les coupes rapides conviennent au sujet.

Cela peut signifier que nous commencerons à voir la vidéo générative utilisée dans les clips vidéo et les publicités. Mais au-delà, ce n'est pas clair. À part des artistes expérimentaux et quelques marques, il n'y a pas encore beaucoup d'autres personnes qui l'utilisent, dit Mehdaoui.

L'état constant de flux est également rebutant pour les clients potentiels. "J'ai parlé avec de nombreuses entreprises qui semblent intéressées mais qui rechignent à investir des ressources dans des projets parce que la technologie évolue si vite", dit-elle. Boyle dit que de nombreuses entreprises se méfient également des poursuites en cours concernant l'utilisation d'images protégées par le droit d'auteur dans les ensembles de données utilisés pour former des modèles tels que Stable Diffusion.

Personne ne sait avec certitude où cela nous mène, dit Mehdaoui : "Il y a beaucoup d'hypothèses lancées comme des fléchettes en ce moment, sans beaucoup de considération nuancée derrière elles."

En attendant, les cinéastes continuent d'expérimenter ces nouveaux outils. Inspirée par le travail de Jake Olseon, qui est un de ses amis, Mehdaoui utilise des outils d'IA générative pour réaliser un court documentaire pour aider à déstigmatiser les troubles liés à l'utilisation d'opioïdes.

Waymark prévoit une suite à The Frost, mais il n'est pas vendu sur DALL-E 2. "Je dirais que c'est plus une sorte de chose" regardez cet espace "", déclare Persky-Stern. "Lorsque nous ferons le prochain, nous utiliserons probablement une nouvelle technologie et verrons ce qu'elle peut faire."

Private Island expérimente également d'autres films. Plus tôt cette année, il a réalisé une vidéo avec un script produit par ChatGPT et des images produites par Stable Diffusion. Maintenant, il travaille sur un film hybride, avec des artistes en direct portant des costumes conçus par Stable Diffusion.

"Nous sommes très dans l'esthétique", dit Boyle, ajoutant que c'est un changement par rapport à l'imagerie dominante dans la culture numérique, qui a été réduite à l'emoji et à l'effet glitch. "C'est très excitant de voir d'où viendra la nouvelle esthétique. L'IA générative est comme un miroir brisé de nous."

"J'ai soudainement changé d'avis sur la question de savoir si ces choses vont être plus intelligentes que nous."

Hinton prendra la parole à EmTech Digital mercredi.

ChatGPT a suscité des spéculations sur l'intelligence artificielle générale. Mais la prochaine véritable phase de l'IA se situera dans des domaines et des contextes spécifiques.

Regardez Hinton s'entretenir avec Will Douglas Heaven, rédacteur en chef de MIT Technology Review pour l'IA, chez EmTech Digital.

Découvrez les offres spéciales, les meilleures histoires, les événements à venir et plus encore.

Merci d'avoir soumis votre e-mail !

On dirait que quelque chose s'est mal passé.

Nous rencontrons des difficultés pour enregistrer vos préférences. Essayez d'actualiser cette page et de les mettre à jour une fois de plus. Si vous continuez à recevoir ce message, contactez-nous à l'adresse [email protected] avec une liste des newsletters que vous souhaitez recevoir.