La start-up Runway a dévoilé Gen-4, un nouveau modèle d’intelligence artificielle capable de générer des vidéos à partir de textes. L’outil se distingue par une meilleure gestion de la continuité visuelle entre les scènes et permet de créer des clips avec des personnages et décors cohérents, vous allez voir, c’est bluffant.
Un modèle pensé pour lisser les incohérences
Runway continue d’avancer sur l’amélioration de ses outils de génération vidéo. Après Gen-1 lancé début 2023, la start-up new-yorkaise annonce déjà Gen-4, son nouveau modèle d’IA conçu pour créer des vidéos à partir de prompts textuels. La différence majeure par rapport aux versions précédentes concerne la continuité visuelle : Gen-4 est censé maintenir une cohérence entre les plans, au niveau des personnages, des objets et des environnements.
Le modèle repose sur un système de diffusion, une méthode déjà utilisée pour générer des images. Ici, elle est adaptée à la vidéo, qui reste une suite d’images, avec les contraintes supplémentaires que cela implique. Pour produire une séquence fluide, Gen-4 intègre donc des modules spécifiques pour s’assurer de garantir une certaine stabilité d’un plan à l’autre.
Utilisation d’images de référence
Les utilisateurs peuvent fournir une image de référence d’un personnage ou d’un objet, puis rédiger une consigne textuelle pour guider la génération. Gen-4 prend ensuite en charge la production du clip, en conservant l’apparence de l’élément de référence dans différents contextes. Il est possible de changer l’angle de la caméra, l’éclairage ou le décor sans que l’objet principal perde ses caractéristiques visuelles.
En plus de la vidéo, Gen-4 propose des fonctions d’édition d’image. L’outil peut fusionner deux illustrations, ou générer plusieurs variantes d’un même visuel. Ces fonctionnalités sont intégrées dans une interface unique, déjà accessible aux abonnés payants.
Premiers cas d’usage et limites actuelles
Pour l’instant, la génération est limitée à des clips de 5 à 10 secondes en résolution 720p. Des vidéos plus longues ont été montrées par Runway, mais elles résultent d’un montage manuel de plusieurs séquences. Cela reste un bon indicateur des améliorations futures prévues.
L’entreprise a déjà signé des partenariats dans l’industrie du divertissement, en particulier avec Lionsgate. Son outil a été utilisé sur certains projets commerciaux, comme des publicités ou des visuels de concerts. Comme toujours, la question des données d’entraînement reste sensible. Runway, comme d’autres acteurs du secteur, est visé par une plainte pour avoir utilisé des contenus protégés sans autorisation.
