Runway ML Gen-3 Alpha révolutionne la génération vidéo avec une vitesse et une qualité inégalées
Dans le domaine ultra-compétitif des IA génératives de vidéos, Runway ML, pionnier du secteur, revient sur le devant de la scène avec Gen-3 Alpha. Après des débuts prometteurs mais peu fructueux avec Gen-1 et Gen-2, la start-up déploie de nouveaux efforts pour rivaliser avec les géants comme OpenAI.
Gen-3 Alpha : un véritable bond en avant pour Runway
Un adage populaire dit : » il faut reculer pour bien sauter ». C’est exactement ce que Runway a fait pour préparer la sortie du modèle Gen-3 Alpha.
Bien avant Sora d’OpenAI, cette start-up s’était déjà positionnée sur le créneau des IA génératrices de vidéos, mais sans véritable succès. Elle revient donc maintenant pour reprendre sa place dans la course.
Gen-3, un modèle text-to-video performant et rapide
Gen-3 Alpha se distingue principalement par ses performances et sa vitesse exceptionnelles. Contrairement aux modèles précédents, cette nouvelle génération produit des vidéos d’une qualité impressionnante, en un temps record : 45 secondes pour un clip de 5 secondes, et 90 secondes pour un clip de 10 secondes ! Rien que ça.
Des vidéos plus réalistes et expressives
Gen-3 Alpha excelle dans la génération de personnages humains expressifs avec un large éventail d’actions, de gestes et d’émotions.
Runway
Gen-3 Alpha produit des vidéos de qualité cinématographique avec des émotions différentes et des mouvements de caméra impressionnants. Cela est possible parce qu’il a été rigoureusement entraîné avec des jeux de données multimodaux.
Compte tenu de ces capacités, cette IA générative de vidéo servira alors de moteur1 pour les modes text-to-video, image-to-video et vidéo-to-vidéo, mais aussi pour de nouveaux modes encore méconnus.
Un pas de plus vers les Modèles Mondiaux Généraux
Runway ML ne se contente pas de réaliser de simples améliorations techniques. Avec Gen-3 Alpha, l’entreprise vise la création de Modèles Mondiaux Généraux (General World Models).
Ce concept, propre à Runway, désigne des modèles IA capables de représenter et simuler une vaste gamme de situations et d’interactions2, comme celles rencontrées dans le monde réel. Un objectif ambitieux qui pourrait bouleverser les conventions actuelles de l’IA générative.
Pour concrétiser sa vision, Runway a noué des partenariats avec des géants du divertissement et des médias.
L’objectif, développer des versions sur-mesure de Gen-3 pour contrôler le style des personnages générés et leur cohérence d’une vidéo à l’autre. Un atout de taille pour répondre aux exigences créatives de projets cinématographiques et télévisuels d’envergure.
Gen-3 Alpha doit faire face à une concurrence stimulante mais féroce
Le marché des IA capables de générer des vidéos à partir de textes ou d’images est en pleine ébullition3. Des start-up comme Vidu et Kling, ainsi que des acteurs établis tels que Luma AI avec sa Dream Machine, tentent de se tailler une place aux côtés de Sora d’OpenAI et de Veo de Google.
Dans un tel contexte concurrentiel, Gen-3 Alpha de Runway compte sur sa capacité à produire du contenu haut de gamme à une vitesse fulgurante pour se démarquer.
En plus, l’entreprise ne compte pas s’arrêter là.
Elle prévoit de déployer d’autres modèles encore plus avancés, capables de générer rapidement des vidéos plus longues et plus complexes.
Gen-3 Alpha est le premier d’une prochaine série de modèles entraînés par Runway sur une nouvelle infrastructure construite pour la formation multimodale à grande échelle. Il s’agit d’une amélioration majeure en termes de fidélité, de cohérence et de mouvement par rapport à Gen-2, et d’une étape vers la construction de modèles mondiaux généraux.
Les limites de Gen-3 Alpha
Bien que Gen-3 Alpha soit une petite merveille technologique, il y a encore quelques lacunes à combler.
Durée limitée des vidéos générées : Pour l’instant Gen-3 ne peut générer que des clips de 10 secondes max. C’est très court mais pas mal pour une story Instagram.
Complexité des interactions: Quand la scène est un peu dense avec plein de personnages et d’objets, Gen-3 Alpha a un peu plus de mal à suivre. Il peut arriver que les mouvements manquent de naturel.
Fidélité aux lois de la physique: Les vidéos générées peuvent donner l’impression de se moquer des lois de la physique. Un objet qui flotte dans les airs sans raison, un truc qui tombe trop vite ou pas assez, bref des petits couacs qui peuvent casser l’immersion.
Provenance des données d’entraînement: Sur ce point, Runway reste assez flou. D’où viennent les données d’entraînement de Gen-3 ? Mystère et boule de gomme. C’est devenu la norme dans le secteur, chacun protège jalousement ses précieux jeux de données.
Questions fréquentes sur le sujet
Qu’est-ce que Gen-3 Alpha de Runway ?
Gen-3 Alpha est le dernier modèle d’IA générative de vidéos développé par Runway ML. Il permet de créer des vidéos de haute qualité rapidement à partir de descriptions textuelles et d’images fixes.
À quoi sert Gen-3 Alpha ?
On peut utiliser Gen-3 Alpha pour créer du contenu pour les médias sociaux, la publicité ou pour produire des films et des séries. Les versions personnalisées du modèle permettent également de contrôler le style des personnages pour des projets cinématographiques spécifiques.
Quand Gen-3 Alpha sera-t-il disponible pour tous ?
Malheureusement, aucune date de lancement précise n’a été annoncée pour le grand public. Runway se contente pour le moment de présenter des vidéos de démonstration sur son site web et sur les réseaux sociaux. Gen-3 Alpha sera d’abord proposé aux abonnés dans les prochains jours. Ensuite, ce sera au tour des utilisateurs gratuits d’y avoir accès.
Comment savoir qu’une vidéo est générée par Gen-3 Alpha ?
Runway intègre le système C2PA, la norme promue par les gros bonnets comme Microsoft et Adobe pour certifier l’origine et l’authenticité des contenus IA. Avec ça, plus de doute sur la provenance des vidéos Gen-3, tout est tracé et sécurisé.
Runway donnera-t-il du fil à retordre à OpenAI et aux autres ?
Seul l’avenir nous le dira. Le lancement de Gen-3 Alpha confirme que Runway ML n’a pas jeté l’éponge et compte bien rivaliser avec les leaders du marché des IA génératrices de vidéos.
Avec ses prouesses techniques et sa vision ambitieuse, la start-up se positionne en potentiel leader d’un marché en pleine croissance. Si les performances de ce nouveau modèle texte-vidéo se révèlent à la hauteur des promesses, OpenAI et les autres pourraient bien avoir un sérieux challenger à affronter.
Références
- Introducing Gen-3 Alpha: A New Frontier for Video Generation. Runwaylm, du 17 juin 2024. Consulté le 19 juin 2024.
↩︎ - Runway Gen-3 : le pionnier des IA de vidéos revient en force, OpenAI tremble !. lebigdata, du 18 juin 2024. Consulté le 19 juin 2024.
↩︎ - Runway’s new video-generating AI, Gen-3, offers improved controls.TechCrunch, du 17 juin 2024. Consulté le 19 juin 2024.
↩︎
