Un nouveau challenger est arrivé dans le domaine de la génération vidéo par intelligence artificielle. Après Sora d’OpenAI et VEO de Google, c’est au tour de Kling, développé par l’entreprise chinoise Kuaishou Technology, de se démarquer en permettant la création de vidéos jusqu’à 2 minutes de haute qualité.
Kuaishou est déjà bien connu pour sa plateforme de partage de vidéos courtes, rivalisant avec des géants tels que TikTok. Mais l’entreprise ne s’arrête pas là et a lancé Kling, un modèle Text-to-Video révolutionnaire en phase d’essai, capable de générer des clips vidéo de grande qualité en se basant sur du texte.
Ce nouveau modèle utilise une architecture de transformer et une approche avancée de la sémantique texte-vidéo pour recréer des scènes réalistes. De plus, son mécanisme d’attention conjointe spatio-temporelle 3D lui permet de modéliser efficacement des mouvements complexes. De surcroît, la technologie de reconstruction 3D du visage et du corps humain permet des expressions plus réalistes à partir d’une seule image.
Kuaishou a publié des démonstrations de Kling sur son site et sur les réseaux sociaux, montrant l’étendue des capacités de ce modèle. Avec des vidéos de qualité cinématographique générées en quelques minutes seulement, Kling a indéniablement le potentiel de révolutionner l’industrie du cinéma. La sortie prochaine des “Sora Shorts” au Tribeca Film Festival, créés par des cinéastes ayant eu accès à Sora d’OpenAI, démontre déjà l’impact de ces nouvelles technologies sur la création artistique.