Dernièrement, je me suis intéressé au monde de la narration avec l'IA. Je pense que ces outils ont suffisamment évolué pour réaliser des vidéos intéressantes, mais la seule façon d'en avoir le cœur net est d'essayer par soi-même.
Outils utilisés :
- Concept et scénario : ChatGPT et Claude AI
- Images de base, casting et conception : Midjourney et Freepik
- Génération de vidéos : Runway Gen-3, LumaLabs, Kling
- Voix et effets sonores : ElevenLabs, Hedra Labs et Capcut
- Montage : Capcut
- Conception graphique : Figma
Comme ces outils sont encore relativement nouveaux, le processus de travail est expérimental et je m'attends à ce qu'il soit adapté à chaque projet.
Voici un aperçu du processus que j'ai suivi pour celui-ci.
Concept et scénario
En tant que designer, je m'inspire souvent d'images isolées. En rédigeant "Big Book of Midjourney Reference Styles" (sref codes), j'ai été captivé par sref 3456119169 :
Je voulais créer une histoire sombre d'un chasseur de têtes de science-fiction solitaire, en utilisant cette référence comme ambiance. Avec ces éléments en tête, je me suis tourné vers ChatGPT et Claude AI pour trouver des idées avec l'invite suivante :
Un contexte futuriste dans une colonie humaine sur une autre planète. Un tueur à gages se rend dans un bar pour se faire payer. Il se retrouve chargé de chasser quelqu'un. Suggère 5 idées possibles pour une courte histoire vidéo dans un cadre sinistre et cyberpunk.
Après avoir examiné les réponses, j'ai extrait les idées qui me plaisaient et j'ai peaufiné l'histoire à l'aide de cette invite :
Rédige un scénario à partir de l'intrigue suivante : Le tueur à gages entre dans le bar pour percevoir son paiement, mais il découvre que la personne qui lui doit de l'argent a été tuée par un criminel droïde notoire qui se cache dans les bidonvilles de la colonie et qui s'est également emparé du paiement. Le tueur à gages décide de chasser ce criminel.
Maintenant que j'ai une ébauche du scénario, je l'ai utilisé comme guide pour générer des images avec Midjourney et Freepik.
Génération d'images
Pour conserver une esthétique cohérente tout au long de la vidéo, j'ai utilisé le paramètre sref de Midjourney, et plus précisément le sref 3456119169. Cela a permis de créer une ambiance orangée et brumeuse dans toutes les images. Voici quelques exemples d'images générées :
 |
| Still cinématographique, vue aérienne d'une ville futuriste avec des gratte-ciel, retrait des personnes, dystopique, cyberpunk — ar 16:9 — sref 3456119169 — p — stylize 1000 — v 6 |
 |
| Still cinématographique, véhicule futuriste dans une ruelle d'une ville avec des gratte-ciel, dystopique, cyberpunk — ar 16:9 — sref 3456119169 — v 6 — stylize 1000 — p |
 |
| Still cinématographique, enseigne de bar futuriste dans une ruelle, ville avec gratte-ciel en arrière-plan, dystopique, cyberpunk — ar 16:9 — sref 3456119169 — v 6 — stylize 1000 — p |
Certaines des images générées avec cette sref étaient un peu grossières, ce qui pouvait poser problème lors de l'animation.
La mise à l'échelle avec Freepik a été nécessaire pour améliorer la qualité.
Animation des images
L'étape suivante a consisté à animer ces images à l'aide de Runway, LumaLabs et Kling. L'ajout d'une brève invite décrivant l'action requise a permis de donner vie aux scènes :
 |
| Invite : Le véhicule décolle |
 |
| Invite : Une personne qui marche |
La fonction de mélange d'images de LumaLabs s'est avérée utile, me permettant d'expérimenter la transition entre les scènes. Les résultats ont ajouté de la profondeur à la structure.
La structure de base prenait forme.
Mais voilà que surgit LE GROS PROBLÈME des films d'IA :
La cohérence des personnages.
Cela reste un défi important dans la réalisation de films d'IA, et il est loin d'être entièrement résolu. Pour ce projet, j'ai utilisé une solution de contournement qui a donné des résultats satisfaisants.
Les personnages
J'avais une vision claire de l'apparence de mon personnage, basée sur une référence à une célébrité. Mon invite initiale était :
Still cinématographique, plan frontal, portrait Bruce Willis avec un trench futuriste marchant dans une ruelle, dystopique, cyberpunk - ar 16:9 - sref 3456119169 - p - stylize 1000 - v 6
Oui. Ça fonctionne.
Cela a assez bien fonctionné, alors je l'ai utilisé comme modèle de base pour toutes les scènes de personnages, en changeant seulement la description de la scène et en ajoutant le paramètre -cref avec l'URL de l'image pour le renforcement.
Même si cela n'était pas parfait, c'était suffisant pour le projet.
Conseil : Ne vous préoccupez pas de ce problème. Il n'y a pas de solution parfaite à l'heure actuelle.
Pour les acteurs secondaires, une autre astuce consiste à générer un portrait principal du personnage et à utiliser l'éditeur de Midjourney pour modifier l'environnement. Cela ajoute juste assez de variété à la scène, rendant les personnages suffisamment différents une fois animés.
Note : Une limitation que j'ai rencontrée avec cette sref était l'impossibilité de changer les vêtements d'un personnage pour un style futuriste. J'ai réalisé plus tard que le fait de mélanger cette sref avec une autre présentant des éléments futuristes aurait pu résoudre ce problème.
Une fois animés, ils seront suffisamment différents.
Note : J'ai trouvé ici une limite à cette sref Midjourney. J'ai eu beau modifier l'invite, je n'ai pas réussi à obtenir de MJ qu'elle porte des vêtements futuristes (En écrivant cela, je me suis rendu compte que j'aurais pu mélanger la sref avec une autre avec des éléments futuristes. Oh, bien sûr).
Voix et sons
Il existe plusieurs options pour ajouter des voix et des sons à vos personnages :
- ElevenLabs : Générer des voix avec Text to Voice.
- Runway et Hedra Labs : Les fonctions de synchronisation labiale vous permettent d'ajouter des voix aux images.
- Capcut : Permet de générer des voix, mais ne propose pas de fonction de synchronisation labiale.
En outre, les effets sonores améliorent votre vidéo. ElevenLabs et Capcut proposent tous deux des options pour les générer ou les ajouter.
Mise ne ligne sur YouTube
YouTube est la meilleure plateforme pour partager vos créations et développer un public. Je vous recommande de créer et de partager votre chaîne.
Pour les vignettes, j'ai utilisé la version gratuite de Figma. Elle offre une gamme de polices fantastiques. Voici quelques miniatures que j'ai créées :
Voici le résultat final :
source :
https://bootcamp.uxdesign.cc/i-created-a-youtube-series-using-midjourney-and-runway-gen-3-heres-what-i-learned-6af546f6f21b#bypass