Réimaginer les processus vidéo et audio avec Adobe Firefly

Les applications vidéo d’Adobe ont été utilisées pour monter et intégrer des effets spéciaux sur des films et séries à succès, tels que : ‘Top Gun : Maverick’, ‘Black Panther : Wakanda Forever’, ‘Missing’, ‘Atlanta’ et ‘The Bear’. ‘Everything Everywhere All at Once’, maintes fois récompensé, ‘Navalny’ et près des deux tiers des films présentés au Festival du film de Sundance 2023 ont majoritaire adopté les applications de montage vidéo et de collaboration Adobe. L'Academy of Motion Picture Arts and Sciences a également récompensé Adobe Substance 3D pour avoir participé aux effets spéciaux et animations dans des films tels que ‘Spider-Man : No Way Home’, ‘Dune’, ‘Star Wars, épisode IX : L'Ascension de Skywalker’, ‘La Reine des neiges 2’, ‘Buzz l'Éclair’ ou encore ‘First Man - le premier homme sur la Lune’.

Le NAB Show 2023, le plus grand rassemblement des acteurs de la télévision, de la radio et de la convergence des médias et des technologies de demain, a été l’occasion pour Adobe d’annoncer plusieurs innovations au sein de ses applications vidéo : une nouvelle fonctionnalité d’IA de montage vidéo basé sur le texte et le mappage des tonalités automatique sur Premiere Pro, l'intégration d’un nouveau panneau de propriétés pour améliorer la productivité des utilisateurs sur After Effects. La nouvelle prise en charge des photos et documents PDF sur Frame.io, plateforme de collaboration cloud dédiée jusqu’alors à la vidéo, a également été dévoilée.

Adobe Firefly : une dose d’IA générative pour les applications Creative Cloud

L’IA générative propulse le monde de la création dans une nouvelle ère, où la technologie bouscule la relation entre le créateur et l’outil, créant ainsi un échange plus naturel, intuitif et in fine, plus puissant, entre l’Homme et la machine. Les mots deviennent alors un allié puissant pour l’expression créative et s’intègrent simplement aux workflows existants.

Depuis plus de 10 ans maintenant, Adobe se démarque par ses innovations dans le domaine de l’IA, notamment par le biais d’Adobe Sensei qui offre des centaines de fonctionnalités d’IA aux millions d’utilisateurs des applications Adobe. Des fonctionnalités telles que les Neural Filters de Photoshop, Remplissage d’après le contenu d’After Effects ou encore Remix sur Premiere Pro permettent déjà aux utilisateurs de créer des contenus uniques.

Le mois dernier, nous dévoilions Adobe Firefly, notre nouvel ensemble de modèles d’IA génératives dédié à la création, qui permet de générer des images et des effets de textes. Entraîné sur les contenus Adobe Stock, les contenus sous licence libre et contenus du domaine public dont les droits d’auteur ont expiré, le premier modèle de Firefly est notamment conçu pour la création de contenu destiné à un usage commercial. La version bêta est d’ores et déjà disponible. Un nouvel outil qui sera prochainement intégré au sein d'Adobe Photoshop, Adobe Illustrator, Premiere Pro et bien d’autres applications Adobe.

Notre ambition est d’étendre la vision de Firefly aux applications Creative Cloud. Ainsi nous avons imaginé des intégrations au sein de nos applications vidéo, audio, de motion design et d’effets spéciaux.

Imaginer Adobe Firefly pour la vidéo

Nous vivons l’âge d’or de la vidéo - et la vidéo de courte durée s’impose comme la référence sur les réseaux sociaux et les plateformes de divertissement. La demande de contenu ne cesse d’augmenter, les vidéastes ont besoin d’outils pour produire du contenu unique dans un laps de temps imparti.

L’innovation fait partie de notre ADN et nous permet ainsi d’inventer des fonctionnalités pour transformer le quotidien et les workflows des professionnels de la vidéo et de l’audio. Adopter Firefly comme copilote de la création permettrait aux créateurs de contenus de dynamiser et bouleverser le processus d’idéation, mais également de réduire le temps de post-production, de plusieurs jours à quelques minutes. De nouvelles fonctionnalités disponibles en quelques-clics au sein des workflows habituels grâce à l’IA générative. Imaginez la possibilité de modifier instantanément la temporalité d'une vidéo, l’annoter et de trouver des séquences bien précises ou encore de créer et de générer des variations illimitées d’un contenu vidéo. La seule limite est l’imagination.

Pour commencer, nous avons exploré une première série de concepts :

• Ajustement des couleurs à partir d’un texte : Il sera ainsi possible de modifier les couleurs et les tons, la temporalité d’une vidéo, voire les saisons, pour créer une ambiance et un ressenti bien précis. Un simple prompt comme “rendre la scène plus chaleureuse” permettra de donner vie à une nouvelle séquence en supprimant de nombreuses étapes de post-production.
• Générer des musiques et des bruitages de haute qualité : La possibilité de générer des bruitages et musiques personnalisés et libres de droits pour créer une ambiance particulière.
• Polices, effets de texte, illustrations et logos : En l’espace de quelques minutes, il est possible de générer des sous-titres, des logos et des génériques avec des animations personnalisées en fonction du contexte.
• Futures fonctionnalités de script et de B-Roll : Firefly devrait nettement accélérer les workflows de production et postproduction en analysant les scripts pour créer automatiquement des prévisualisations et des storyboards, et en recommandant des séquences B-Roll pour la vidéo finale lors du montage.
• Un copilote de la création : Des guides pratiques personnalisés et optimisés par l’IA aideront les créateurs de contenus à acquérir de nouvelles compétences pour accélérer les processus, du concept initial au montage en passant par la création.

De nouvelles fonctionnalités d’IA générative pour la vidéo, l’audio, l’animation et le motion design seront disponibles au cours de l’année.

La version bêta de Firefly est disponible ici. Par ailleurs, n’hésitez pas à rejoindre la communauté Discord pour nous partager vos retours sur Firefly et vos attentes concernant l’intégration de l’IA générative dans nos applications.