Sneaks : Adobe présente les innovations futures à l’occasion de MAX 2023

Nous entrons dans une nouvelle ère de créativité, au sein de laquelle l’IA générative donne accès à de nouveaux workflows ultraperformants et permet de donner vie aux idées les plus invraisemblables. Lors de la session des Sneaks à MAX présentée par l’acteur et humoriste Adam DeVine, les équipes scientifiques et d’ingénierie d’Adobe dévoilent en avant-première les diverses technologies expérimentales qui pourraient un jour rejoindre les fonctionnalités de nos applications créatives.

Cette année, la plupart de ces inventions tirent parti de l’IA générative. L’objectif est de proposer dans diverses disciplines (photo, vidéo, audio, 3D et design) des outils innovants, qui repoussent les limites de la créativité.

Cliquez ici pour regarder la session des Sneaks.

Project Fast Fill

Tirant parti du remplissage génératif optimisé par Adobe Firefly, cet outil permet de supprimer des objets ou de modifier des éléments à l’arrière-plan des vidéos avec le même degré de simplicité, de qualité et de fluidité que la retouche d’images fixes.

Avec Project Fast Fill, la technologie d’IA générative fait son apparition dans les applications de montage vidéo. Grâce à de simples prompts, il devient possible de remplacer des textures dans une séquence, même pour les surfaces changeantes et complexes, par exemple dans des conditions d’éclairage variables. Cette fonctionnalité permet de modifier un objet sur une seule image puis de propager automatiquement ce changement au reste de la séquence, ce qui fait gagner un temps considérable au montage.

Présenté par : Research Engineer chez Adobe, Gabriel Huang est spécialisé dans la vidéo. Il a contribué à développer des technologies qui ont révolutionné le montage des effets vidéo en les rendant plus simples et accessibles.

Project Draw & Delight

Vous est-il déjà arrivé d’être au point mort ou d’avoir besoin d’aide pour lancer votre processus créatif lorsque vous essayez de concrétiser une idée ?

Avec Project Draw & Delight, l’IA générative peut vous guider tout au long du parcours de création, en vous aidant à transformer vos premières idées, souvent matérialisées par des gribouillages ou des croquis, en esquisses soignées.

Cette technologie ne se résume pas à la conversion de texte en image : elle permet de compléter les prompts avec des indications visuelles, comme de vagues ébauches et des coups de pinceau. Draw & Delight tire ensuite parti de la puissance d’Adobe Firefly pour générer des animations ou illustrations vectorielles uniques dans divers arrière-plans, palettes de couleurs, variantes de style et poses.

Présenté par : Souymodip Chakraborty est Computer Scientist chez Adobe. Il s’intéresse tout particulièrement aux infographies et au traitement de la géométrie.

Project Neo

L’incorporation d’éléments 3D dans des designs 2D tels que ceux utilisés pour créer des infographies, des affiches, des logos ou même des sites web peut être difficile à maîtriser, et nécessite souvent d’apprendre de nouveaux workflows ou compétences techniques.

Project Neo permet de créer du contenu 2D à l’aide de formes 3D sans devoir se former aux méthodes et outils de création 3D traditionnels. Cette technologie s’appuie sur les meilleurs principes de la 3D pour faciliter et accélérer la création de formes 2D en perspective à un, deux ou trois points. Elle offre également la possibilité de collaborer avec les parties prenantes et de modifier les maquettes au niveau des vecteurs pour faire évoluer rapidement les projets.

Présenté par : Inigo Quilez est Principal Research Engineer chez Adobe. Son domaine de prédilection est l’animation 2D et 3D. Il a conçu des outils d’animation en réalité virtuelle, et ses travaux d’infographie ont été repris dans plusieurs superproductions animées et films VR.

Project Scene Change

La composition joue un rôle essentiel en cinématographie. Les cinéastes et les spécialistes de la création vidéo s’en servent pour construire leur récit, et elle est indispensable pour tenir le public en haleine tout au long de la projection.

Project Scene Change permet d’intégrer facilement dans une scène un plan et un sujet filmés séparément avec des trajectoires de caméra différentes, grâce à des mouvements de caméra synchronisés.

L’intelligence artificielle génère une représentation 3D de la scène en arrière-plan à partir d’une image préenregistrée comme si elle avait été filmée par une caméra mobile. Elle intègre ensuite le sujet filmé séparément à une nouvelle scène avec les ombres et les mouvements adéquats. Cette technologie, qui supprime les limites posées par les mouvements de caméra dans les vidéos existantes, permet de placer un sujet dans un nouvel environnement avec des mouvements de caméra réalistes.

Présenté par : Zhan Xu est Research Scientist pour Adobe Research. Il est spécialisé dans l’analyse des vidéos d’un point de vue 3D et dans l’introduction de commandes 3D dans le montage vidéo.

Project Primrose

De nos jours, les designers se servent souvent d’Adobe Illustrator pour tester de nouvelles créations. Imaginez qu’il soit possible de leur donner vie sous forme d’objets bien réels en un simple clic…

Avec Project Primrose, présenté dans le cadre d’Adobe MAX sous la forme d’une robe interactive, le rêve devient réalité : grâce à des textiles connectés souples et non-tissés, une surface entière peut afficher le contenu créé avec Adobe Firefly, Adobe After Effects, Adobe Stock et Adobe Illustrator. Les designers peuvent intégrer cette technologie aux vêtements, aux meubles et à d’autres surfaces pour offrir une infinité de styles. Il devient ainsi possible de télécharger et de porter le dernier modèle de son créateur préféré.

Présenté par : Christine Dierk est Research Scientist chez Adobe. Elle est spécialisée dans les interactions humain-machine et les projets de recherche sur le matériel informatique.

Project Glyph Ease

La création de flyers et d’affiches nécessite souvent de créer manuellement chaque lettre pour conserver un style cohérent. Selon le design concerné et la forme des éléments de chaque caractère, cette tâche peut prendre énormément de temps.

Project Glyph Ease tire parti de l’IA générative pour créer des lettres stylisées et personnalisées au format vectoriel en vue de leur utilisation et de leur modification. Il suffit pour cela de créer trois lettres de référence dans le style choisi, à partir de formes vectorielles existantes ou dessinées sur papier. La technologie se charge ensuite de créer les lettres restantes dans le même style. Une fois créée, la nouvelle police peut être modifiée, les lettres s’affichant sous forme de texte dynamique qu’il est possible de redimensionner, de faire pivoter ou de déplacer dans le projet.

Présenté par : Difan Liu est Research Scientist chez Adobe. C’est un spécialiste des images, notamment vectorielles, et du montage vidéo.

Project Poseable

La conception de prototypes et de storyboards peut prendre des heures, car chaque scène doit être minutieusement ajustée.

Avec Project Poseable, la création de prototypes et storyboards 3D est désormais à la portée de quiconque et ce, en quelques minutes seulement grâce à l’IA générative.

Fini le temps perdu à modifier le moindre détail d’une scène, que ce soit l’arrière-plan, les angles, les poses de chaque personnage ou les interactions de l’un d’entre eux avec les objets environnants. Il suffit de puiser dans des modèles de pose optimisés par l’IA et d’utiliser des générateurs d’images pour restituer des scènes de personnages 3D.

Présenté par : Yi Zhou est Research Scientist chez Adobe. Ses projets portent sur les avatars virtuels autonomes. Elle travaille principalement sur l’apprentissage de la représentation par les modèles 3D, la reconstitution des cheveux, des poils et du corps humains, la synthèse des mouvements humains et l’animation 3D.

Project Res Up

Vous avez probablement déjà vu des vidéos basse résolution floues. Le problème tient souvent au fait qu’elles n’ont pas été mises à l’échelle pour s’afficher correctement sur un appareil à grand écran, ou qu’elles ont été créées dans une définition standard et sont visionnées sur un écran HD.

C’est dans ce type de situation que Project Res Up peut être utile. Cet outil d’agrandissement fait appel à une technologie basée sur la diffusion et l’intelligence artificielle pour convertir les vidéos basse résolution en haute résolution. Les utilisateurs peuvent convertir directement leur vidéo, ou bien zoomer et la recadrer avant de la convertir en pleine résolution en bénéficiant de détails visuels extrêmement fidèles et d’une parfaite cohérence temporelle. Cette technologie est idéale pour redonner vie aux contenus anciens ou pour préserver la netteté lors du visionnage de versions mises à l’échelle sur un écran HD.

Présenté par : Research Scientist chez Adobe, Yang Zhou travaille sur la génération de vidéos basée sur le Deep Learning et les humains numériques.

Project Dub Dub Dub

Face à l’essor de l’économie numérique, la demande de contenu vidéo augmente partout dans le monde. Bon nombre de spécialistes de la création souhaitent toucher de nouveaux publics en mettant leurs vidéos et podcasts à la disposition de tous, quel que soit le pays ou la langue.

Project Dub Dub Dub utilise l’IA générative pour doubler automatiquement les vidéos et les clips audio dans plus de 70 langues et 140 dialectes. Reposant sur la traduction vocale instantanée, cette technologie traduit et s’adapte automatiquement à la voix, au ton, à la cadence et à l’acoustique des personnes qui parlent, que la vidéo ou le clip audio soit nouveau ou tiré d’archives. Un processus traditionnellement laborieux et coûteux se résume désormais à une tâche pouvant être expédiée en quelques minutes, puisqu’il suffit d’un simple clic pour doubler automatiquement le contenu.

Présenté par : Zeyu Jin est Senior Research Scientist chez Adobe Research. Ses travaux portent sur les générateurs évolués offrant des fonctions d’optimisation de la parole, d’évaluation de la qualité de parole et de génération vocale personnalisée dignes d’un studio.

Project Stardust

Vous est-il déjà arrivé de prendre une photo ou de créer du contenu avec Adobe Firefly, puis de vouloir modifier rapidement des objets précis sur l’image obtenue ?

Avec Project Stardust, l’intelligence artificielle et l’IA générative révolutionnent purement et simplement la retouche d’images. Cette technologie automatise les aspects les plus chronophages du processus : remplissage des arrière-plans, découpage des contours pour la sélection, mélange de couleurs et d’éclairages, etc. Elle permet en outre d’ajouter des objets et de réaliser des transformations créatives. Avec Project Stardust, la retouche gagne en intuitivité, en accessibilité et en efficacité, quel que soit votre niveau de compétences.

Présenté par : Product Manager chez Adobe, Aya Philémon a pour ambition d’aider les autres à tirer le meilleur parti de leur créativité. Ses projets de recherche s’inspirent aussi bien de son expérience professionnelle que de son vécu personnel.

Project See Through

En photographie, les reflets sur les lunettes sont un désagrément bien connu, qui dissimule le sujet ou détourne l’attention de la personne qui regarde le cliché, et rend souvent l’image inexploitable.

Alors qu’il était jusqu’à présent difficile, voire impossible de supprimer les reflets, Project See Through permet aujourd’hui de le faire de manière simple grâce à l’intelligence artificielle. Les reflets sont automatiquement supprimés, et peuvent être enregistrés dans des images distinctes pour retouche. Vous pouvez ainsi mieux contrôler quand et comment les reflets apparaissent dans vos photos.

Présenté par : Eric Kee est Research Scientist chez Adobe. Ses centres d’intérêt scientifiques sont au croisement de la vision artificielle, de la photographie computationnelle, du Machine Learning et de la perception visuelle.