Adobe présente en avant-première un nouvel outil audio optimisé par l'IA pour révolutionner le traitement de la voix et la création vidéo

La mauvaise qualité audio est un défi permanent pour les créateurs de vidéos : les cinéastes amateurs et professionnels doivent contourner les problèmes audios causés par les interférences du vent, le mauvais emplacement des microphones, le bruit de la foule et d'autres nuisances sonores, qui peuvent rendre les vidéos inutilisables. Bien que ce problème n'ait jamais été facile à résoudre, de nouvelles solutions voient le jour grâce aux avancées de l'IA et qui tendent à révolutionner le traitement audio et faciliter la création pour tout le monde.

Adobe dévoile Project Sound Lift, une technologie optimisée par l'IA qui sépare les enregistrements vocaux en pistes distinctes pour les voix, les sons non vocaux et les autres bruits de fond dans une vidéo. Project Sound Lift est une solution simple qui aide les utilisateurs à manipuler sans effort les enregistrements audios dans divers scénarii, en exploitant l'IA pour améliorer, transformer et contrôler indépendamment la parole et le son. La technologie Amélioration vocale d'Adobe, désormais disponible dans des applications telle que Premiere Pro, est intégrée à Project Sound Lift afin de transformer davantage la manière dont les créateurs produisent et contrôlent des contenus audios de qualité studio.

Développée par les chercheurs en intelligence vocale d'Adobe Research, Project Sound Lift a été annoncé à l’occasion d’Adobe MAX au Japon, dans le cadre des "Sneaks", où les ingénieurs et les chercheurs d'Adobe donnent un aperçu des prototypes et des technologies de demain. Chacun de ces “Sneaks” est susceptible de devenir un outil qui sera intégré aux solutions Adobe.

Alors que les modèles d'IA audio antérieurs nécessitent souvent des sons d'entrée propres et distincts (un seul locuteur ou un événement sonore sans bruit de fond ni écho), les enregistrements réels remplissent rarement ces conditions : ils peuvent contenir du bruit, de la réverbération, plusieurs locuteurs et d'autres événements sonores qui sont souvent impossible à contrôler. Cette limitation a empêché l'utilisation d’IA audio dans les enregistrements quotidiens et a rendu difficile l'usage d'outils audio souvent complexes pour les non-spécialistes.

Project Sound Lift peut désormais séparer et gérer un large éventail d'"événements" sonores issus de scénarii de la vie quotidienne, y compris la séparation en pistes distinctes de la parole, des applaudissements, des rires, des alarmes, des foules et de divers autres bruits ambiants. Chaque piste peut être contrôlée individuellement pour maximiser l'impact et la qualité sonore.

Découvrez quelques exemples de Project Sound Lift en action :

Project Sound Lift permet de séparer les sons qui se chevauchent dans une vidéo afin de mettre en valeur la piste la plus importante. Dans ces exemples, la voix de présentation et le discours du PDG d'Adobe, Shantanu Narayen, sont isolés de la musique de fond, et la voix de Paul Trani, évangéliste Adobe Creative Cloud, est séparée du bruit des applaudissements, le tout en un seul clic.

Project Sound Lift peut détecter plusieurs pistes vocales simultanément et les isoler du bruit de fond. Cela peut s'avérer extrêmement utile lors de la capture d'images dans le cadre d'un événement public, comme ici, lors d'un événement très fréquenté tel qu'Adobe MAX. En réduisant le volume du bruit de fond de manière indépendante, la voix de la personne filmée peut être clairement entendue.

Project Sound Lift peut aller au-delà de l'amélioration de la qualité audio : il peut également être une source de créativité et d'inspiration. Dans cet exemple, la piste audio de la personne filmée est séparée du bruit de fond émanant de la rue où une technique de modulation de la voix est appliquée, la transformant en un son fantaisiste ressemblant à celui d'un robot.

Project Sound Lift offre des exemples passionnants de la manière dont l'innovation ouvre une nouvelle ère de créativité, où l'IA élargit l'accès à de nouveaux workflows puissants et libère nos idées les plus incroyables. Pour en savoir plus sur les autres nouveautés Adobe de MAX 2023, cliquez ici.