Adobe présente des outils d'IA générative avant-gardistes dédiés à la création et l'édition de contenus audio personnalisés

Crédit image : Adobe Stock/ _veiksme_.

De nouveaux projets expérimentaux menés par les équipes Adobe Research pourraient changer la façon dont les gens créent et éditent des sons et de la musique. Project Music GenAI Control est un outil d'IA générative qui permet de générer et d'éditer de la musique. Le projet est encore aux premiers stades de développement. Ce projet permet aux créateurs de générer de la musique à partir de prompts, puis de contrôler minutieusement l'édition de ces sons en fonction de leurs besoins précis.

"Avec Project Music GenAI Control, l'IA générative se positionne comme cocréateur. Elle aide les artistes à créer de la musique pour leurs projets, qu'il s'agisse de diffuseurs, des spécialistes du podcast ou de toute autre personne ayant besoin d'un son dont l'ambiance, le ton et la durée sont parfaitement adaptés", explique Nicholas Bryan, Senior Research Scientist chez Adobe Research et l'un des créateurs de ces technologies.

Depuis plus d’une décennie, Adobe s'illustre en matière d'innovation dans le domaine de l'IA, dernièrement Firefly, la famille de modèles d'IA générative d'Adobe, est devenu le modèle de génération d'images par IA le plus populaire, conçu pour une utilisation commerciale sûre, en un temps record. À ce jour, Firefly a été utilisé pour générer plus de 6 milliards d'images. Adobe s'engage à veiller à ce que sa technologie soit développée dans le respect de ses principes éthiques en matière d'IA, de traçabilité, responsabilité et transparence. Tous les contenus générés avec Firefly intègrent automatiquement des Content Credentials, " labels de provenance" pour le contenu numérique qui restent associés au contenu quel que soit l'endroit où il est utilisé, publié ou enregistré.

Les nouveaux outils associent un prompt et un modèle d'IA générative, procédé déjà utilisé par Adobe dans Firefly. L'utilisateur saisit un texte, tel que "rock puissant", "danse joyeuse" ou "jazz triste", pour générer de la musique. Une fois que les outils ont généré la musique, les différentes possibilités d’édition sont directement intégrées dans le workflow.

Grâce à une interface utilisateur simple, les créateurs pourraient transformer le son généré sur la base d'une mélodie de référence, ajuster le tempo, la structure et les sons répétitifs d'un morceau de musique, choisir quand augmenter ou diminuer l'intensité du son, allonger la durée d'un clip, remixer une section ou générer une boucle.

Au lieu de couper manuellement la musique existante pour créer des intros, des outros et des fonds sonores, Project Music GenAI Control pourrait aider les utilisateurs à créer exactement les morceaux dont ils ont besoin, ce qui pourrait résoudre les problèmes de workflow dans leur globalité.

"L'un des aspects les plus intéressants de ces nouveaux outils est qu'ils ne se contentent pas de générer du son, ils apportent aux créateurs le même niveau d’édition que dans Photoshop et permettent de façonner et de peaufiner leurs sons. C'est l’équivalent d’une maîtrise au pixel près pour la musique", explique Nicholas Bryan.

Project Music GenAI Control est développé en collaboration avec des équipes de l’Université de Californie à San Diego (Zachary Novack, Julian McAuley, Taylor Berg-Kirkpatrick), et de la Carnegie Mellon School of Computer Science (Shih-Lun Wu, Chris Donahue, Shinji Watanabe).

Vous voulez en savoir plus sur les activités des équipes Adobe Research ? Cliquez ici.