Adobe stellt neue generative KI-Tools für die Erstellung und Bearbeitung von Audio vor

Image credit: Adobe Stock/ _veiksme_.

Mit der neuen experimentellen Arbeit von Adobe Research soll sich die Art wie Menschen benutzerdefinierte Audios und Musik erstellen und bearbeiten jetzt verändern. Project Music GenAI Control ist ein generatives KI-Werkzeug für die Erstellung und Bearbeitung von Musik, das sich derzeit noch in der Anfangsphase befindet. Damit wird Kreativen ermöglicht, Musik anhand von Textanweisungen zu erstellen und anschließend die Audioinhalte nach ihren Wünschen zu bearbeiten.

„Mit Project Music GenAI Control wird generative KI zum Mitgestalter. Sie hilft Menschen, egal ob Broadcaster*innen oder Podcaster*innen, bei der Erstellung von Musik für ihre Projekte in der genau richtigen Stimmung, Ton oder Länge", sagt Nicholas Bryan, Senior Research Scientist bei Adobe Research und einer der Entwickler*innen dieser Technologie.

Adobe blickt auf eine jahrzehntelange Erfahrung im Bereich der KI-Innovationen zurück: Firefly, Adobes Familie generativer KI-Modelle, hat sich in Rekordzeit zum weltweit beliebtesten KI-Bildgenerierungsmodell für den sicheren kommerziellen Einsatz entwickelt. Mit Firefly wurden bis heute über 6 Milliarden Bilder generiert. Adobe setzt sich außerdem dafür ein, dass unsere Technologie im Einklang mit den KI-Ethikgrundsätzen, Rechenschaftspflicht, Verantwortung und Transparenz entwickelt wird. Alle mit Firefly generierten Inhalte enthalten automatisch Content Credentials – sogenannte „Nährwertkennzeichnungen", die mit den Inhalten verknüpft bleiben, wo immer sie verwendet, veröffentlicht oder gespeichert werden.

Die neuen Tools beginnen mit einem Prompt, der in ein generatives KI-Modell eingespeist wird – eine Methode, die Adobe bereits in Firefly verwendet. Nutzer*innen geben einen Prompt wie „powerful rock", „happy dance" oder „sad jazz" ein, um Musik zu generieren. Sobald die Werkzeuge Musik erzeugen, wird die Detailbearbeitung direkt in den Workflow integriert.

Mit einer einfachen Benutzeroberfläche können Nutzer*innen die generierten Audiodaten auf der Grundlage einer Referenzmelodie umwandeln, das Tempo, die Struktur und die sich wiederholenden Muster eines Musikstücks anpassen, die Intensität der Audiodaten erhöhen oder verringern, die Länge eines Clips verlängern, einen Abschnitt neu abmischen oder eine nahtlos wiederholbare Schleife erzeugen.

Anstatt vorhandene Musik manuell zu schneiden, um Intros, Outros und Hintergrund-Audio zu erstellen, könnte Project Music GenAI Control Nutzer*innen dabei unterstützen, genau die Stücke zu erstellen, die sie benötigen – um so die Probleme des Workflows von Anfang bis Ende zu lösen.

„Das Spannende an diesen neuen Tools ist, dass es hier nicht nur darum geht, Audio zu generieren, sondern dass die Tools sich auf der Ebene von Photoshop bewegen, indem sie Kreativen die gleiche Art von tiefgreifender Kontrolle geben, um ihr Audio zu formen, zu optimieren und zu bearbeiten. Es ist eine Art Kontrolle auf Pixelebene für Musik", erklärt Bryan.

Project Music GenAI Control wird in Zusammenarbeit mit Entwickler*innen an der University of California, San Diego (Zachary Novack, Julian McAuley, Taylor Berg-Kirkpatrick), und an der School of Computer Science, Carnegie Mellon University (Shih-Lun Wu, Chris Donahue, Shinji Watanabe) entwickelt.

Möchtet ihr wissen, was sonst noch in der Adobe-Forschung passiert? Hier findet ihr unsere aktuellen News.