Adobe stellt neues KI-gestütztes Audio-Tool vor, das Sprachverarbeitung und Videoerstellung revolutionieren soll

Schlechte Audioqualität ist eine ständige Herausforderung für Videoproduzent*innen. Sowohl Hobby- als auch Profifilmer*innen müssen sich mit Audioproblemen herumschlagen, die durch Windeinflüsse, suboptimale Mikrofonpositionen, Publikumslärm und andere Störgeräusche verursacht werden und Videos unbrauchbar machen können. Während diese Probleme in der Vergangenheit nicht einfach zu beheben waren, eröffnen Fortschritte in der KI-Entwicklung neue Möglichkeiten die Audioverarbeitung zu revolutionieren und die Erstellung hochwertiger Videos für alle einfacher zu machen.

Adobe hat heute Project Sound Lift vorgestellt, eine KI-gestützte Technologie, die Sprachaufnahmen eines Videos in verschiedene Spuren – Stimmen, Nicht-Sprachgeräusche und andere Hintergrundgeräusche – trennt. Project Sound Lift ist eine One-Click-Lösung, die Anwender*innen hilft, Audioaufnahmen in einer Reihe von Szenarien mühelos zu bearbeiten, indem sie KI dazu nutzt, Sprache und Ton unabhängig voneinander zu optimieren, zu transformieren und zu kontrollieren. In Project Sound Lift integriert ist Adobes „Sprache verbessern“-Technologie, die bereits in Adobe-Anwendungen wie Premiere Pro verfügbar ist und die die Art und Weise, wie Kreative Audioinhalte in Studioqualität produzieren und steuern, weiter verbessern soll.

Das von den Sprach-KI-Forscher*innen bei Adobe Research entwickelte Project Sound Lift wurde heute auf der MAX in Japan im Rahmen der Adobe Sneaks vorgestellt. In der Sneaks Session geben Adobe-Ingenieur*innen und -Forscher*innen Einblicke in Prototyp-Ideen und -Technologien, die das Potenzial haben, zukünftig wichtige Bestandteile der Adobe-Produkte zu werden, denen Millionen von Nutzer*innen weltweit vertrauen.

Frühere KI-Audiomodelle erfordern oft saubere, eindeutige Eingangsgeräusche – z. B. einzelne Sprecher*innen oder ein einzelnes Schallereignis ohne Hintergrundgeräusche oder Echos – während Aufnahmen aus der realen Welt diese Bedingungen selten erfüllen. Diese können Rauschen, Hall, mehrere Sprecher*innen und andere Schallereignisse enthalten, die sich oft nicht kontrollieren lassen. Diese Tatsache hat die Anwendung von Audio-KI bei alltäglichen Aufnahmen eingeschränkt und es für Laien erschwert, die oft komplexen Audiotools zu nutzen.

Project Sound Lift kann jetzt eine breite Palette von Audio-Ereignissen aus dem täglichen Leben erkennen und verwalten, einschließlich der Aufteilung von Sprache, Applaus, Lachen, Alarmen, Menschenmengen und verschiedenen anderen Umgebungsgeräuschen in verschiedene Spuren. Jede Spur kann individuell gesteuert werden, um den Gesamteindruck und die Qualität des Klangs zu maximieren.

Hier könnt ihr euch einige Beispiele für Project Sound Lift in Aktion ansehen:

Project Sound Lift kann sich überschneidende Töne in einem Video trennen, um die wichtigste Spur hervorzuheben. In diesen Beispielen werden die Einführungsstimme und die Keynote von Adobe-CEO Shantanu Narayen von der Hintergrundmusik isoliert, und die Stimme von Adobe Creative Cloud-Evangelist Paul Trani wird von den Applausgeräuschen getrennt – alles mit nur einem einzigen Klick.

Project Sound Lift kann mehrere Sprachspuren gleichzeitig erkennen und sie von Hintergrundgeräuschen isolieren. Dies kann bei der Aufnahme von Filmmaterial auf einer öffentlichen Veranstaltung – in diesem Fall auf der Fläche einer belebten Konferenz wie der Adobe MAX – unglaublich nützlich sein. Indem die Lautstärke der Hintergrundgeräusche separat reduziert wird, kann die Stimme des Sprechers vor der Kamera klar gehört werden.

Project Sound Lift kann nicht nur die Audioqualität verbessern: Es kann auch eine kreative Leinwand für Spaß und Inspiration bieten. In diesem Beispiel wird die Tonspur des Sprechers von den Straßengeräuschen im Hintergrund getrennt und mit einer Stimmmodulationstechnik in einen skurrilen roboterähnlichen Klang verwandelt.

Dieser „Sneak Peek“ von Project Sound Lift bietet spannende Beispiele dafür, wie Innovation eine neue Ära der Kreativität einleitet, in der KI den Zugang zu leistungsstarken neuen Workflows ermöglicht und unsere fantasievollsten Ideen freisetzt. Mehr über andere Adobe Sneaks von der MAX 2023 erfahrt ihr hier.