MAX Sneaks: Ein Blick auf neue generative KI-Funktionen für Foto, Video, Audio, 3D und Design

Wir treten in eine neue Ära der Kreativität ein, in der generative KI den Zugang zu leistungsstarken neuen Workflows erweitert und unsere Möglichkeiten zur Umsetzung fantasievollster Ideen neu definiert. Adobes Sneaks bieten einen kleinen Einblick in die Zukunft. Bei der diesjährigen MAX Sneaks-Session – moderiert von Schauspieler und Komiker Adam DeVine – präsentierten Adobe-Forscher*innen und -Ingenieure*innen zahlreiche innovative, experimentelle Technologien, die eines Tages in Adobe-Produkte integriert werden könnten.

In diesem Jahr beinhalten viele der MAX-Sneaks generative KI, um Kreativen weltweit neue Tools für verschiedene Medien wie Foto, Video, Audio, 3D und Design zur Verfügung zu stellen.

Schaut euch die gesamte Sneaks-Session an und erfahrt im Folgenden mehr über die diesjährigen Finalist*innen.

Project Fast Fill

Mit diesem Tool könnt ihr Objekte entfernen oder Hintergrundelemente in Videos mit der gleichen Leichtigkeit, Qualität und Fluidität wie bei der Bearbeitung von statischen Bildern ändern.

Project Fast Fill nutzt die Funktion Generative Füllung, um generative KI-Technologie in Anwendungen zur Videobearbeitung zu integrieren. So könnt ihr Texturen in Videos mit einfachen Prompts ersetzen, selbst bei komplexen Oberflächen und unterschiedlichen Lichtverhältnissen. Mit diesem Werkzeug lässt sich ein Objekt in einem einzelnen Frame bearbeiten und anschließend werden die Änderungen automatisch auf die übrigen Frames des Videos übertragen – eine große Zeitersparnis in der Bearbeitung von Texturen.

Der Entwickler: Gabriel Huang ist Forschungsingenieur bei Adobe mit Schwerpunkt Video. Er hat zu bahnbrechenden Technologien beigetragen, die die Bearbeitung von Videoeffekten revolutionieren, indem sie sie leichter und besser zugänglich machen.

Project Draw & Delight

Seid ihr bei der Umsetzung einer Idee schon mal ins Stocken geraten oder brauchtet Hilfe, um den kreativen Prozess in Gang zu bringen?

Mit Projekt Draw & Delight könnt ihr generative KI nutzen, um anfängliche Ideen – oft in Form von groben Kritzeleien – in ausgearbeitete und detaillierte Skizzen zu verwandeln.

Diese Technologie geht über Text zu Bild hinaus, indem sie den Nutzer*innen die Möglichkeit bietet, textbasierte Anweisungen mit visuellen Hinweisen wie groben Skizzen und Pinselstrichen zu ergänzen. Draw & Delight nutzt anschließend die Leistungsfähigkeit von Adobe Firefly, um hochwertige Vektoren von Illustrationen oder Animationen in verschiedenen Farbpaletten, Stilvarianten, Posen und Hintergründen zu erzeugen.

Der Entwickler: Souymodip Chakraborty ist ein Informatiker bei Adobe. Seine Interessen liegen in den Bereichen Computergrafik und Geometrieverarbeitung.

Project Neo

Die Einbindung von 3D-Elementen in 2D-Designs (Infografiken, Poster, Logos oder sogar Websites) kann eine echte Herausforderung sein, für die Designer*innen häufig neue Arbeitsabläufe oder technischen Fähigkeiten erlernen müssen.

Projekt Neo ermöglicht es euch, 2D-Inhalte mit 3D-Formen zu erstellen, ohne dass ihr traditionelle 3D-Erstellungswerkzeuge und -methoden erlernen müsst. Diese Technologie nutzt die besten 3D-Prinzipien, damit lassen sich 2D-Formen mit Ein-, Zwei- oder Drei-Punkt-Perspektiven einfach und schnell erstellen. Nutzer*innen können auch mit ihren Stakeholder*innen zusammenarbeiten und Änderungen an Mockups auf Vektorebene vornehmen, damit sie schnell Änderungen an Projekten vornehmen können.

Der Entwickler: Inigo Quilez ist ein leitender Forschungsingenieur bei Adobe, der sich auf 2D- und 3D-Animation konzentriert. Er ist der Erfinder von VR-Animationstools und hat mit seiner Computergrafikarbeit in mehreren animierten Blockbustern und VR-Filmen mitgewirkt.

Project Scene Change
Die Komposition ist ein wesentlicher Bestandteil der Kinematografie: Sie ermöglicht es Filmemacher*innen und Videoproduzent*innen, eine Erzählung zu entwickeln und ist von entscheidender Bedeutung, um die Zuschauer*innen an die Geschichte zu binden, die sich auf dem Bildschirm abspielt.

Projekt Scene Change ermöglicht es euch, ein Motiv und eine Szene aus zwei separaten Videos – die mit unterschiedlichen Kamerabewegungen aufgenommen wurden – ganz einfach zu einer Szene mit synchronisierter Kamerabewegung zusammenzusetzen.

Die künstliche Intelligenz rendert eine 3D-Darstellung der Hintergrundszene aus einem voraufgezeichneten Bild, als ob es von einer frei beweglichen Kamera aufgenommen worden wäre und fügt dann das separat gefilmte Motiv mit den richtigen Schatten zu einer neuen Szene mit kompatibler Bewegung zusammen. Auf diese Weise werden alle Einschränkungen aufgrund der Kamerabewegung vorhandener Videomaterialien beseitigt und ihr könnt ein Motiv in einer neuen Umgebung mit realistischer Kamerabewegung platzieren.

Der Entwickler: Zhan Xu ist wissenschaftlicher Mitarbeiter bei Adobe Research. Er konzentriert sich darauf, Videos aus einer 3D-Perspektive zu verstehen und 3D-Steuerungen in die Videobearbeitung einzuführen.

Project Primrose

Viele Kreative verwenden heute Adobe Illustrator, um neue Designs zu testen. Wäre es nicht toll, wenn ihr diese Entwürfe mit nur einem Mausklick in realen Objekten zum Leben erwecken könntet?

Das Projekt Primrose, das auf der MAX als interaktives Kleid ausgestellt wurde, macht dies mit tragbaren und flexiblen, nicht reflektierenden Textilien möglich, die es erlauben, Inhalte, die mit Adobe Firefly, Adobe After Effects, Adobe Stock und Adobe Illustrator erstellt wurden, auf einer ganzen Fläche darzustellen. Designer*innen können diese Technologie in Kleidungsstücke, Möbel und andere Oberflächen einbauen, um unendlich viele Gestaltungsmöglichkeiten zu erschließen – zum Beispiel den neuesten Look der/des Lieblingsdesigner*in herunterzuladen und zu tragen.

Die Entwicklerin: Christine Dierk ist Forschungswissenschaftlerin bei Adobe und spezialisiert auf die Interaktion zwischen Mensch und Computer sowie auf Forschungsinitiativen im Bereich Hardware.

Project Glyph Ease

Bei der Erstellung von Flyern oder Postern müssen Designer*innen häufig jeden einzelnen Buchstaben manuell erstellen, um einen einheitlichen Stil zu gewährleisten. Dies kann je nach spezifischem Design und der Form der Elemente jedes Buchstaben sehr viel Zeit in Anspruch nehmen.

Projekt Glyph Ease verwendet generative KI, um stilisierte und individuelle Buchstaben im Vektorformat zu erstellen, die später verwendet und bearbeitet werden können. Dafür müsst ihr lediglich drei Referenzbuchstaben in einem gewählten Stil aus vorhandenen Vektorformen oder von Hand auf Papier gezeichneten Buchstaben erstellen und diese Technologie generiert automatisch die restlichen Buchstaben in einem einheitlichen Stil. Nach der Erstellung lässt sich die neue Schrift flexibel bearbeiten, da die Buchstaben als Live-Text erscheinen, der im Projekt skaliert, gedreht oder verschoben werden kann.

Der Entwickler: Difan Liu ist wissenschaftlicher Mitarbeiter bei Adobe, wo er sich auf die Bearbeitung von Bildern, Vektorgrafiken und Videos konzentriert.

Project Poseable

Das Entwerfen von Prototypen und Storyboards kann Stunden dauern und erfordert von den Entwickler*innen mühsame Bearbeitungen für jedes Detail in jeder Szene.

Mit Projekt Poseable könnt ihr in wenigen Minuten 3D-Prototypen und Storyboards mit generativer KI entwerfen.

Anstatt Zeit mit der Bearbeitung der Details einer Szene zu verbringen – dem Hintergrund, den verschiedenen Winkeln und Posen einzelner Charaktere oder der Art und Weise, wie der Charakter mit den sie/ihn umgebenden Objekten in der Szene interagiert – könnt ihr auf KI-basierte Charakterposenmodelle zurückgreifen und Bildgenerierungsmodelle verwenden, um 3D-Charakterszenen einfach zu rendern.

Die Entwicklerin: Yi Zhou ist wissenschaftliche Mitarbeiterin bei Adobe. Ihre Forschung konzentriert sich auf autonome virtuelle Avatare. Sie arbeitet hauptsächlich an dem Erlernen von Repräsentationsformen für 3D-Modelle, der Rekonstruktion menschlicher Haare und Körper, der menschlichen Bewegungssynthese und 3D-Animation.

Project Res Up

Wahrscheinlich seid ihr auch schon einmal auf verschwommene Videos mit niedriger Auflösung gestoßen. Eventuell wurden sie nicht hochskaliert, um auf einem größeren Bildschirm gut auszusehen, oder das Video wurde ursprünglich für SD erstellt, wird aber jetzt auf einem HD-Bildschirm abgespielt.

Projekt Res Up kann helfen: Dabei handelt es sich um ein Video-Upscaling-Tool, das diffusionsbasierte Technologie und künstliche Intelligenz verwendet, um Videos mit niedriger Auflösung in hochauflösende Videos für Anwendungen umzuwandeln. Ihr könnt Videos mit niedriger Auflösung direkt hochskalieren, zoomen und zuschneiden und sie mit hoher Detailtreue und zeitlicher Konsistenz auf die volle Auflösung anpassen. Mit diesem Tool könnt ihr älteren Videos neues Leben einhauchen oder ihr könnt verhindern, dass Videos bei der Wiedergabe skalierter Versionen auf HD-Bildschirmen verschwimmen.

Der Entwickler: Yang Zhou ist Forscher bei Adobe und arbeitet an Deep Learning-basierter Videogenerierung und digitalen Menschen.

Project Dub Dub Dub

Mit dem Wachstum der digitalen Wirtschaft wächst auch die Notwendigkeit, Videoinhalte auf globaler Ebene bereitzustellen. Immer mehr Urheber*innen haben den Wunsch, neue Zielgruppen zu erreichen, indem sie ihre Videos und Podcasts, unabhängig von ihrem Standort oder ihrer Sprache, für jeden zugänglich machen.

Das Projekt Dub Dub Dub nutzt generative KI, um Videos oder Audioclips in mehr als 70 Sprachen und über 140 Dialekten automatisch zu synchronisieren. Es nutzt die Sprache-zu-Sprache-Übersetzung, um die Stimme der Sprecher*innen, den Tonfall, die Kadenz und die Akustik des Originalvideos automatisch zu übersetzen und anzupassen. Und das unabhängig davon, ob es sich um ein brandneues Video oder einen Audioclip aus dem Videoarchiv der Nutzer*innen handelt. Ihr müsst lediglich eine Taste drücken, um Inhalte automatisch zu synchronisieren, sodass dieser in der Vergangenheit arbeits- und kostenintensive Prozess in wenigen Minuten abgeschlossen werden kann.

Der Entwickler: Zeyu Jin ist Senior Research Scientist bei Adobe Research. Seine Forschung basiert auf tiefgreifenden generativen Modellen zur Verbesserung der Sprachqualität in Studioqualität, zur Bewertung der Sprachqualität und zur personalisierten Stimmerzeugung.

Project Stardust

Habt ihr schon einmal ein Foto gemacht oder Inhalte mit Adobe Firefly erstellt und wolltet schnell bestimmte Objekte im Bild verändern?

Project Stardust ist ein objektorientiertes Bearbeitungsprogramm, das künstliche Intelligenz und generative KI nutzt, um die Bildbearbeitung zu revolutionieren. Diese Technologie automatisiert die teils zeitaufwendigen Schritte des Bildbearbeitungsprozesses – das Ausfüllen von Hintergründen, das Ausschneiden von Umrissen für die Auswahl, das Angleichen von Beleuchtung und Farbe und vieles mehr. Darüber hinaus könnt ihr mit den generativen KI-Funktionen Objekte hinzufügen und kreative Transformationen vornehmen. Stardust macht die Bildbearbeitung intuitiver, verständlicher und effizienter, unabhängig von eurem Kenntnisstand.

Die Entwicklerin: Aya Philémon ist Produktmanagerin bei Adobe und möchte Kreativen ermöglichen, ihr Potenzial voll auszuschöpfen. Ihre Forschungsprojekte sind sowohl von ihren beruflichen als auch von ihren persönlichen Lebenserfahrungen inspiriert.

Project See Through

Beim Fotografieren können Glasreflexionen lästig sein. Spiegelungen können das Bildmotiv verdecken oder davon ablenken und machen Fotos oft völlig unbrauchbar.

Heutzutage ist es schwierig oder fast unmöglich, Spiegelungen manuell zu entfernen. Projekt See Through vereinfacht die Beseitigung von Spiegelungen durch den Einsatz künstlicher Intelligenz. Die Spiegelungen werden automatisch entfernt und optional als separate Bilder zu Bearbeitungszwecken gespeichert. So habt ihr mehr Kontrolle darüber, wann und wie die Spiegelungen auf euren Fotos erscheinen.

Der Entwickler: Eric Kee ist wissenschaftlicher Mitarbeiter bei Adobe. Seine Forschungsinteressen liegen an der Schnittstelle von Computer Vision, Computational Photography, maschinellem Lernen und visueller Wahrnehmung.