Adobe MAX Sneaks: So sieht die Zukunft der Kreativität aus

Die Sneaks sind jedes Jahr wieder einer der Höhepunkte der Adobe MAX. Wann sonst habt ihr die Gelegenheit, einmal Mäuschen zu spielen und euch anzuschauen, an welchen Projekten unsere Produktentwickler*innen gerade tüfteln. Im Zentrum stehen dieses Mal die vielfältigen Möglichkeiten, die KI euch für kreative Projekte wie immersive 3D-Umgebungen oder animierte Social Media Videos gibt. Und auch unser diesjähriger Moderator, Comedian und Schauspieler Kevin Hart, ist für sich genommen ein Highlight in einer Reihe Höhepunkte.

Wir stellen euch hier eine handliche Auswahl der Sneaks vor. Alle Details bekommt ihr, wenn ihr euch in den Stream einwählt oder die Videos nach der Adobe MAX hier on Demand schaut .

Projekt Clever Composites

Stellt euch vor, ihr vor dem Eiffelturm, genießt den Moment – und vergesst in eurer Begeisterung, euch vor dem weltberühmten Wahrzeichen fotografieren zu lassen. Natürlich ist es längst möglich – und üblich! – Personen in Bilder einzufügen. Doch damit das Ergebnis authentisch und nicht nach „Photoshop Philipp“ aussieht, braucht es eine ganze Reihe manueller Bearbeitungsschritte. Das passende Bild muss her, Objekte müssen präzise ausgeschnitten und Farbe, Farbton und Maßstab angepasst werden. Das kostet Zeit. Und Geduld. Geht das nicht auch einfacher?

Auftritt Projekt „Clever Composites“: Lagert die kleinteiligen Arbeitsschritte an den Kollegen KI aus und lehnt euch zurück – viel mehr als Drag & Drop müsst ihr gar nicht machen. Sucht euch einfach euer Hintergrundmotiv aus, lasst die KI ermitteln, welches Foto von euch am besten vor den gewünschten Hintergrund passt und los geht‘s. Die präzise Objektauswahl sowie Farb- und Größenanpassungen und realistische Schattenwürfe laufen automatisiert ab – und schon steht ihr vor dem Eifelturm. Als wärt ihr tatsächlich dort gewesen.

Projektentwickler: Zhifei Zhang ist Forschungsingenieur bei Adobe mit Fokus auf Bildbearbeitung, Compositing und Darstellung.

Projekt Instant Add

Ihr steckt mitten in der Postproduktionsphase und plötzlich fällt euch auf: das Logo fehlt! Vielleicht kommt aber auch euer Kunde spontan mit Änderungswünschen um die Ecke?

Kein Problem! Mit Projekt Instant Add könnt ihr Videos wie Bilder bearbeiten – KI und maschinelles Lernen machen‘s möglich. Wählt dafür den gewünschten Frame oder die Texture Map eures Videos ihr um Text oder Bilder ergänzen wollt und schon werden die Änderungen automatisch auf das gesamte Video übertragen und selbiges gerendert.

Projektentwickler: Joon-Young Lee ist Senior Research Scientist bei Adobe. Seine Forschungsinteressen liegen an der Schnittstelle von Computer Vision, maschinellem Lernen und Computergrafik, insbesondere KI/ML-basiertes Videoediting.

Projekt Magnetic Type

Das perfekte Verhältnis von Text- zu Grafikelementen auszutüfteln, beispielsweise um ein eingängiges Logo zu gestalten, ist gar nicht so einfach und erfordert eine ganze Reihe manueller Justierungen – selbst für echte Profis.

Wie wäre es stattdessen, wenn sich die Formen der Grafikelemente automatisch um den Schriftzug schmiegen? Das haben wir uns auch gedacht und Projekt Magnetic Type gestartet. Mithilfe unserer KI könnt ihr jede beliebige Form – sogar handgezeichnete Kalligrafie – über euren Schriftzug legen und beide Elemente miteinander verschmelzen. Der Clou: Ihr könnt euren Text weiterhin bearbeiten. Möglich machen das Objekterkennungsmodelle, die den Schwung selbst kalligrafischer Elemente abtasten und optimal um das Textfeld legen. Maximal kreatives Austoben bei minimalem Aufwand? Na logo!

Projektentwicklerin: Arushi Jain ist Informatikerin bei Adobe und liebt Typographie-Funktionen – insbesondere Schriften, Glyphen und Vektor-Snapping.

Projekt Vector Edge

Es ist aber auch vertrackt! Ihr habt eine tolle Idee für ein Design aber keine rechte Vorstellung davon, wie euer 2D-Entwurf in der Realität aussehen wird. Damit seid ihr nicht allein, Designer*innen haben oft Schwierigkeiten sich vorzustellen, wie ihre Entwürfe auf Plakatwänden, T-Shirts oder Kaffeetassen wirken.

Projekt Vector Edge ermöglicht es euch, eure 2D-Entwürfe während des Designprozesses in 3D-Umgebungen zu visualisieren und gemeinsam zu bearbeiten. Dafür projizieren KI- und Vektorgrafik-Projektionstechnologien 2D-Design-Assets automatisch maßstabsgetreu und in hoher Auflösung auf Oberflächen in 3D-Umgebungen.

Projektentwickler: Ankit Phogat ist Senior Computer Scientist bei Adobe. Er arbeitet an verschiedenen Technologien wie Freeform Gradients, Puppet Warp und 3D.

Projekt Motion Mix

Social Media Feeds sind aufmerksamkeitsökonomisch brutal: Innerhalb eines Sekundenbruchteils entscheiden wir, ob wir ein Video schauen oder weiter scrollen. Wie wäre es mit einem professionellen Tanzvideo als Eye Catcher? Achso? Ihr könnt gar nicht tanzen? Egal!

Das übernimmt Projekt Motion Mix für euch. Alles, was ihr braucht, ist ein Foto von euch. Loops zu erstellen ist zeitintensiv und kleinteilig, weil jede einzelne Bewegung aufgenommen werden muss, bevor ihr sie zur Animation hinzufügen könnt. Projekt Motion Mix setzt auf KI-basierte Bewegungsgenerierung und menschliche Rendering-Technologien, um realistische 3D-Bewegungen für euer Video zu erstellen. Außerdem könnt ihr auch den Hintergrund euren Vorstellungen entsprechend anpassen, etwa indem ihr eure Freund*innen zu eurer Animation hinzufügt.

Projektentwickler: Jae Shin Yoon ist Research Scientist bei Adobe. Er löst das Problem qualitativ hochwertiger Rekonstruktionen und Übertragungen von digitalisierten Menschen in einem vertretbaren Zeitraum, indem er Menschen mit Hilfe von Computer Vision, Grafik und maschinellem Lernen aus einer einzigen Kamera modelliert, rendert und anpasst.

Projekt Blink

Wenn das Leben doch nur aus Highlights bestehen würde – wie im Film wäre das. Doch Moment! Auch in Videoclips wünscht man sich doch zuweilen, einfach zu den besten Stellen springen zu können oder eine Sequenz zu erstellen, die sich besser teilen lässt.

Die KI hinter Projekt Blink identifiziert Highlights in euren Videoclips und ermöglicht es auch, diese schnell herauszuziehen. Im Grunde funktioniert das, als würdet ihr eine Textdatei bearbeiten. Um Clips eure Clips zu generieren, könnt ihr nach bestimmten Wörtern, Objekten, Geräuschen oder Arten von Aktivitäten suchen und den Teil des Transkripts auswählen, den ihr verwenden wollt – schon wandelt Projekt Blink den entsprechenden Abschnitt automatisch in einen neuen Clip um.

Das Beste ist: Ihr könnt Projekt Blink direkt austesten. Meldet euch hier für die Beta-Version an.

Projektentwicklerin: Mira Dontcheva ist Principal Scientist und Research Manager bei Adobe und leitet die Forschung im Bereich Human Computer Interaction (HCI). Ihre Forschung konzentriert sich auf die Entwicklung neuer Tools, die kreative Aufgaben einfacher, unterhaltsamer und für ein breiteres Publikum zugänglich machen.

Projekt Artistic Scenes

Das Metaverse eröffnet in puncto 3D-Inhalte und immersiver Erlebnisse völlig neue Möglichkeiten. Bis dato braucht ihr dafür jedoch eine Menge Fachwissen – und Zeit.

Project Artistic Scenes nutzt KI, um 3D-Szenen unter Verwendung von Stilen aus 2D-Grafiken automatisch zu transformieren. Mit Project Artistic Scenes könnt ihr schnell und einfach 3D-Inhalte erstellen und jetzt schon in die Zukunft der Virtual-Reality- und Augmented-Reality-Erlebnisse durchstarten. Anders als herkömmliche Stiltechniken, die 2D-Bilder umwandeln, transformiert Project Artistic Scenes die gesamte 3D-Szene. So könnt ihr eine 3D-Szene in jeden beliebigen künstlerischen Stil verwandeln und ein künstlerisches 3D-Ergebnis erzielen. Stellt euch z.B. vor, ihr rendert einen Spielplatz im Stil eines Aquarells – einschließlich realistischer Details wie Pinselstriche.

Projektentwickler: Sai Bi ist ein Research Scientist bei Adobe. Seine Forschung konzentriert sich Computer-Grafiken und Computer Vision, 3D-Rekonstruktion, inverses Rendering und neuronales Rendering.

Projekt All of Me

Bilder zuschneiden ist das eine, Bilder größer machen jedoch eine völlig andere Kiste!

Egal ob ihr Modedesigns aktualisieren oder einen Flyer für die nächste Uniparty gestalten wollt – Projekt All of Me ermöglicht es euch, mit nur wenigen Klicks neue Inhalte zu erstellen und Bilder zu vergrößern. Dank KI-Unterstützung kann der intelligente Porträtfoto-Editor nicht zugeschnittene Komponenten von Fotos erstellen, unerwünschte Elemente beseitigen und sogar die Kleidung des Fotomodels zu ändern.

Projektentwicklerin: Qing Liu ist Researcher bei Adobe und beschäftigt sich mit Deep Learning-basiertem Bildverständnis und -erzeugung.

Projekt Beyond the Seen

Fotoalben anschauen weckt Erinnerungen. Doch wie wäre es, den Familienurlaub mit immersiven 360°-Erlebnisse noch einmal zu erleben? Oder komplexe neue Welten für das Metaverse zu entwickeln?

Mit Projekt Beyond the Seen erweitern wir die Grenzen der immersiven virtuellen Realität. Die KI-Technologien ermöglicht es, vollständige 360°-Panoramen aus einem einzigen Bild zu erstellen. Methoden zur Tiefenschätzung erlauben es, das Panoramabild zu erweitern und realistische und vollständig immersive 3D-Umgebungen zu schaffen. Ihr könnt außerdem schnell und einfach Objekte hinzufügen – die KI-Technologie kümmert sich darum, den Inhalt hinter, über, unter und seitlich des Bildes zu generieren.

Projektentwickler: Yannick Hold-Geoffroy ist Ingenieur und Research Scientist bei Adobe. Er hat über 40 wissenschaftliche Arbeiten und Patente in den Bereichen Bildanalyse und 3D-Rekonstruktion veröffentlicht, u.a. zur „Match Image“-Funktion in Adobe Stager. Außerdem hat er an den Neural Filtern in Photoshop mitgewirkt.

Projekt Made in the Shade

Peter Schlemihl verkaufte dereinst seinen Schatten – und musste feststellen, dass sich fortan alle vor ihm gruselten. Kein Wunder, Objekte ohne Schatten wirken unnatürlich. Doch einen realistischen Schatten für ein Objekt zu gestalten ist gar nicht so einfach.

Projekt Made in the Shade lässt deshalb die KI ran, um diese Komplexität zu reduzieren und euch die 3D-Bildbearbeitung zu vereinfachen. Die Technologie verarbeitet automatisch Parameter wie Tiefe, Beleuchtung und andere Aspekte einer Szene. Ihr könnt euch also nach Belieben entscheiden, euer Objekt im Bild zu verschieben – sein Schatten folgt auf dem Fuße.

Projektentwickler: Vojtěch Krs ist Research Scientist bei Adobe. Zu seinen Forschungs- und Entwicklungsschwerpunkten gehören kreative Werkzeuge, digitale Bildbearbeitung und 3D-Grafiken in Echtzeit.

So! Das war ganz schön viel Input von unserer Seite – jetzt seid ihr dran! Verratet uns doch auf unserem Adobe MAX-Twitter-Kanal eure Highlights der Sneaks.