autoRetouch - Der Weg zur vollständigen Automatisierung von Ghost Mannequin Effect (mit GANs)

autoRetouch ist eine Plattform, welche zur automatisierten Bildbearbeitung für die Modebranche beiträgt, bei der die Benutzer von den KI-Fähigkeiten der Software profitieren können, um Ihre Bilder mit minimalem Aufwand bearbeiten zu können.

Die sogenannten “Ghost Mannequin Product Pictures” - wo nur das Kleidungsstück sichtbar ist und es scheint als würde es von einem Geist getragen werden - scheinen sehr effektiv zu sein, um Kaufentscheidungen auszulösen. autoRetouch hat speziell für diese Darstellung einen optimierten Workflow entwickelt, bei dem der Aufwand der manuellen Nachbearbeitung auf das Zusammenfügen zweier Bilder reduziert wird.

Unsere Herausforderung

Wir haben versucht, den Prozess der Entwicklung von Ghost Mannequin Product Pictures vollständig zu automatisieren, d.h. eine KI zu entwickeln, welche zwei Bilder so zusammenfügen kann, dass das entstandene Bild hinterher real aussieht.

Wir gingen dem Problem auf den Grund und stellten uns einer Reihe von spannenden Herausforderungen:

• Wir arbeiteten mit einer großen Menge ultra-hochauflösender Bilder, welche sich durch sehr feine Details, wie Muster oder Markenlogos auszeichneten;
• Die verfügbare Daten waren unvollständig: wir kannten den Input, den Target, aber nicht die Transformationen dazwischen.
• Es gab keine gut etablierte Technologie, um diese Art von Problem zu lösen;
• Wir hatten keine Garantie für den Erfolg der Plattform und damit war es notwendig, das Projekt entsprechend zu managen, sowohl innerhalb unseres Teams als auch mit dem Kunden.

Zusammengefasst: Ein echtes Forschungsprojekt, voller Unsicherheiten, das jede Menge Experimente und eine ausgereifte Management- und Kommunikationsstrategie erfordert.

Wie sind wir es angegangen?

In der Datenwissenschaft kann es immer passieren, dass Vorhaben nicht so funktionieren, wie man sich das zunächst vorstellt. Das liegt nicht unbedingt daran, dass man technische Fehler macht. Das passiert einfach weil Datenwissenschaft eine experimentelle Wissenschaft ist. Das gilt im Besonderen, wenn es um unerforschte Gebiete in der Spitzentechnologie geht. Deshalb haben wir uns von Anfang an darauf konzentriert:

• Einen Rahmen zu schaffen, in dem schnell verschiedene Experimente durchgeführt werden können (flexible Datenpipeline, Überwachung von Ausbildungsprozessen, Skalierung der Rechenleistung).
• Häufige und ehrlich mit dem autoRetouch-Team zu kommunizieren, um sie auf dem Laufenden zu halten und ihre Anregungen und Erwartungen im Blick zu behalten. Das war für die erfolgreiche Umsetzung unabdingbar.

Wir hatten das Glück, datenaffine Kollegen vor uns zu haben, die genau wussten, wie die Materie funktioniert. Auch deswegen glauben wir, dass schnelle Experimente und transparente Kommunikation Tagesgeschäft für Data Scientists sein muss.

Wie sieht die fertige technische Lösung aus?

Unserer Meinung nach, waren Generative Adversarial Networks (kurz GANs) der richtige Rahmen, um das Problem anzugehen. Wir haben die pix2pix-Architektur als gute Methode für unsere Herausforderung identifiziert, da wir ein Netzwerk entwickeln wollten, das lernt wie es die fehlenden Teile im Frontbild mit Informationen aus dem Bild von innen nach außen füllen kann. In der Praxis trainierten wir zwei Netzwerke gleichzeitig:

• Einen Generator, der die gefüllten Bilder erzeugt, mit dem Ziel ein möglichst realistisches Ergebnis zu erzielen;
• Einen Diskriminator, der die Ergebnisse des Generators beobachtet und versucht Fälschungen von echten Bildern zu unterscheiden.
• Wir implementierten das gesamte Modell - einschließlich der Vorverarbeitungs-Pipeline - in Tensorflow und trainieren es auf der Google AI-Plattform.

Was sind die Ergebnisse?

Obwohl das Projekt bei der Umsetzung keine Einbahnstraße, sondern eher eine experimentelle Kampagne mit ungewissem Ausgang darstellte, haben wir innerhalb eines Monats vieles erreicht.

Nun lassen sich:

• realistische Ghosted-Pictures zu erzeugen. Dies betrifft beispielsweise die Konturen, Muster und Schatten der Bilder, allerdings fehlen noch einige feine Details wie die Logos und Etiketten der Marken.
• einige sehr gute Ghosted Bilder zu herstellen (sieh Bild oben). Nein, das ist kein Overfitting!
• wesentliche Fehlerquellen identifizieren (Inkonsistenz zwischen Eingabe- und Zielbildern) und einen Fahrplan für weitere Experimente zur Lösung solcher Probleme festlegen.

Auf diese Weise konnte sich unser Kunde auch ein Bild vom tatsächlichen Aufwand machen, der erforderlich ist, um das Problem innerhalb der geforderten Qualitätsansprüchen zu lösen, und seine eigene Produkt-Roadmap entsprechend anpassen.