xingtwittersharerefreshplay-buttonpicture as pdfLogo_DPM_SCHRIFTZUGinstagram icon blackShapeGroup 3 Copy 2Group 2 Copydepartment_productdepartment_datascienceuserclosebasic clockblogShapearrows slim right copy 3arrows slim right copy 3arrows slim right copy 3
autoRetouch - Der Weg zur vollständigen Automatisierung von Ghost Mannequin Effect (mit GANs)

autoRetouch - Der Weg zur vollständigen Automatisierung von Ghost Mannequin Effect (mit GANs)

Mit autoRetouch konnten wir die Grenzen des Status Quo überwinden: Das Ziel war es, die Produktion der sogenannten "Ghosted Mannequin Pictures" vollständig zu automatisieren. Mit GANs sollte dies erstmals möglich sein. Wenn Sie erfahren möchten, wie die Arbeit mit Spitzentechnologien im Bereich der Datenwissenschaft funktioniert, dann sind Sie hier genau richtig!

Kunde:
autoRetouch GmbH
-
Bereiche:
Data

autoRetouch ist eine Plattform, welche zur automatisierten Bildbearbeitung für die Modebranche beiträgt, bei der die Benutzer von den KI-Fähigkeiten der Software profitieren können, um Ihre Bilder mit minimalem Aufwand bearbeiten zu können.

Während sich die Kunstfertigkeit bei der Erstellung der Produktbilder selbst weiterentwickelt hat, ist der Retuschierungsprozess so ziemlich derselbe wie vor Jahren.

vom autoRetouch blog

Die sogenannten “Ghost Mannequin Product Pictures” - wo nur das Kleidungsstück sichtbar ist und es scheint als würde es von einem Geist getragen werden - scheinen sehr effektiv zu sein, um Kaufentscheidungen auszulösen. autoRetouch hat speziell für diese Darstellung einen optimierten Workflow entwickelt, bei dem der Aufwand der manuellen Nachbearbeitung auf das Zusammenfügen zweier Bilder reduziert wird.


autoRetouch Workflow für Ghost Mannequin Effect: KI-gesteuerte Segmentierung und manuelles Zusammenführen eines Front- und eines Innenbildes
autoRetouch Workflow für Ghost Mannequin Effect: KI-gesteuerte Segmentierung und manuelles Zusammenführen eines Front- und eines Innenbildes

Unsere Herausforderung

Wir haben versucht, den Prozess der Entwicklung von Ghost Mannequin Product Pictures vollständig zu automatisieren, d.h. eine KI zu entwickeln, welche zwei Bilder so zusammenfügen kann, dass das entstandene Bild hinterher real aussieht.

Wir gingen dem Problem auf den Grund und stellten uns einer Reihe von spannenden Herausforderungen:

  • Wir arbeiteten mit einer großen Menge ultra-hochauflösender Bilder, welche sich durch sehr feine Details, wie Muster oder Markenlogos auszeichneten;
  • Die verfügbare Daten waren unvollständig: wir kannten den Input, den Target, aber nicht die Transformationen dazwischen.
  • Es gab keine gut etablierte Technologie, um diese Art von Problem zu lösen;
  • Wir hatten keine Garantie für den Erfolg der Plattform und damit war es notwendig, das Projekt entsprechend zu managen, sowohl innerhalb unseres Teams als auch mit dem Kunden.

Zusammengefasst: Ein echtes Forschungsprojekt, voller Unsicherheiten, das jede Menge Experimente und eine ausgereifte Management- und Kommunikationsstrategie erfordert.


Tensorboard bietet viele Features an, um Experimente im Real-Time zu überwachen
Tensorboard bietet viele Features an, um Experimente im Real-Time zu überwachen

Wie sind wir es angegangen?

In der Datenwissenschaft kann es immer passieren, dass Vorhaben nicht so funktionieren, wie man sich das zunächst vorstellt. Das liegt nicht unbedingt daran, dass man technische Fehler macht. Das passiert einfach weil Datenwissenschaft eine experimentelle Wissenschaft ist. Das gilt im Besonderen, wenn es um unerforschte Gebiete in der Spitzentechnologie geht. Deshalb haben wir uns von Anfang an darauf konzentriert:

  • Einen Rahmen zu schaffen, in dem schnell verschiedene Experimente durchgeführt werden können (flexible Datenpipeline, Überwachung von Ausbildungsprozessen, Skalierung der Rechenleistung).
  • Häufige und ehrlich mit dem autoRetouch-Team zu kommunizieren, um sie auf dem Laufenden zu halten und ihre Anregungen und Erwartungen im Blick zu behalten. Das war für die erfolgreiche Umsetzung unabdingbar.

Wir hatten das Glück, datenaffine Kollegen vor uns zu haben, die genau wussten, wie die Materie funktioniert. Auch deswegen glauben wir, dass schnelle Experimente und transparente Kommunikation Tagesgeschäft für Data Scientists sein muss.


Ein grobes Schema der gewählten Architektur pix2pix
Ein grobes Schema der gewählten Architektur pix2pix

Wie sieht die fertige technische Lösung aus?

Unserer Meinung nach, waren Generative Adversarial Networks (kurz GANs) der richtige Rahmen, um das Problem anzugehen. Wir haben die pix2pix-Architektur als gute Methode für unsere Herausforderung identifiziert, da wir ein Netzwerk entwickeln wollten, das lernt wie es die fehlenden Teile im Frontbild mit Informationen aus dem Bild von innen nach außen füllen kann. In der Praxis trainierten wir zwei Netzwerke gleichzeitig:

  • Einen Generator, der die gefüllten Bilder erzeugt, mit dem Ziel ein möglichst realistisches Ergebnis zu erzielen;
  • Einen Diskriminator, der die Ergebnisse des Generators beobachtet und versucht Fälschungen von echten Bildern zu unterscheiden.
  • Wir implementierten das gesamte Modell - einschließlich der Vorverarbeitungs-Pipeline - in Tensorflow und trainieren es auf der Google AI-Plattform.

"The best of class, die unser Model generieren konnte (ohne Overfitting!)
"The best of class, die unser Model generieren konnte (ohne Overfitting!)
Und einige Beispiele, bei denen die feinen Details noch nicht zu sehen sind.
Und einige Beispiele, bei denen die feinen Details noch nicht zu sehen sind.

Was sind die Ergebnisse?

Obwohl das Projekt bei der Umsetzung keine Einbahnstraße, sondern eher eine experimentelle Kampagne mit ungewissem Ausgang darstellte, haben wir innerhalb eines Monats vieles erreicht.

Nun lassen sich:

  • realistische Ghosted-Pictures zu erzeugen. Dies betrifft beispielsweise die Konturen, Muster und Schatten der Bilder, allerdings fehlen noch einige feine Details wie die Logos und Etiketten der Marken.
  • einige sehr gute Ghosted Bilder zu herstellen (sieh Bild oben). Nein, das ist kein Overfitting!
  • wesentliche Fehlerquellen identifizieren (Inkonsistenz zwischen Eingabe- und Zielbildern) und einen Fahrplan für weitere Experimente zur Lösung solcher Probleme festlegen.

Auf diese Weise konnte sich unser Kunde auch ein Bild vom tatsächlichen Aufwand machen, der erforderlich ist, um das Problem innerhalb der geforderten Qualitätsansprüchen zu lösen, und seine eigene Produkt-Roadmap entsprechend anpassen.


AndreasFranz

Projekte mit hoher Unsicherheit und vielen Experimenten erfordern ein hohes Maß an Kommunikation und gegenseitigem Verständnis. Wir bei DieProduktMacher versuchen die Dinge dabei immer aus der Perspektive unserer Kunden zu sehen. Ich bin davon überzeugt, dass diese Herangehensweise - insbesondere bei Data-Projekten - die richtige ist.

Andreas Franz Data Scientist


Kunde
autoRetouch GmbH
Link

https://autoretouch.com/

Dauer

1 Monat

Projekt Beteiligte

3

Standort

Stuttgart

Weitere Projekte & Produkte

Weitere Projekte & Produkte



facebook

Wird geladen…

twitter

A successful meeting sounds simple in theory, but …

instagram

Wird geladen…

New member of the team: Robbie Redfearn
blog

New member of the team: Robbie Redfearn