Forscher des MIT versprechen: In Zukunft machen wir Selfies so, als hätte uns ein Starfotograf geknipst.
Bekannte Porträt-Fotografen wie etwa Martin Schoeller oder Diane Arbus haben bei ihren Porträt-Aufnahmen einen ganz markanten Stil, der vor allem durch die penible Beleuchtung im Studio erzielt wird. Wir wollen mit unseren Selfies ja nicht unbedingt mit den Starfotografen konkurrieren, aber so manches Selbstporträt hat durchaus Optimierungsbedarf.
Genau dies versprechen uns nun Forscher des MIT zusammen mit Kollegen von Adobe Systems und der University of Virginia. Sie haben einen Algorithmus erfunden, der uns die unverwechselbaren Stile der Starfotografen kinderleicht auf unser Mobiltelefon übertragen lässt.
„Style Transfer“ bzw. Stilübertragung ist seit Instagram ein stetig wachsender Bereich in der Grafik. Aber das Übertragen von Stilen, wie Sie Instagram z.B. für Effektfilter verwendet, ist in der Porträtfotografie nicht unumstritten. Für Nahaufnahmen ist diese Technik nicht optimal geeignet, weil die meisten Methoden global arbeiten und sich auf globale Parameter konzentrieren. Nun will YiChang Shih, ein MIT- Student diese „Style Transfers“ vor allem für die Porträtfotografie optimieren.
Mit einer normalen Gesichtserkennungssoftware identifizieren die Forscher zunächst ein Porträt mit ähnlichen Eigenschaften wie das zu bearbeitende Bild. „Danach finden wir die größten Übereinstimmungen – wie Augen, Bart, Haut – und nehmen diese lokalen Transfers vor“, erklärt Shih.
Aber die lokalen Transfers alleine reichen noch nicht aus, um optimale Ergebnisse zu erhalten. Die Forscher erweiterten also ihren Algorithmus um ein weiteres Feature, das sie „multiscale matching” nannten, also „mehrskalige Abgleichung“. Die Funktionsweise ist genauso kompliziert, wie sie klingt. Jedenfalls werden die Ergebnisse dadurch noch einmal deutlich besser.
Der neue Ansatz hat vor allem bei Videos Potenzial. Bei Lichtblitzen in Einzelbildern wird dadurch nicht so leicht überkompensiert wie bei bisherigen Stilübertragungs-Methoden. Das ist beispielsweise nützlich, wenn ein Brillenträger den Kopf dreht und es dadurch in einem Frame plötzlich zu einer Lichtspiegelung kommt.
Letztendlich wollen die Forscher ihr Wissen in Consumer-Anwendungen zum Einsatz bringen. Damit der Anwender die Chance hat, beispielsweise Smartphone-Selfies in neuem, professionell anmutendem Licht erscheinen zu lassen. Allerdings gilt es noch ein paar kleine Herausforderungen zu bewältigen. So kämpfen die Forscher damit, dass es zu Verfälschung der Augenfarbe kommen kann.
Hier eine Video, das die Funktionsweise zeigt:
