Was ist Diminished Reality?

Im Gegensatz zu Augmented Reality, bei der virtuelle Objekte der Umgebung des Benutzers hinzugefügt werden, entfernt Diminished Reality Komponenten der Realität aus der Perspektive des Betrachters. Basierend auf Computer-Vision-Techniken werden unerwünschte Bildelemente erkannt und durch andere Bildelemente ersetzt, sodass für den Betrachter ein plausibler und konsistenter Gesamteindruck entsteht.

Es ist sehr wahrscheinlich, dass Sie bereits etwas sehr ähnliches wie DR in Filmen gesehen haben (oder vielleicht besser: nicht gesehen haben): Während der Nachbearbeitung können einige unerwünschte Elemente aus den Bildern entfernt werden. Ein häufiges Beispiel sind Drähte, mit deren Hilfe Schauspieler und Schauspielerinnen sicher fallen oder eine erhebliche Strecke durch die Luft rasen. Typischerweise werden so genannte In-Painting-Techniken eingesetzt, um diese Merkmale innerhalb jedes Frames zu entfernen. Bei DR kommt eine entscheidende Herausforderung hinzu: Die Entfernung des Objekts muss in Echtzeit geschehen - nicht in der Nachbearbeitung.

Es gibt verschiedene Arten von Diminished Reality: Observational DR (oder: Beobachtungs-DR) und In-Painting-DR sind zwei davon. Bei Observational DR werden vorab aufgenommene Bilder/Videos eines Hintergrunds verwendet. Wenn neue Objekte in den Raum integriert werden, können die vorhandenen Bilder als Referenz verwendet werden, um Informationen über den Hintergrund zu erhalten, der durch die neuen Objekte verdeckt wird.

In-Painting ist eine Technik, bei der Teile von Bildern oder Videos rekonstruiert oder "übermalt" werden - unter Verwendung von Informationen im Quellbild über Texturen und Farben rund um das Objekt oder den zu verkleinernden Bereich. Sie ist weniger genau als die Observational DR, aber wenn keine vorherigen Informationen über eine Szene verfügbar sind, bietet sie einen Ansatz für die Durchführung der DR. In-Painting ist nicht wirklich neu: In der Kunstrestauration wird die Technik verwendet, um beschädigte Bereiche eines Gemäldes nachzubilden. Wenn Sie jemals das Klon-Stempel-Werkzeug in Photoshop verwendet haben, haben Sie selbst eine vereinfachte Version des In-Painting verwendet.

Eine der größten Herausforderungen für das Erreichen von Diminished Reality ist heute das Video-Inpainting in Echtzeit. Cinematische In-Painting-Effekte müssen nicht live ausgeführt werden - sondern können während der Postproduktion angewendet werden. Daher kann die Komplexität und Rechenzeit der verwendeten Algorithmen recht hoch sein. Wenn aber Verkleinerungseffekte im Live-Video eingesetzt werden müssen - sind diese Methoden nicht einsetzbar. Die Verarbeitungszeit pro Frame muss auf wenige Millisekunden reduziert werden.

"Das ist definitiv eine unserer Herausforderungen im Projekt ATLANTIS", sagt DI Georg Thallinger in unserem Interview. Der langjährige Forschungsleiter ist für die Koordination eines Projekts verantwortlich, das AR- und DR-Technologien in einem Authoring Tool zusammenführt. Es wird Anwendern ermöglichen, einen Raum in einem 3D-Layout zu erfassen, Objekte aus ihm zu entfernen (DR) und andere Objekte darin zu platzieren (AR). Auch wenn diese Anwender nur über durchschnittliche oder sehr begrenzte Computerkenntnisse verfügen. Das ATLANTIS-Authoring-Tool wird also hochinteressant sein für Verkaufsprofis, Innenarchitekten - oder fast jeden, der einen Raum in seinem Zuhause einrichten oder umgestalten möchte.

"Eine der größten Herausforderungen rund um DR ist für uns die Implementierung der Instance Segmentation von Objekten in Echtzeit", sagt Georg Thallinger. "Das bedeutet, dass der Benutzer sich durch einen Raum bewegen kann und das Authoring Tool automatisch Objekte erkennt, die entfernt werden können. Damit die Segmentierung mit der Bewegung des Benutzers und dem sich ändernden Kamerablickwinkel ständig aktualisiert werden kann, muss die Verarbeitungszeit extrem verkürzt werden." Die Methoden, die diese Beschleunigung unterstützen, basieren auf Deep Learning. "Wir müssen dem Tool in einem Trainingsprozess "beibringen", eine ganze Reihe von unterschiedlichen Objektklassen zu erkennen."

Stellen Sie sich also vor: Schon bald kann Ihr Immobilienmakler Ihre Möbel in jeder Wohnung, die Sie besichtigen, sofort aufstellen - damit Sie sich einen besseren Eindruck verschaffen können. Oder Sie können Ihr Sofa aus Ihrem Wohnzimmer entfernen und dort verschiedene neue in AR platzieren, um die Entscheidung zu erleichtern. Oder Sie könnten eine ganze Produktionsanlage mit dem Authoring Tool auf einem mobilen Gerät neu gestalten. Die Anzahl der Szenarien, die Sie sich vorstellen können, sind unzählig.

Gepaart mit Augmented Reality kann DR ein hochspannendes Verkaufs- und Marketinginstrument für Unternehmen sein. Es gibt bereits einige großartige Tools, um virtuell zu sehen, wie ein Sofa, ein Teppich oder ein Regal in einem Wohn- oder Schlafzimmer aussehen würde. Was aber, wenn der Platz, an dem der Kunde das neue Möbelstück platzieren möchte, gar nicht leer ist - sondern ein altes Sofa/Teppich/Regal im Weg steht? Mit AR allein bekommt er nur eine unangenehme oder verwirrende Ansicht.

Mit Diminished Reality wird der Benutzer in der Lage sein, zuerst das alte Möbelstück zu entfernen - und dann dasjenige hinzuzufügen, das er kaufen möchte. Das Kundenerlebnis wird völlig anders und höchst immersiv sein. Deshalb sollte man DR nicht unterschätzen: Sie gibt uns die Macht, die Art und Weise, wie wir die reale Welt sehen, zu verändern - und Unternehmen vieler verschiedener Branchen ein perfektes Werkzeug, um ein überzeugendes Einkaufserlebnis zu schaffen.