Neue Realitäten – Augmented Reality und Virtual Reality

AR, VR und MR – ein paar Buchstaben, die als nächster Schritt der Digitalisierung gelten: Die Kürzel meinen Augmented Reality, Virtual Reality und Mixed Reality – Begriffe, die sich zu einem echten Trend entwickeln. „Im Blickpunkt“ berichtet, was die neuen Realitäten dank visueller Erlebnisse können.

Aktuell sind die Definitionen von Augmented, Virtual und Mixed Reality nicht sehr eindeutig, weil die Begriffe auch seitens der Hardware-und Softwarehersteller geprägt werden, die Geräte und Programme mit bestimmten Etiketten besetzen. Um massentauglich zu werden, ist das Smartphone ein Wegbereiter für die neuen Realitäten, die perspektivisch die „Generation Mobile“ ablösen können.

Obwohl Augmented Reality (AR) und Virtual Reality (VR) am präsentesten sind, zählen beide Technologien zu Mixed Reality (MR) – ein Begriff, den Paul Milgram, Professor an der Universität Toronto, schon 1994 definierte. Demnach ist Mixed Reality ein Kontinuum, bei dem sich reale und virtuelle Welt miteinander vermischen, und zwar unterschiedlich stark. Das bedeutet, dass sich die eigene Wahrnehmung aus echten und digitalen Elementen zusammensetzt und zwischen AR und VR noch weitere Stufen möglich sind. Denn AR und VR bezeichnen nur zwei verschiedene Punkte im Kontinuum von MR, das von ganz real bis ganz digital reicht.

Augmented Reality – eine Welt mit digitalen Dingen

Augmented Reality lässt sich mit „erweiterte“ oder „angereicherte Realität“ übersetzen und bedeutet, dass der realen Welt auch digitale Elemente hinzugefügt werden. Das passiert auf Bildschirmen, etwa wenn bei Sportsendungen im Fernsehen zusätzlich Linien und Entfernungen eingeblendet werden oder wenn Tiergesichter auf Smartphone-Fotos und -Videos erscheinen. Bekanntestes Beispiel für AR ist die Spiele-App „Pokémon Go“, die digitale Fantasiewesen in der realen Welt platziert, um diese per Smartphone zu sammeln. Das funktioniert, indem die digitalen Inhalte in Echtzeit auf Bildschirmen eingeblendet werden. Die vielen Sensoren in mobilen Geräten machen es möglich, diese digitalen Inhalte auch im richtigen Maßstab und an passender Position einzufügen. So finden sich die Pokémon-Figuren auf der Theke in der Kneipe oder auf einem Ast vor dem Fenster.

Wie Augmented Reality im Journalismus genutzt wird, hat Autorin Nora Burgard-Arp für „meedia“ gesammelt (Stand: Juli 2014).

AR ist durch die Größe des Bildschirms und dadurch auf einen Ausschnitt der realen Welt begrenzt. Hingegen schaffen 360°-Aufnahmen eine Möglichkeit, in andere Welten zu wechseln, die schließlich zu Virtual Reality führen.

360°-Welten

Fotos und Videos im 360°-Format sind ein Schritt auf dem Weg zu Virtual Reality: Es wird quasi kugelförmig aufgenommen, sodass man sich später in alle Richtungen umsehen kann. Für 360°-Aufnahmen sind Kameras nötig, die gleichzeitig nach vorne, hinten, oben und unten fotografieren oder filmen, um anschließend ein kugelförmiges Foto oder Videos zu „stitchen“, also zusammenzunähen.

360°-Aufnahmen kann man an Bildschirmen oder mit VR-Technik betrachten. Durch die Fotos oder Videos lässt sich mit der Maus und der Tastatur oder durch Bewegung des Smartphones in eine beliebige Richtung navigieren. Aber: An den Kanten des Bildschirms bleibt man in der realen Welt. Das ändert sich mit einer VR-Brille, die 360°-Aufnahmen direkt vor den Augen zeigt. So lassen sich die Fotos und Videos intensiver erleben, weil die restliche Welt nicht mehr sichtbar ist.

Bei 360°-Aufnahmen ist der Standort des Betrachters durch die Kamera vorgegeben, sodass man den Kopf bewegen oder den Körper drehen kann, um sich in Fotos oder Videos umzusehen. Durch die eingeschränkte Bewegungsfreiheit lassen sich 360°-Aufnahmen auch einfacher und günstiger als hochwertige VR produzieren. Fotos oder Videos im 360°-Format lassen sich schon mit dem Smartphone aufnehmen und in einigen sozialen Netzwerken veröffentlichen. So haben YouTube seit 2015 und Facebook seit 2016 die Funktion geschaffen, 360°-Aufnahmen anzuzeigen.

Virtual Reality – eine simulierte Welt

Meistens bilden 360°-Aufnahmen die Basis für Virtual Reality, eine Technologie, die Menschen in andere und neue Welten versetzen kann. Aber VR ist mehr, als Fotos und Videos mit speziellen Brillen anzusehen: Es können digitale Welten erschaffen werden, in denen sich Menschen auch bewegen können, um den Standort selbst zu wählen und mit Objekten oder Menschen zu interagieren. Bei hochwertiger VR sind Menschen nicht Betrachter, sondern Akteure in einer virtuellen Welt, die sich aus Fotos und Videos im 360°-Format oder programmierten Pixeln zusammensetzt.

Mit dem Ziel, die digitalen Realitäten zu fördern, hat sich ein Erster Deutscher Fachverband für Virtual Reality in Köln gegründet. Und die VR-Nerds berichten über Virtual-Reality-Themen und bieten Anleitungen.

Um VR zu erleben, ist zusätzliche Technik nötig – umgangssprachlich VR-Brille genannt –, die es in unterschiedlicher Qualität und zu unterschiedlichen Preisen gibt. Die schlichteste VR-Brille ist das Cardboard von Google: Eine faltbare Papp-Brille, die mit einem Smartphone ausgestattet wird, um sich VR anzusehen.

Mit „Digility“ in Köln gibt es eine Konferenz und Ausstellung zu digitalen Realitäten – das nächste Mal am 26. und 27. September 2018. Bereits vom 19. bis 22. April 2018 fand mit „Places 2018“ ein Festival für Virtual Reality in Gelsenkirchen statt.

Nach diesem Prinzip funktionieren die meisten VR-Brillen zu günstigen Preisen, die derzeit am meisten verbreitet sind. Für anspruchsvolle VR sind sogenannte Head Mounted Displays – kurz HMDs – nötig. Diese haben Sensoren, um Bewegungen und Positionen in der realen Welt zu registrieren und in die virtuelle Welt zu übersetzen. So werden die passenden Bilder in Echtzeit gezeigt. Deshalb sind die HMDs teurer, größer und schwerer als eine Brille, sodass die Technik wie ein Helm wirkt.

Immersion

Alle HMDs und VR-Brillen versperren die Sicht auf die reale Welt. Man befindet sich nahezu komplett in einer virtuellen Welt – besonders, wenn Kopfhörer die Geräusche der realen Welt aus- und Geräusche der virtuellen Welt einblenden. Die wichtigsten Sinne nehmen VR wahr, sodass eine Immersion entsteht. Das heißt, es wird das Gefühl verursacht, in der virtuellen Welt tatsächlich gegenwärtig zu sein. VR kann an andere Orte, in andere Situationen und in andere Menschen versetzen, mit denen sich die Betrachter identifizieren und dann in der virtuellen Welt genauso reagieren wie in der realen Welt. Die Immersion kann echte Emotionen wie Freude, Trauer oder Angst auslösen – beispielsweise Höhenangst, wenn man in der virtuellen Welt auf einer Brücke steht, obwohl man sich in der realen Welt auf festen Boden befindet. Weil sich VR direkt vor den eigenen Augen ereignet und Betrachter nicht abgelenkt werden, schafft die Technologie eine sehr starke Nähe zu den gezeigten Inhalten.

„Eine Geschichte der VR-Software“ hat Jan-Keno Janssen, Redakteur beim Heise-Verlag, bei der republica-Konferenz 2017 präsentiert.

Auch Google Earth ist als Virtual-Reality-Version online – mit einer VR-Brille kann man viele Sehenswürdigkeiten besichtigen und durch die Welt laufen oder fliegen.

Immersion durch VR kann auch negative Effekte haben: Wenn die Bewegungen in der virtuellen Welt nicht mit der realen Welt übereinstimmen, gibt es eine Diskrepanz zwischen den Augen und dem Gleichgewicht, die bei vielen Menschen zur sogenannten „Motion Sickness“ führt. Man spürt Übelkeit und Schwindel – zum Beispiel, wenn man auf der Couch sitzt und mit VR eine Achterbahn-Fahrt erlebt. „Motion Sickness“ ist nicht vorhanden, wenn die Immersion komplett ist, also wenn man sich bei der Achterbahn-Fahrt auf einem beweglichen Stuhl befindet und bestenfalls den Wind spüren kann. VR ist so immersiv sein, dass sich Menschen bei Reflexen oder Reaktionen auf die virtuelle Welt verletzen können, weil sie die reale Welt komplett vergessen haben. So mussten Menschen bei der virtuellen Achterbahn-Fahrt gestützt werden, um nicht hinzufallen.

Die Erlebnisse bei Immersion durch VR setzen sich auch intensiver und länger in die reale Welt fort als beispielsweise nach einem Film im Kino. So können Menschen, die in VR eine andere Person oder Figur verkörpert haben, deren Eigenschaften auch in die reale Welt überführen: Ein freiwilliges Experiment mit männlichen Straftätern, die wegen häuslicher Gewalt aufgefallen waren und nun virtuell die Rolle der Frau als Opfer einnahmen, hat ergeben, dass diese Menschen sich danach empathischer verhielten.

In einem anderen Fall wurden Frauen mit weißer Hautfarbe in die Rolle von weißen oder schwarzen Avataren versetzt. Sie mussten eine Reihe von Aufgaben lösen, während neben ihnen eine digital errechnete Frau stand, die dies ebenfalls tat. Die Frauen imitierten die digitale Frau wesentlich häufiger, wenn diese die gleiche Hautfarbe hatte.

Oder Menschen sind – abhängig von den Eigenschaften des Avatars in der virtuellen Welt – auch in der realen Welt sozialer oder toleranter geworden.

Mit der Ethik von Virtual Reality befasst sich Thomas Metzinger, Professor für theoretische Philosophie in Mainz, der einen Verhaltenskodex für Wissenschaftler, Entwickler, Wirtschaft und Militär verfasst hat.

Das lässt vermuten, dass VR auch umgekehrt wirken kann, nämlich um Menschen zu manipulieren und empfindungslos zu machen: Beispielsweise, wenn VR beim Militär oder von Terroristen verwendet wird, um Kämpfer auszubilden, die andere Menschen foltern können oder selbst kaum Schmerzen spüren. Und was passiert, wenn Menschen nicht mehr zwischen real und virtuell unterscheiden können? Kann Immersion, also die Identifikation mit der virtuellen Welt, auch zur Sucht oder Flucht aus dem Alltag werden? Noch ist unklar, wie sich Immersion durch VR langfristig auf Menschen auswirken wird und das menschliche Bewusstsein verändern oder schädigen kann. Denn die Folgen und Risiken durch VR sind noch wenig erforscht.

Bekannt ist, dass Menschen durch Immersion tatsächlich körperliche und seelische Schmerzen spüren können – etwa, wenn man von einem Avatar sexuell belästigt wird oder einen Mord ansehen muss. Denn ein weiteres Problem ist, dass in VR auch Straftaten begangen oder Grenzen überschritten werden können, ohne dass man mit Konsequenzen rechnen muss.

AR und VR – neue Welten für alle Branchen

Das Startup „Vragments“ aus Berlin kümmert sich um journalistische VR-Projekte und hat das simple Tool „Fader“ entwickelt, um VR-Videos zu produzieren.

Augmented Reality und Virtual Reality werden massentauglich, sobald es genug Anwendungen und Inhalte für den Alltag gibt. Menschen erleben Situationen und Geschichten, weil mit VR jeder Ort der Welt zugänglich ist – von der Tiefsee im Pazifik bis zum Vulkan in Kamtschatka. Deshalb sind 360°-Aufnahmen für den Tourismus und die Medien eine interessante Option, um Dinge zu vermitteln.

„Inside Auschwitz“ und der „Kölner Dom in VR / 360°“ sind weitere VR-Formate, die beim Grimme Online Award 2017 zu den Nominierten und Preisträger zählten. Bei „Was mit Medien“ geben Stefan Domke und David Ohrndorf, die den Kölner Dom in VR / 360° für den WDR produziert haben, einige Tipps.

Virtual Reality macht es möglich, Orte zu besuchen, die eigentlich nicht zugänglich sind: Solche Orte gibt es auch in Nordrhein-Westfalen, so kann man bei einer Vorführung von TimeRide in Köln in eine historische Straßenbahn steigen und mittels VR durch die Stadt zur Kaiserzeit fahren oder das Haus von „Weltenfalter“ Erwin Hapke im Kreis Unna betreten, das mit tausenden gefalteten Kunstwerken dekoriert, aber für Besucher nicht geöffnet ist – eine 360°-Produktion, die auch für den Grimme Online Award 2017 nominiert war.

Im Gefängnis sind selten Besucher, sodass die britische Zeitung „The Guardian“ in VR vermittelt, wie es ist, in einer 6×9 Meter großen Zelle zu leben und die Geschichten der Häftlinge zu erfahren: „Welcome to your cell“.

Und „ IntoVR“ hat VR verwendet, um Menschen in das Gefängnis in Berlin-Hohenschönhausen zu schicken, die dort eine Rolle als Häftling des DDR-Regimes übernehmen. Mit Schauspielern und Requisiten wird der Alltag im Gefängnis nachempfunden. Das VR-Video ist bei WELT veröffentlicht und die Produktion bei IntoVR dokumentiert.

Besonders im journalistischen Kontext können sich Nutzer ein selbstbestimmteres Bild durch 360-Grad-Formate verschaffen, da sie nicht mehr der gewählten Perspektive des Journalisten folgen müssen, sondern sich in allen Richtungen umsehen können, um die Situation vollständig zu betrachten. Eventuell können 360-Grad-Formate auch dazu beitragen, die derzeit leidende Glaubwürdigkeit von Medien zu erhöhen, weil eine Manipulation durch einen gewählten Ausschnitt nicht möglich ist.

Auch Krieg und Flucht sind Themen, die Medien aktuell mit 360°-Aufnahmen vermitteln: Als „Visual Story“ berichtet SPIEGEL über die Flucht über das Mittelmeer und RYOT zeigt das zerstörte Aleppo in Syrien.

Und 360°-Aufnahmen gestatten eine neue und intensive Art der journalistischen Berichterstattung, die auch mehr Aufmerksamkeit und eine höhere Verweildauer verursacht, sodass sich Konsum und Wirkung von Nachrichten in Zukunft verändern können. Zahlreiche Medien nutzen schon 360°-Formate und Virtual Reality in der Berichterstattung und veröffentlichen die Videos auf eigenen Webseiten: ZDF, WELT, EuroNews, CNN, New York Times.

Bis 2019 läuft an der Hochschule Ruhr West in Mülheim an der Ruhr ein Projekt zum lebenslangen Lernen durch AR, um speziell Handwerker auszubilden und weiterzubilden, das vom Bundesministerium für Bildung und Forschung mit rund 1,7 Millionen Euro gefördert wird.

Weil viele Menschen visuell lernen, wird die Bildung in Schule und Beruf von AR und VR profitieren, denn das Lernen mit virtuellen Welten funktioniert besser und schneller. So kann AR auch bei der Arbeit unterstützen, indem Informationen ins Sichtfeld eingeblendet werden – beispielsweise für Ingenieure oder Handwerker, denen Anleitungen und Werte gezeigt werden, um so ohne Unterbrechungen und mit freien Händen arbeiten zu können. Denn die Anweisungen für den Aufbau oder eine Reparatur werden digital über Maschinen oder Geräten eingeblendet, sodass sich auch Fehler und Unfälle verringern.

Auch in der Medizin können AR und VR helfen: Um Ärzte auszubilden und zu unterstützen, ist es nützlich, wenn der menschliche Körper und einzelne Organe mittels AR in Originalgröße und dreidimensional dargestellt werden, um Operationen und Therapien ohne Risiko zu üben. Oder Ultraschall-, Röntgen- und MRT-Bilder werden digital dargestellt, damit Ärzte eine Diagnose besser dem Patienten vermitteln können und Chirurgen sich die Befunde während Operationen ins Sichtfeld einblenden lassen.
Wie erwähnt kann VR das Schmerzempfinden von Menschen beeinflussen und wird deshalb auch medizinisch verwendet, weil es ähnlich wie Schmerzmittel wirkt. So spüren Patienten mit Verbrennungen bei der Behandlung weniger Schmerzen, wenn sie mittels VR eine positive oder spielerische Situation erleben, weil sich der Kopf samt Schmerzgefühl wortwörtlich in einer anderen Welt befindet.

Bei Phobien oder Traumata kann VR therapeutisch verwendet werden, weil die Konfrontation zunächst in der virtuellen Welt passiert. Auch gibt es erfolgreiche Tests dazu, dass sich Lähmungen und Amputationen lindern lassen, wenn das betreffende Körperteil mittels VR beweglich oder vorhanden ist. So ist es gelungen, dass Menschen gelähmte Muskeln durch ein Training mit VR und Exoskelett wieder kontrollieren konnten.

In der Industrie und Wirtschaft kann AR zu einem nützlichen Werkzeug werden, weil sich die Technologie vielfältig verwenden lässt: Die Kombination aus realen und digitalen Elementen ist hilfreich, um bei Entwicklung und Vertrieb von Produkten künftig Kosten zu sparen. Denn Prototypen lassen sich in Originalgröße erstellen und in echter Umgebung testen, oder es können Produkte in Meetings und bei Messen präsentiert werden, ohne dass Material vor Ort sein muss. Kunden können mittels AR ausprobieren, wie Möbel in die Wohnung passen oder Kleidungsstücke am eigenen Körper aussehen, sodass die Zahl an Fehlkäufen und Retouren im Handel zurückgehen. So wird AR auch zum Vertrieb gehören, weil sich Produkte dort testen lassen, wo sie verwendet werden. Und Kunden können die Produkte noch konfigurieren – hinsichtlich Farbe, Maßen und Extras, um die Wunsch-Variante produzieren zu lassen.

Bei AR-VR-Manager finden sich zahlreiche Beispiele für Augmented und Virtual Reality, die Agenturen für verschiedene Branchen umgesetzt haben.

Für VR gibt es noch mehr Branchen, um erfolgreich zu werden, vor allem in Freizeit und Unterhaltung sind die Einsatzfelder vielfältig: Freizeitparks, Games und Pornos nutzen die Möglichkeit, Menschen in virtuelle Welten zu transportieren und neue Erlebnisse zu gestalten. Zum Beispiel lässt sich eine Achterbahnfahrt mit VR kombinieren, sodass man durch eine virtuelle Welt statt entlang der Schienen reist, um noch mehr Nervenkitzel oder Bauchkribbeln zu verursachen.

Geschichten gestalten

2017 haben Teilnehmer des Workshops „The Virtual Reporter – 360° Storytelling“ beim Global Media Forum sieben 360°-Geschichten aus sieben Ländern produziert, um unter dem Titel „Different Voices. One World.“ über ihre Heimatländer zu erzählen.

Auch das Storytelling – das Erzählen von Geschichten – ändert sich durch AR und VR und findet unter neuen Bedingungen statt, weil sich vielfältige Möglichkeiten für die Betrachter bieten. Produzenten und Journalisten müssen neue Erzählstrukturen und -techniken ausprobieren, denn Menschen können sich in VR beliebig umschauen und folgen nur bedingt einer geplanten Handlung. Deshalb kann Storytelling in VR eher nicht linear stattfinden, sondern in Episoden, die miteinander verbunden sind, aber abhängig vom Verhalten der Betrachter in beliebiger Reihenfolge funktionieren. Deshalb experimentieren Produzenten und Journalisten, wie man die Aufmerksamkeit gewinnen und führen kann, etwa wenn in VR auch gesprochen wird oder etwas passiert, sind Signale hilfreich, um den Blick zu lenken – beispielsweise durch eingeblendete Schallwellen, die zur Audio-Quelle führen.

Journalism360 ist ein Blog, das sich dem Storytelling und der Berichterstattung im 360°-Format widmet. Mehr zum Thema „Immersive Storytelling“ gibt es auch beim Google News Lab.

Storytelling in 360°-Aufnahmen bedeutet, dass der Standort der Kamera auch der Augenhöhe des Betrachters entsprechen sollte und es kein „hinter der Kamera“ mehr gibt, also die Produzenten auch komplett verschwinden müssen, um in Fotos und Videos nicht sichtbar zu sein. Zudem sind Schnitte für VR nicht geeignet, weil sich Betrachter plötzlich in einer anderen Szene befinden und das nicht zum immersiven Charakter von VR passt.

Mehr Erfolg für AR oder VR?

Derzeit ist vor allem das Smartphone eine Schnittstelle zwischen realer und virtueller Welt und kann für AR und VR verwendet werden. Im Spektrum der Mixed Reality wird AR eine weitere Verbreitung und mehr Erfolg prognostiziert, weil auch die reale Welt im Sichtfeld bleibt und man mit anderen Menschen interagieren kann. Zudem ist das Smartphone eine brauchbarere Basis für AR als für VR.

Wie die Zukunft für VR wird, ist noch ungewiss: Zwar ist Immersion vielfältig und reizvoll, aber durch VR sind Menschen von der realen Welt nahezu abgeschnitten, wenn man eine VR-Brille oder HMD vor den Augen und Kopfhörer auf den Ohren hat, sodass die wichtigsten Sinne nur die virtuelle Welt wahrnehmen. Deshalb fehlt die Orientierung und Menschen können sich verletzen oder Unfälle verursachen. Nicht zuletzt sind VR-Brillen und HMDs noch zu schwer und zu klobig, um komfortabel getragen zu werden.

Meistens sind Menschen allein in einer virtuellen Welt, ohne die Erlebnisse teilen zu können. Andere Menschen nehmen nur die kontextlosen Bewegungen von VR-Betrachtern wahr oder können auf einem Bildschirm – ohne Immersion – beobachten, was in VR passiert. Zwar ist es schon möglich, dass sich mehrere Menschen in einer virtuellen Welt begegnen und miteinander agieren, aber für dieses Szenario ist viel Technik nötig. Denn die Bewegungen im Raum und der Körperteile müssen in Echtzeit gemessen werden, um die passenden Bilder aus Millionen Pixeln pro Sekunde zu berechnen und darzustellen, um das Erlebnis zu synchronisieren und keine Motion Sickness zu verursachen. Um die vielen Daten in Echtzeit zu übertragen, ist die VR-Technik noch von Kabelverbindungen zu leistungsfähigen Computern abhängig, die ebenfalls zu den störenden und begrenzenden Faktoren gehören.

Die Zukunft: hyperreal und holoportieren

Was Mixed Reality in Zukunft leisten kann, wird heute als Holoportation und Hyperrealität bezeichnet. Holoportation bedeutet, dass Menschen oder Gegenstände dreidimensional an einem anderen Ort abgebildet werden – und zwar in Echtzeit, sodass auch Bewegungen und Reaktionen übertragen werden.

Bei Hyperrealität geht es darum, die reale und die virtuelle Situation so abzustimmen, dass beide Welten zusammenpassen – beispielsweise, dass Wind und Regen zu spüren oder die Gegenstände, nach denen man greift, auch haptisch vorhanden sind. Was man virtuell erlebt, kann man auch in der realen Welt mit den verbleibenden Sinnen – tasten, riechen und schmecken – wahrnehmen. Gibt es zwischen beiden Welten keine Diskrepanz mehr, wird so die perfekte Immersion geschaffen.

Was Mixed Reality schon heute kann, deutet „Hololens“ an, eine Brille von Microsoft, mit welcher der Blick auf die eigene Umgebung frei bleibt, um dort Programme zu platzieren – zum Beispiel dreidimensionale Avatare oder Dinge.

Zudem wird sich mobile Technik rasant weiterentwickeln und die Schnittstellen zwischen analog und digital oder zwischen real und virtuell werden immer natürlicher und nahtloser sein – und nicht mehr auf Bildschirme begrenzt bleiben. Für AR wird die reale Welt zur Oberfläche, die sich wie ein „Homescreen“ auf dem Smartphone mit digitalen Dingen und Programmen organisieren lässt. So gelten AR-Brillen als ein nächster Trend, weil AR auch die echte Umgebung integriert.
Bestenfalls wird das komplette Spektrum der Mixed Reality verfügbar sein – und der variierende Mix aus analog und digital erfolgreich sein.