VR Days 2019 in Amsterdam

Welchen Stellenwert werden Mixed Reality, Augmented Reality und Virtual Reality Anwendungen in der nahen und ferneren Zukunft einnehmen, und was muss man jetzt tun, wenn man Lösungen oder Content anbieten will oder umgekehrt solche Lösungen für das eigene Unternehmen nutzen möchte? Solche und andere Fragen sind Thema auf den jährlich in Amsterdam stattfindenden VR Days. Die Veranstalter verstehen die VR Days durchaus als eine Plattform, die alle Beteiligten in dieser Branche zusammenbringt und so die Möglichkeit bietet, künstlerische und soziale Themen zu diskutieren, sich aber auch über so konkrete Punkte wie Entwicklungswerkzeuge und Hardware ebenso wie über Finanzierung und Dienstleister in diesem Bereich zu informieren. Durch die Breite des Angebotes kommt es zu vielen parallelen Themen-Tracks – in diesem Jahr waren das bis zu neun parallele Angebote. Typischerweise haben die Besucherinnen und Besucher allerdings bestimmte Schwerpunkte, so dass diese teilweise massive Parallelität der Ereignisse ein geringeres Problem ist – außer vielleicht für Pressevertreter.

Die Veranstaltung ist nicht weniger als ein großer Rundumschlag zum Thema Virtual Reality und bietet in einem dicht gepackten Programm in drei Tagen praktisch alles, was rund um das Thema VR/AR/XR interessant ist.

Thematisch beginnt das Programm bei der Konzeption von VR Projekten und bietet in Form verschiedener Workshop- und Vortrags-Sessions Informationen zur dramaturgischen und technischen Ausführung, wichtigen Konzepten wie etwa neuen Formen des Storytelling oder Spatial Audio und Entwicklungstools. Auch das Thema Finanzierung von VR-Projekten kommt nicht zu kurz – es gibt sogar einen Programmpunkt, in dem Projektteams und Finanzierer zusammengebracht werden.

Zeitlich sind die drei Tage so aufgeteilt, dass am ersten Tag eine Konferenz im DELAMAR Theater in der Amsterdamer Innenstadt stattfindet, die auch ausgiebig Möglichkeiten fürs Netzwerken bietet. Hier gibt es noch keine parallelen Tracks, sondern Vorträge über Konzepte und Projekte in mehreren Sessions.

Ein thematischer Schwerpunkt der VR-Days waren virtuelle Menschen. Eng damit verbunden sind Kunstprojekte, in denen menschliche Personen mit virtuellen Charakteren interagieren können, so etwa in der interaktiven Oper „Eight“ des niederländischen Komponisten und Universalkünstlers Michel van der Aa, die in Zusammenarbeit mit Singer/Songwriter Kate Miller-Heidke, dem Nederlands Kamerkoor, dem Designer Theun Mosk und der VR-Firma „The Virtual Dutch Men“ realisiert wurde.

In Amsterdam präsentierten Michel van der Aa (rechts) und Roelof Terpstra (links), Firmengründer von The Virtual Dutch Men das Projekt.

Laut Michel van der Aaa erzählt „Eight“ die ergreifende Lebensgeschichte einer Frau in umgekehrter chronologischer Reihenfolge. Mit VR-Brillen und Kopfhörern ausgestattet, bewegen sich die Besucherinnen und Besucher nacheinander durch eine Installation. Sie können physische und virtuelle Objekte manipulieren und die Frau in verschiedenen entscheidenden Momenten ihres Lebens treffen. Die Erinnerungen der Frau sind auf den flexiblen Wänden in Form von interaktiven Hieroglyphen verteilt, die aktiviert werden können. Tatsächliche Korridore verschmelzen fast unmerklich mit virtuellen Korridoren und schaffen so einen unendlichen Raum.

(Update: In Deutschland kann man „Eight“ an wegen der Corona-Krise verschobenen Terminen vom 25.9. – 11.10.2020 im Rahmen der KunstFestSpiele Herrenhausen in Hannover erleben.)

Standort der Veranstaltung für den zweiten und dritten Tag war dann wie in den Vorjahren „De Kromhout Hal“ – im Norden Amsterdams direkt am IJ gelegen – eine ehemalige Industriehalle mit einer Gesamtfläche von über 5000m², die zur Event-Location umfunktioniert wurde. Man sieht dem Gebäude seinen Ursprung noch an – vergleichbare Industriebauten gibt es in Deutschland ja beispielsweise auch im Ruhrgebiet.
Die Haupthalle des ehemaligen Industriegebäudes wurde vor allem als Ausstellungsfläche und für das Catering genutzt. Nebenflächen auf derselben Ebene beherbergten einen weiteren Vortragsbereich sowie die „Church of VR“. Dazu später mehr.

Im ersten Stock angrenzend an eine Galerie an der Längswand der Halle wurden ehemalige Büros zu zwei Seminar- beziehungsweise Konferenzräumen umfunktioniert, in denen zwei der Haupt-Vortragstracks stattfanden. Für zwei Workshoptracks konnte man Räumlichkeiten des angrenzenden „Dansmakers“ nutzen, einem internationalen Tanzproduktionshaus mit Studioflächen und eigener Bühne.

VR-Hardware

Virtual Reality Hardware ist natürlich immer ein interessantes Thema, solange es noch keine Möglichkeit gibt, die menschlichen Sinne frei von Artefakten so zu stimulieren, dass die virtuelle Realität von der realen kaum mehr unterscheidbar ist.
Bei den VR-Brillen ist derzeit ein großes Manko noch die Tatsache, dass man die Bildschirmpixel bzw. die dunklen Stege zwischen ihnen mehr oder weniger deutlich sehen kann (Screen-Door-Effekt), und dass das Gesichtsfeld bei den meisten Brillen deutlich kleiner ist als das periphere Gesichtsfeld des menschlichen Auges.
Die Brute-Force-Lösung in Bezug auf Pixelsichtbarkeit besteht in der Erhöhung der Displayauflösung. Nun sind ja z.B. bei Smartphones inzwischen sog. „Retina-Displays“ an der Tagesordnung, bei denen man aus normaler Leseentfernung keine Pixel mehr erkennen kann. Bringt man diese Displays aber mit einer Okularoptik so nahe ans Auge – z.B. in 5cm Abstand – dass sie einen großen Teil des Gesichtsfeldes einnehmen, so werden die Pixel wieder deutlich sichtbar. Der nahe liegende Weg besteht darin, für die Augendisplays möglichst hochauflösende Panel einzusetzen und eine Optik, die es ermöglicht, ein weites Gesichtsfeld zu überblicken.

Beides gleichzeitig zu leisten ist der Anspruch der neuen Pimax 8K X, die mit zwei 4K-Displays (3840×2160 Pixel, QFHD) aufwarten kann, die nativ angesteuert werden, aber auch die entsprechende Grafikleistung benötigen. Wem es eine halbe Nummer kleiner reicht, kann zur Version 8K+ greifen. Hier sind ebenfalls 4K-Displays verbaut, die aber mit niedrigerer Auflösung von 2560×1440 (WideQHD) angesteuert werden, die in der Brille hochskaliert wird. Um den Preis etwas geringerer Bildschärfe sieht man ebenso kleine Pixel wie bei der 8K X und kommt mit weniger Grafikleistung aus. Obwohl preislich bereits im vierstelligen Bereich angesiedelt, bietet Pimax die Brillen als Consumergeräte sowohl für den High-End-Markt bei VR-Computerspielen an, zielt aber auch auf den professionellen Simulationsmarkt. Die Flugsimulatoranwendung, mit der Pimax die Brillen vorführte, machte jedenfalls ein ziemlich überzeugenden Eindruck – insbesondere weil die Brillen bis dato wohl das größte Gesichtsfeld und gleichzeitig einen relativ großen Sweet-Spot bieten.

Für professionelle Ansprüche, zum Beispiel für Simulationsaufgaben in der Automobilindustrie, bietet der tschechische Hersteller VRgineers die VR-Brille XTAL an. Sie arbeitet mit Displays in WideQHD-Auflösung (2560×1440 Pixel), die nativ angesteuert werden. Die Brille nutzt – entsprechend dem konzipierten Einsatzzweck in der industriellen Simulation – eine aufwändige Optik mit automatischer Einstellung des Augenabstandes. Demonstriert wurde die Brille entsprechend mit der fotorealistischen Simulation eines Automobils. Das Sichtfeld ist, subjektiv betrachtet, etwas kleiner als das der Pimax 8K, jedoch größer als das der aktuellen Consumerbrillen. Wegen der längeren Wartezeiten bei den Demos der High-End-Brillen gestaltete sich ein subjektiver Vergleich die Pixelsichtbarkeit schwierig, auf dem Papier sind die Pixel bei der XTAL etwas größer als bei der Pimax, treten in der Simulation aber kaum störend in Erscheinung.

Eigentlich wäre die Verwendung von höchst auflösenden Augendisplays mit ihrer enormen Gesamtzahl an Pixeln gar nicht notwendig, weil das menschliche Auge seine höchste Auflösung nur im Bereich des schärfsten Sehens hat, dass sich nur über einen Bereich von nur ein bis zwei Winkelgraden erstreckt. Eigentlich müsste man eine sehr hohe Auflösung also nur in diesem Bereich bereitstellen und könnte die Umgebung mit deutlich geringerer Auflösung darstellen. Diesen Ansatz verfolgen die VR-Brillen-Entwickler beim finnischen Hersteller Varjo. Sie verbauen im aktuellen Modell VR-2 pro je Auge zwei Displays unterschiedlicher Auflösung, wobei deren Bilder über einen halbdurchlässigen Spiegel optisch so kombiniert werden, dass ein sehr hochauflösender zentraler von einem niedriger auflösenden Peripherie-Bereich umgeben wird. Beide Displays sind hinsichtlich Farb- und Helligkeitswiedergabe so kalibriert, dass der Übergang kaum sichtbar ist. Der Vorteil: Im Zentralbereich sieht man die Bildschirmpixel tatsächlich fast gar nicht mehr und kann auch sehr feine Strukturen (zum Beispiel kleine Schrift) gut auflösen. Ganz unsichtbar ist der Grenzbereich nicht, weil man bei entsprechend feinen Strukturen im Bild natürlich immer einen Übergang zwischen den verschiedenen Auflösungen sehen kann. Dies könnte man dann vermeiden, wenn man den hoch auflösenden Bereich mit der Blickrichtung nachführen könnte. Das entsprechende Eye-Tracking wäre technisch kein Problem. Für die blickrichtungsabhängige Nachführung des Zentraldisplays hat Varjo auch ein Patent, macht jedoch derzeit keine Aussagen darüber, ob und wann eine solche technische Entwicklung in einem Seriengerät implementiert werden wird.

Natürlich haben Menschen nicht nur einen visuellen Sinn. Für eine plausible Simulation möchte man natürlich auch andere Sinne passend zur virtuellen Umgebung anregen. Relativ nahe liegend – etwa für Trainingsaufgaben in Industrieanwendungen – ist die Simulation von Berührungsreizen.

Systeme für diesen Zweck zeigten mehrere Aussteller, so auch Senseglove, deren System mittels Aktuatoren an den Fingern zieht, sobald die Person in der virtuellen Welt einen Gegenstand greift. In einer Art „Material“datenbank kann für jedes Objekt hinterlegt werden, wie viel Widerstand es einem Greifvorgang entgegensetzen soll. Auf diese Weise können harte und weiche Objekte unterschieden und auch solche realisiert werden, die bei zu viel Krafteinsatz kaputtgehen. Zum subjektiven Eindruck bei den Demos in Amsterdam kann man sagen, dass hier nicht wirklich der Anspruch erhoben wird, einen echten Tast-Eindruck, z.B. der Oberflächenstruktur eines Gegenstandes, zu simulieren – dazu ist der menschliche Tastsinn zu vielschichtig. Vielmehr geht es darum, zum Beispiel beim Training einer Reparatur- oder Konstruktionsaufgabe das Gefühl zu vermitteln, überhaupt etwas in der Hand zu haben.

Die größte Bandbreite an simulierten Sinneseindrücken lieferte vermutlich der niederländische Hersteller Sensiks mit einem telefonzellenähnlichen Produkt, in dem für einen darin sitzenden Menschen Wärmereize, Luftbewegung/Wind, Geruchsreize und natürlich über eine VR-Brille visuelle Reize simuliert werden können. Anwendungen finden sich im Gesundheits- und Wellness-Bereich ebenso wie in der Unterhaltungsindustrie.

Künstliche Intelligenz und
künst­liche Menschen

Wenn über virtuelle Realitäten und deren Anwendungen diskutiert wird, kommen früher oder später auch die Themen künstliche Intelligenz und künstliche Menschen auf den Tisch.
Dieses Thema ist sehr vielschichtig und hat natürlich nicht nur technische, sondern auch soziale, ethische und rechtliche Aspekte.

Virtuelle Youtube-Stars und Influencer*innen (z.B. Lil Miquela) gibt es bereits seit Jahren, seit 2017 gibt es das vom Profi-Fotografen Cameron-James Wilson kreierte virtuelle Supermodel Shudu. Deren Standbilder sind praktisch nicht mehr von denen einer realen Person zu unterscheiden, weshalb Shudu in der Folge auch von namhaften Modemarken als Model gebucht wurde.
Wenn es um mehr geht als um Standbilder, wird es allerdings sehr schwierig, eine überzeugende Nachbildung eines Menschen zu realisieren. Während z.B. Shudu zumindest als Standbild das „Uncanny-Valley“ definitiv überwunden hat, ist das für simulierte Menschen in interaktiven Umgebungen noch sehr schwierig. In Kinofilmen mit hohem CGI-Anteil – als aktuelle Produktion etwa „Alita Battle Angel“ – kann man per Motion- und Performance-Capture die Bewegungsabläufe realer Schauspieler/innen erfassen und hat in der Postproduktion genügend Zeit, die Bewegungsabläufe der animierten Charaktere nachzubearbeiten.

In einer interaktiven Umgebung, wie etwa einer industriellen Trainingssituation oder in Computerspielen ist es sehr aufwändig, ein natürliches Verhalten und einen natürlichen Bewegungseindruck regelbasiert zu simulieren. Außerdem ist für beide genannten Anwendungen der klassische lineare Erzählstil kein gangbarer Weg mehr, da sich durch die Nutzerinteraktion unterschiedliche Handlungsverläufe ergeben werden. Interactive Storytelling ist hier das Stichwort, das auch Thema mehrerer Vorträge war. Immersives Theater löst das Problem durch Einsatz von Schauspielern, die direkt auf Interaktionen reagieren und auch improvisieren können. Durch den personellen Aufwand (jeweils N Schauspieler für eine interagierende Person) wird dieser Weg für die meisten Anwendungen jedoch nicht gangbar sein. Möglicherweise können hier in Zukunft KI-Algorithmen einen Lösungsweg bieten und auch für eine natürlicher wirkende Simulation sorgen.

Die Firma Talespin beispielsweise konzipiert und erstellt Trainingsumgebungen mit simulierten Menschen, die mittels KI auch simulierte soziale und emotionale Intelligenz an den Tag legen. Die visuelle Qualität dieser Simulationen ist so gestaltet, dass sich die teilnehmenden Personen in der simulierten Situation engagieren, sie versucht aber keine fotorealistische Nachbildung von Menschen, um sich erstens vom sog. Uncanny Valley fern zu halten und zweitens den technischen Aufwand nicht überproportional ansteigen zu lassen.

Hinter dem Versuch einer glaubwürdigen Nachbildung eines Menschen in einer virtuellen Umgebung muss natürlich nicht unbedingt gleich der Gedanke eines autonomen, KI-gesteuerten künstlichen Menschen in einer Spiel- oder Trainings-Umgebung stehen. Auch so etwas vermeintlich Einfaches wie eine Telekonferenz in einem virtuellen Raum mit glaubhaften Avataren der Gesprächsteilnehmer ist ein interessanter Use-Case. Einen solchen umzusetzen hat unter anderem das EU Projekt VRtogether zum Ziel, das ebenfalls auf den VR Days präsentiert wurde.

Church of VR

Um sich ein Bild vom Qualitätsniveau aktueller VR-Produktionen machen zu können, gab es in der „Church of VR“ (Bild oben) die Möglichkeit, in ca. 15 Installationen interaktive und an ca. 20 Wiedergabeplätzen mit VR-Brillen nicht-interaktive VR-Produktionen zu erleben. Bei ca. 1800 registrierten Besuchern liegt es natürlich auf der Hand, dass man auch hier nicht alles sehen konnte, wollte man nicht einen großen Teil der Zeit in verschiedenen Warteschlangen verbringen.