Neue Vermittlungsformate mit VR und AR testen

Virtuelle Prototypen und deren Bedeutung

Im Rahmen des Teilprojekts haben wir das VRlab eröffnet und eine AR-App für die Sonderausstellung „Kosmos Kaffee“ entwickelt. Im Zuge dessen erreichten uns verschiedene Anfragen von Kurator*innen aus dem Deutschen Museum, aber auch von Kolleg*innen anderer Museen zu weiteren Anwendungsmöglichkeiten virtueller Angebote. Vor allem im Rahmen der Umbauarbeiten am Deutschen Museum stellten sich viele Fragen wie Virtual Reality (VR) oder Augmented Reality (AR) Angebote in Dauerausstellungen integriert werden könnten. Deshalb entschieden wir uns, eine Reihe von virtuellen Prototypen in Kooperation mit unterschiedlichen Partner*innen zu entwickeln, um Anwendungs- und Vermittlungsmöglichkeiten sichtbar zu machen. Ein weiterer Grund war aber auch, dass vor der Entwicklung weiterer AR-Angebote und anderer Applikationen für mobile Endgeräte zunächst eine Schnittstelle nötig ist, damit Besucher*innen nur eine App mit allen weiteren Angeboten, statt einer Vielzahl von unterschiedlichen Apps herunterladen müssen.

Wir haben entsprechend Kooperationen mit unterschiedlichen Partner*innen aufgebaut. Einerseits haben wir über die Teilnahme an lokalen Treffen von Softwareentwickler*innen im Bereich VR und AR sowie an Fachmessen ein Netzwerk an klein- und mittelständischen Unternehmen (KMUs) aufgebaut. Andererseits haben wir den Kontakt zu den Münchner Universitäten, aber auch darüber hinaus gesucht. So war es uns möglich, dass wir mit dem Arbeitsbereich Medieninformatik an der Ludwigs-Maximilians-Universität (LMU) mehrere Abschlussarbeiten sowie ein vertiefendes Praktikumsseminar durchführen konnten. Daneben begleiteten wir Abschluss- und Forschungsarbeiten in Kooperation mit der Technischen Universität München, der Universität der Bundeswehr in München sowie weiteren Fachhochschulen in Österreich und der Schweiz. Zusätzlich haben wir über die Teilnahme an Veranstaltungen mit VR- und AR-Künstler*innen Erfahrungen mit neuen Vermittlungsformen gesammelt. Einige der Projekte wurden in der Folge im VRlab ausgestellt, so z um Beispiel im Rahmen des Münchner Science und Fiction Festivals während der Langen Nacht der Museen 2019.

Die im Rahmen all dieser Kooperationen entstandenen Prototypen waren hilfreich im Gespräch und in der Planung mit Kurator*innen. So konnten verschiedene Ansätze des Digital Storytelling nicht nur vorgestellt, sondern direkt getestet werden. Vor allem aber haben uns die Kooperationen häufig auch die Möglichkeit gegeben eine andere Perspektive einzunehmen. Vor allem die Studierendenprojekte waren häufig sehr interessant für uns, weil sie oftmals anderer Erwartungen an virtuelle Ausstellungsangebote hatten als wir, die wir schon länger in diesen Ausstellungsräumen tätig sind.

Virtuelle Prototypen im Rahmen des Teilprojekts

Im Folgenden stellen wir exemplarisch drei unterschiedliche Projekte vor, die dazu beigetragen haben, virtuelle Prototypen zu entwickeln. Zunächst wird der AR-Wettbewerb vorgestellt, den wir gemeinsam mit KMUs durchgeführt haben. Danach stellen wir das gemeinsam mit der LMU durchgeführte Praktikumsseminar vor und geben am Ende noch einen kurzen Überblick über die Erfahrungen, die wir im Rahmen von Kooperationen mit Künstler*innen gemacht haben.

AR-Wettbewerb

Motivation

Das Interesse am Einsatz von Augmented Reality ist an vielen Stellen im Deutschen Museum vorhanden. Allerdings sind konkrete Vorstellungen zu möglichen Einsatzszenarien wenig verbreitet. Auch gibt es noch kaum Erfahrungen mit dem Entwicklungsprozess einer solchen Anwendung. Eine erste Aufwandsabschätzung wird dadurch erschwert. In der Konsequenz werden erste Ideen zum Einsatz von AR von den Fachabteilungen schnell wieder fallengelassen.

Der AR-Wettbewerb hatte daher zum Ziel, durch die Entwicklung von mehreren kleinen AR-Anwendungen zu beispielhaften Themen mit Bezug zum Museum, die Hemmschwelle für die Durchführung eigener AR-Projekte bei den Mitarbeiter*innen zu senken.

Zwar gab es schon eigene Vorstellungen zu konkreten Anwendungen, es wurde jedoch bewusst darauf verzichtet, bestimmte Themen vorzugeben. Stattdessen sollten die Teilnehmer*innen des Wettbewerbs eigenen Ideen vorbringen. Dies sollte den Museumsmitarbeiter*innen neue Einsatzmöglichkeiten zeigen, an die man bisher noch nicht gedacht hat.

Ein weiteres Ziel war es, Kontakte zu jungen Entwicklerfirmen aus der Region zu knüpfen, die Interesse an einer Zusammenarbeit mit Museen haben. Damit sich der Aufwand des Vergabeprozesses lohnt, sollten drei Projekte aus den Vorschlägen zur Umsetzung ausgewählt werden.

Vergabe

Unser kreativer Wettbewerb, der für die Teilnehmer*innen möglichst klar verständlich und einladend wirken sollte, wurde entsprechend an das gesetzlich vorgegebene Vergabeverfahren angepasst. Von besonderer Bedeutung ist die Definition der Bewertungskriterien. Einerseits müssen diese den gesetzlichen Vorgaben folgen. Andererseits dienen sie dazu, es dem Auftraggeber zu ermöglichen, wirklich geeignete und interessante Projekte für eine Umsetzung auswählen zu können.

Ergebnisse

Die ausgewählten Projekte zeigen verschiedene Einsatzmöglichkeiten für AR im Museum. Bei der Umsetzung wurde zum Teil auf Ergebnisse der 3D-Digitalisierung des Deutschen Museums zurückgegriffen.

AR-Diorama

Anhand eines Dioramas in der Keramikausstellung, welches in einer Momentaufnahme die Tätigkeiten in einer spätrömischen Töpferei darstellt, werden die Möglichkeiten einer Augmentierung der Szene mit digitalen Inhalten demonstriert (Abb. 1).

3D-Animationen der dargestellten Figuren lenken den Blick auf diese Details der Szene, die durch Texterläuterungen weiter angereichert werden. Des Weiteren wird der Ofen im Zentrum des Dioramas digital angeschnitten und erklärt. In der Szene befindet sich auch eine rein digital hinzugefügte Figur, von der man etwas über den Herstellungsprozess eines Dioramas erfährt.

Die Anwendung wurde mithilfe der Unity Engine und dessen AR-Foundation SDK  für iOS und Android entwickelt. Voraussetzung für die Nutzung dieser Anwendung ist ein ARKit- bzw. ARCore-fähiges Endgerät. Die App wurde von der Firma elfgenpick aus Augsburg erstellt.

AR-Erlebniswelt Meeresforschung

In der Ausstellung zur Meeresforschung gibt es eine Station zum Thema JAGO, einem Forschungs-U-Boot. Über einer Ansammlung von Mineralien vom Meeresboden hing ursprünglich ein Modell des U-Boots. Dieses Modell wurde in der geplanten AR-Anwendung virtuell wieder hinzugefügt, angereichert mit Erklärtexten, Bildern und einem Video. Man kann bei der Betrachtung des Bootes auch in eine 360° Aufnahme des Interieurs eintauchen.

Die Szene wird zudem erweitert durch die Möglichkeit, 3D-Digitalisate der Mineralien für eine nähere Betrachtung „in der Hand“ zu halten. Eine kleine Spielsequenz lädt zum längeren Verweilen an der Station ein.

Das 3D-Modell der JAGO wurde freundlicherweise vom GEOMAR Helmholtz-Zentrum für Ozeanforschung in Kiel zur Verfügung gestellt. Diese Anwendung wurde für iOS (ARKit) und Android (ARCore) entwickelt mithilfe der Unity-Engine und dessen AR-Foundation-SDK.

Sie funktioniert auch außerhalb der Ausstellung ohne Bildmarker, indem die Objekte frei positioniert werden können. Die App wurde von der Firma Dexperio aus München erstellt.

AR-Navigation

Bei diesem Projekt wurde eine mögliche Lösung für das allgemeine Problem der Wegfindung in einem großen Haus wie dem Deutschen Museum präsentiert, am Beispiel der Ausstellung zur Nanotechnologie. Es funktioniert ohne die Anbringung von Markierungen in den Ausstellungen. Stattdessen wird zuvor die Raumgeometrie des Gebäudes in einer groben Punktwolke aufgenommen. Diese Geometrie wird auf lokalen Servern verwaltet, die in Verbindung mit den mobilen Endgeräten stehen. Smartphones (oder Tablets) senden in regelmäßigen Abständen Schnappschüsse ihrer Umgebung und erhalten als Antwort ihre berechnete Verortung und Orientierung im Raum. Kurzfristige Unterbrechungen dieser Verbindung werden durch das geräteeigene ARKit bzw. ARCore überbrückt.

Diese Anwendung wurde für iOS (ARKit) und Android (ARCore) entwickelt mithilfe der Unity-Engine und dessen AR-Foundation-SDK. Die diesem Anwendungsbeispiel zugrundeliegende Basistechnologie ist nicht Teil der Entwicklung aus dem Wettbewerbsbudget. Die App wurde von der Firma Augmentario aus München erstellt.

Evaluation

Neben der primären Zielgruppe, den internen Mitarbeiter*innen des Museums, war ursprünglich auch angedacht, die Anwendungen von einzelnen Besuchern testen zu lassen. Diese Tests fanden aufgrund der Maßnahmen von COVID-19 nicht mehr statt. Sie wurden lediglich den interessierten Kolleg*innen gezeigt und besprochen, denen diese Anwendungsbeispiele als Inspiration für eigene Projektideen dienen sollen.

Studierendenprojekte

Im Laufe der Projektzeit von museum4punkt0 hat das Deutsche Museum mit unterschiedlichen Universitäten zusammengearbeitet. Dabei sind im Rahmen von Abschlussarbeiten und Seminaren Prototypen entstanden oder es wurden zusätzliche Daten zur Evaluation des VRlabs oder anderer virtueller Angebote erhoben.

Zentraler Ansatz war, ähnlich wie beim AR-Wettbewerb, Prototypen zu entwickeln, die das Gespräch und die Planung rund um neue virtuelle und digitale Angebote in den Ausstellungen des Deutschen Museums (und darüber hinaus) zu unterstützen. In der Kommunikation haben wir dabei immer versucht, möglichst ergebnisoffen vorzugehen und konkret neue Ideen und Ansätze von den Studierenden kennenzulernen. Dabei war uns wichtig, dass die Zusammenarbeit nicht nur für uns, sondern auch für die Studierenden gewinnbringend war. Entsprechend wurden gemeinsame Projekte entweder im Rahmen von Abschlussarbeiten oder durch die Teilnahme an Seminaren durchgeführt. Auch wenn Prototypen danach nicht umgesetzt wurden oder aber nicht über ein Ideenkonzept hinausgingen, haben sie dennoch immer dazu beigetragen neue Ideen im Gespräch mit den Kurator*innen anzuregen und abzuschätzen, welche Ansätze überhaupt umsetzbar sind.

Da die Vorstellung aller Abschlussarbeiten und Kooperationen an dieser Stelle zu umfangreich wäre, stellen wir exemplarisch eine Kooperation im Rahmen eines Seminars und die dabei entstandenen Ergebnisse vor. Im Wintersemester 19/20 veranstaltete die Ludwig-Maximilians-Universität gemeinsam mit dem VRlab am Deutschen Museum ein Praktikum rund um das Thema Digitalisierung in Museen. Die Ziele des Verbundprojekts museum4punkt0 wurden hierbei aufgegriffen und im Universitätsumfeld in kleinen Studierendenprojekten umgesetzt. Die Studierenden bekamen während dieser Zeit die Möglichkeit, Einblicke in den Museumskontext zu gewinnen und ihre im Studium gewonnenen Kenntnisse zur Wissensvermittlung einzusetzen. Als Medium für die Entwicklungen konnte frei zwischen Virtual und Augmented Reality gewählt werden. Die vier hierbei entstandenen Projekte goldbARg, VR-Orgel, TIARA und Playing with Planets werden im Folgenden näher betrachtet:

goldbARg

Die AR-Application „goldbARg“ hat zum Ziel, statische Räume aufzulockern und Wissen durch Interaktion und Re-Kontextualisierung der Exponate vermitteln. Oftmals können die Konzepte hinter einigen Exponaten nicht ausreichend erfasst werden oder die Exponate werden nur einzeln betrachtet und kaum miteinander in Verbindung gebracht. Mixed Reality gibt die Chance, den Nutzer*innen verständliche Konzepte und Mechanismen hinter den Exponaten zu vermitteln. Diese können auf spielerische Art und Weise entdeckt werden und selbst das Interesse von Besucher*innen ohne Vorwissen wecken.

Die Nutzer*innen werden dazu angeregt das Museum zu erkunden, indem Level durch das Einsammeln von Exponaten freigeschaltet und im Spiel angewendet werden können. Durch die Anwendung der Exponate und weiteren Informationen in der App kann fundiertes Wissen vermittelt werden. Zu Beginn eines Levels wird die Spielfläche auf einer beliebigen Oberfläche gesetzt. Das Level lässt sich dabei durch bereits freigeschaltete Objekte in der eigenen “Toolbox” lösen. Mittels Kamerabewegung werden diese Objekte platziert und durch “drag and drop” bewegt. Mit Hilfe von Buttons können Objekte rotiert und höhenverstellt werden. Nachdem die Objekte gesetzt worden sind, wird die Simulation durch die Nutzer*innen gestartet, um somit die Lösung des Levels zu testen.

Bei dem goldbARg-Prototypen wird der Spielfortschritt abgespeichert und bleibt somit ständig erhalten. Alle Level und Spielobjekte sind permanent freischaltbar und können schnell neugestaltet werden .

VR-Orgel

Die virtuelle Orgel ist ein originalgetreuer Nachbau eines Modells, welches auf einem Ausstellungsstück des Deutschen Museums basiert. Als Ergänzung zum Original soll diese Anwendung erweiterte Funktionalitäten und die Bereitstellung von Informationen bieten. Das Ziel ist es den Nutzer*innen die Erkundung eines komplexen Musikinstruments durch aktive Teilnahme zu ermöglichen. Mittels der Interaktion einzelner Orgelbauteile werden den Nutzer*innen gezielte Informationen bereitgestellt. Dadurch bekommt der Betrachter einen Einblick in die komplexe Mechanik der Orgel und nicht direkt einsehbare Funktionen des Musikinstruments. Die Haupteigenschaften dabei sind die Orgel komplett auseinanderzunehmen und durch Interaktion mit dieser, genauere, stichpunktartige Beschreibungen in Form von Audio zu erhalten. Zudem ist es möglich das Musikinstrument mithilfe einer virtuellen Schere zu durchschneiden und die Mechanik von innen zu verfolgen. Die Nutzer*innen haben zudem die Möglichkeit, die Orgel zu spielen. Im weiteren Verlauf des Projektes werden noch weitere Audiobeschreibungen hinzugefügt.

Außerdem soll es möglich sein, die Orgel durchsichtig erscheinen zu lassen und den genauen Windstromverlauf darzustellen, welcher entsteht, wenn die Nutzer*innen auf der Orgel spielen. Bei dem Windverlauf wird durch eine rauchähnliche Animation gezeigt, wie der Wind vom Blasebalg bis zu den Pfeifen strömt und welche Mechaniken im Detail dabei genutzt werden. Durch die Möglichkeit des “Röntgenblicks” können die Nutzer*innen die Orgel von allen Seiten betrachten und bekommen so ein besseres Verständnis für das Orgelsystem. Vor allem die Verbindung aus kreativ-spielerischen Aspekten und mechanisch-technologischen Thematiken macht diese VR-Applikation zu einem lehrreichen und interessanten Erlebnis. Durch eine einfache und dennoch intuitive Gestaltung der Anwendung wird für eine angenehme Heranführung an die virtuelle Realität und ihre Möglichkeiten für jedes Alter gesorgt.

TIARA

Das Projekt TIARA (Technology Impact AR Application) hat es sich zur Aufgabe gemacht, sozio-historische Zusammenhänge der Exponate dazustellen und das didaktische Potenzial von AR als Medium zu nutzen ohne dabei die physischen Exponate in den Schatten zu stellen. Die Besucher*innen werden mit einem Smartphone oder Tablet auf eine Erkundungstour durch das Museum geschickt und bekommen die Möglichkeit, Exponate ihrer Wahl mit Hilfe der TIARA-App zu scannen. In der Anwendung können nach der Aufnahme sofort Zusatzinformationen über das Exponat abgerufen und ein virtuelles Modell des Ausstellungsstückes in den Raum projiziert werden. Das Exponat wird somit für die Besucher*innen virtuell mitnehmbar. Am Ende des Rundgangs wartet eine runde Modellplatte auf die Benutzer*innen auf der sie über ihr technisches Gerät eine einfache Gesellschaft beobachten können.

In diese Gesellschaft lassen sich nun die aufgenommenen Exponate ziehen und ein gesellschaftlicher Wandel durch die Einführung der gewählten Erfindung erleben und entdecken. Die runde Modellplatte fungiert dabei als sozialer Treff- und Austauschpunkt, der zum Diskurs und somit zum kooperativen Lernen anregt. Durch die einfache Handhabung der Applikation ist der Gebrauch sowohl für jung als auch alt ohne große Vorkenntnisse realisierbar. AR ermöglicht es durch seine Vielseitigkeit schwer darstellbare Zusammenhänge verständlich zu vermitteln und macht TIARA zu einem interessanten Erlebnis, das sich modular in jedes Museumskonzept integrieren lässt. Durch den Aspekt der Virtualität schafft es dies ohne dabei einen disruptiven Einfluss auf die bestehende Ausstellung zu nehmen.

Playing with Planets

Die VR-Applikation „Playing with Planets“ gibt den Museumsbesucher*innen die Möglichkeit, die Sonne und den Mond in einem spielerischen Kontext zu verändern und dadurch die physikalischen Gesetzmäßigkeiten zur Lösung von Rätseln zu nutzen. Das Multiplayererlebnis soll durch die virtuelle Veränderung der Temperatur mit Hilfe der Sonne und der Höhe des Wasserspiegels durch den Mond ein Gefühl für astrophysikalische Einflüsse auf unseren Planeten geben. Hierfür beeinflusst ein*e Spieler*in mit Trackern in Mond-, Sonnen- und Erdenform außerhalb der VR-Sequenz den Abstand der Himmelskörper zueinander, während ein*e weitere*r Spieler*in in der virtuellen Realität versucht, in Zusammenarbeit die Aufgaben zu lösen. Durch Playing with Planets ist es nicht nur möglich, experimentell wissenschaftliche Zusammenhänge selbstständig zu erschließen, sondern fördert durch seinen Spielaufbau zusätzlich die Teamarbeit unter den Nutzer*innen. Virtual Reality ermöglicht es als Medium schwer in der Realität darstellbare Informationen visuell und greifbar zu vermitteln. Playing with Planets stellt durch seine einfache Handhabung einen guten Einstieg in VR für Jung und Alt dar.

Kooperationen mit Künstler*innen

Zusätzlich zu Kooperationen mit KMUs und Projekten an Universitäten haben wir vor allem im Rahmen von Veranstaltungen im VRlab auch Kooperationen mit Künstler*innen durchgeführt. Das war ähnlich wie bei den anderen Kooperationen vor allem durch den erzwungenen Perspektivwechsel gewinnbringend. In künstlerischen VR- und AR-Projekten werden Grenzen dieser Technologien entlang des Digital Storytelling häufig nochmal anders ausgelebt und ausgereizt, um die Erfahrungen immersiver und vor allem intensiver zu gestalten. Im musealen Kontext dagegen, denken wir zunächst an das Vermittlungsziel und das ist auch genau richtig. Häufig verstellt uns dieser Ansatz aber auch den Blick auf neue Ansätze der Visualisierung oder des Storytellings. Kooperationen waren deshalb spannend, um neue Ansätze zu testen und diese dann auch in eigene virtuelle Angebote zu übernehmen. Hier haben wir vor allem in der Form kooperiert, dass wir Künstler*innen angeboten haben, ihre Installationen in unserem VRlab zu präsentieren. Damit ermöglichten wir es auch unseren Besucher*innen, immer wieder neue Inhalte und Vermittlungskonzepte der Virtual und Augmented Reality zu erkunden. Für uns bestand durch diese Form der Kooperation aber auch die Möglichkeit, unser Betriebskonzept sowie Alternativen dazu zu testen und direkt zu erproben. Hervorzuheben ist in diesem Rahmen das 2019 durchgeführte „Münchner Science and Fiction Festival“, welches im Rahmen der Langen Nacht der Museen am Deutschen Museum stattfand. Dabei stellten wir auch unser VRlab zur Verfügung. Insgesamt vier VR-Installationen wurden im Zuge dessen den Besucher*innen vorgestellt.

Learnings

Für uns waren die vielen Kooperationen sehr hilfreich für die interne Kommunikation, für das Kennenlernen anderer Vermittlungs- und Visualisierungsansätze, die Erprobung unterschiedlicher Systeme im Betrieb oder als Prototyp, aber auch um unseren Besucher*innen immer wieder neue Inhalte zu präsentieren und den Umgang mit VR und AR zu erleben und zu verstehen. Auch wenn es zunächst zeitlich aufwendig ist ein entsprechendes Netzwerk zu gestalten und den Kontakt zu passenden Partnereinrichtungen an Universitäten herzustellen hat, sich es sich immer gelohnt und wir können nur dazu raten dies häufiger zu tun. Dafür müssen oftmals Universitäten nicht mal vor Ort sein. Wir hatten ebenso Kooperationsprojekte mit Universitäten bzw. Fachhochschulen in Österreich und der Schweiz, bei denen tolle Ergebnisse entstanden sind.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

Eine Virtual Reality Testfläche im Ausstellungsraum

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Das VRlab ermöglicht den Besucher*innen das Ausprobieren und Experimentieren mit VR/AR-Technologien und das Eintauchen in virtuelle Welten der Technik- und Wissenschaftsgeschichte.

Digitale Vermittlungstools

AR-Indoor-Navigation – Prototyp zur markerlosen Wegführung durch das Museum

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Die serverbasierte Augmented Reality-Anwendung ermöglicht eine markerlose Wegführung durch das Museum.

Studien und Handreichungen

Do It Yourself Reality im Klassenzimmer – Ein 3D-Scan-Workshop des Deutschen Museums

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Mithilfe von Laserscans, Streifenlichtscans und Photogrammmetrie-Verfahren werden Exponate als digitale Zwillinge virtuell verfügbar gemacht.

Alle anzeigen