Gesichtserkennung und Scanner

Grundsteinlegung eines neuen Museumsgebäudes

Die in die Jahre gekommene Dauerausstellung des Fasnachtsmuseums Schloss Langenstein im Süden Baden-Württembergs wird seit 2017 neu konzipiert. 2022 war die Grundsteinlegung eines neuen Museumsgebäudes, das den Anforderungen eines modernen, digitalisierten, inklusiven und nachhaltigen Museums entspricht und die digitalen Anwendungen von Beginn an integriert.

Die Neugestaltung soll den Besucher*innen mehr Hintergrundinformationen zur Fastnachtskultur, zur Geschichte, zur alemannischen Sprache sowie dem Kulturerbe Südwestdeutschlands bieten und gleichzeitig Bezüge zur Gegenwart herstellen. Die Neuinszenierung soll aber auch den Zauber der Masken und Kostüme näherbringen und den Besucher*innen die Faszination dieses populären Festes durch die Beantwortung von Fragen nach der Verknüpfung von Geschichte, Orten und Menschen, Hintergründen zu Kostümen und Masken sowie der musikalischen Untermalung der närrischen Zeit vermitteln. Ziel der neuen Ausstellung ist es, bisher unentdeckte Besonderheiten der Fastnachtsbräuche sichtbar zu machen, die Besucher*innen stärker einzubeziehen und eine reduzierte und zugleich beeindruckende Präsenz der Exponate zu erlangen.

Die Maskensammlung des Museums besteht aus mehreren hundert Objekten aus dem südwestdeutschen Raum, wovon ein Großteil in 3D eingescannt wurde. Wie können diese Exponate spannender, interaktiv und partizipativ nähergebracht werden, sodass die Besuchenden eine persönliche Bindung mit dem Objekt aufbauen können? Die Lösung wurde in der Entwicklung einer Augmented Reality Anwendung gesehen, die im Folgenden vorgestellt wird.

KI-basiertes Gesichts- und Maskenscanning

Wissen und Inhalte lassen sich nicht nur im Fastnachtsmuseum einfacher und besser vermitteln, wenn zuvor ein emotionaler bzw. persönlicher Bezug erzeugt wurde. Eine allgemeine Information wir somit zu einer persönlichen. Dies gelingt durch den intuitiven Einsatz einer KI, die Masken und Besucher*innen miteinander verbindet.

Onboarding

Die Besucher*innen treten dazu an eine spezielle Onboarding-Station mit interaktivem Bildschirm, der über Buttons und eine Kamera bedient wird. Die Besucher*innen sind aufgefordert, Grimassen zu schneiden, die von der Kamera aufgenommen werden. Das Videomaterial wird von einer dahinterliegenden KI analysiert und mit dem in 3D eingescannten Fundus an Fastnachtsmasken abgeglichen. Je nach Grimasse wird den Besucher*innen ihre individuelle Maske virtuell auf dem Bildschirm aufgesetzt. Zu dieser Maske werden Informationen eingeblendet, die auf die Herkunft und Bedeutung verweisen um eine emotionale Bindung von Besucher*in und Kontext der Maske zu entwickeln. Auf diese Weise wird immaterielles Kulturerbe fassbar und erlebbar und bekommt einen Anwendungscharakter.

Machine-Learning Modul

Der Maskenscanner besteht aus zwei miteinander verknüpften Anwendungen, die unabhängig voneinander nachgenutzt werden können. Zum einen handelt es sich um das Machine-Learning-Modul, das in der Lage ist, die Gesichter der Nutzer*innen mit den zuvor gespeicherten Bilddaten der Masken zu vergleichen und eine passende Maske auszuwählen. Dieses Modul ist unabhängig von der Maskenscanner-Anwendung nachnutzbar und kann für Bildähnlichkeitsvergleiche verwendet werden. Voraussetzung hierfür ist, dass das Modul mit entsprechenden Trainingsdaten ausgestattet wird.

Unity-Anwendung

Das zweite Modul ist die Unity-Anwendung des Maskenscanners selbst. Diese kommuniziert mit dem Machine-Learning-Modul und stellt die Anbindung der Webcam, das Overlay der Masken und die GUI bereit. Dieses Modul kann kombiniert oder einzeln nachgenutzt werden und ermöglicht es andere Masken oder Objekte auf den Gesichtern der Nutzer*innen zu platzieren.

Der dritte nachnutzbare Teil betrifft die 3D-Masken selbst. Diese lassen sich als 3D-Modelle abrufen und in anderen Kontexten und Anwendungen problemlos wiederverwenden.

Nachnutzung und Weiterentwicklung

Automatische Besuchererkennung und Wiedergabe personalisierter Inhalte über „unsichtbaren Guide“

Über Sensoren werden die Besucher*innen während des Besuchs erkannt und personalisiert begleitet. Wir stellen die entsprechenden Algorithmen und Anleitungen zur Nachnutzung zur Verfügung. Der virtuelle Guide ist hardwareunabhängig. Für die Anwendung der Sensoren werden Raspberry Pi 3B oder 4 Einplatinencomputer benötigt. Als Bluetooth-Sender kann Beacontechnologie verschiedner Hersteller benutzt werden.

KI-basiertes Gesichts- und Maskenscanning

Die Besucher*innen treten dazu an eine spezielle Onboarding-Station mit interaktivem Bildschirm, der über Buttons und eine Kamera bedient werden kann. Die Besucher*innen sind aufgefordert, Grimassen zu schneiden, die von der Kamera aufgenommen werden. Das Videomaterial wird von einer dahinterliegenden KI analysiert und mit dem Archivmaterial an Masken abgeglichen. Im Ergebnis wird Besucher*innen ihre individuelle Maske aus dem Fundus digitalisierter Exponate offeriert und virtuell auf dem Bildschirm aufgesetzt. Zu dieser Maske werden Informationen eingeblendet, die auf die Herkunft und Bedeutung verweisen.

Der Maskenscanner besteht aus zwei miteinander verknüpften Anwendungen, die unabhängig voneinander nachgenutzt werden können. Zum Einen handelt es sich um das Machine-Learning-Modul, das in der Lage ist, die Gesichter der Nutzer*innen mit den zuvor gespeicherten Bilddaten der Masken zu vergleichen und eine passende Maske auszuwählen. Dieses Modul ist unabhängig von der Maskenscanner-Anwendung nachnutzbar und kann für Bildähnlichkeitsvergleiche verwendet werden. So können beispielsweise mit Webcams angefertigte Bilder von Besucher*innen auch mit anderen Objekten verglichen werden. Voraussetzung hierfür ist, dass das Modul mit entsprechenden Trainingsdaten ausgestattet wird.

Das zweite Modul ist die Unity-Anwendung des Maskenscanners selbst. Diese kommuniziert mit dem Machine-Learning-Modul und stellt die Anbindung der Webcam, das Overlay der Masken und die GUI bereit. Dieses Modul kann kombiniert oder einzeln nachgenutzt werden und ermöglicht es andere Masken oder Objekte auf den Gesichtern der Nutzer*innen zu platzieren.

Der dritte nachnutzbare Teil betrifft die 3D-Masken selbst. Diese lassen sich als 3D-Modelle abrufen und in anderen Kontexten und Anwendungen problemlos wiederverwenden.

Bereitstellung der Nachnutzung

Die Quelldateien mitsamt technischer Dokumentation stehen anderen Kultureinrichtungen zum Download und zur individuellen Anpassung auf GitHub zur Verfügung. Weitere Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.

Sie sind an der Nachnutzung der digitalen Anwendung interessiert? Bitte wenden Sie sich an Michael Fuchs, info@fasnachtsmuseum.de. Weitere Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.

Anhang

• Dokumentation 2017-2020 (inkl. Anleitung Photogrammetrie)
• Systemdesign und technische Dokumentation Personalisierte Stationen
• Technische Dokumentation Sensoren
• UX-Tests 2020
• AR Anwendung mit AR-Brille: Ein Erfahrungsbericht
• KI im Museum, Veröffentlichung in der Museumskunde, Band 84 sowie Gestensteuerung und taktile Interfaces für die Mensch-Maschine-Kommunikation
• Erfahrungsbericht: Kostengünstige 3D-Scanning Technologien

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

Das Narretarium – das 360°-Projektionskino im Fastnachtsmuseum

Museen der Schwäbisch-alemannischen Fastnacht

Für das gemeinsame Erleben der 360-Grad-Filme von Fastnachtsbräuchen wurde eine sogenannte teilstationäre 360°-Kuppel aufgebaut.

Digitale Vermittlungstools

Gesichtserkennung und Scanner

Museen der Schwäbisch-alemannischen Fastnacht

Mittels Gesichtserkennung werden die Gesichter der Besucher*innen eingescannt. Eine dahinterliegende Künstliche Intelligenz analysiert die Gesichter und gleicht sie mit konkreten Masken aus der Sammlung ab. Daraufhin wird Besucher*innen eine vom System ausgewählte Maske virtuell “aufgesetzt” und bewegt sich mit dem echten Konterfei mit. Zusatzinformationen erklären die jeweiligen Maskentypen.

Digitale Vermittlungstools

Masken der Welt im Fasnachtsmuseum Schloss Langenstein

Museen der Schwäbisch-alemannischen Fastnacht

Dieser Beitrag widmet sich der Augmented Reality Anwendung „Masken der Welt“ der Dauerausstellung des Fasnachtsmuseums Schloss Langenstein.

Alle anzeigen