Postproduktion von 360-Grad-Aufnahmen – Die Aufbereitung von Handhabung von großen Datenmengen

Auswahl des Filmequipments des Fastnachtsmuseums Narrenschopf

Das Teilprojekt M4 Fastnachtsmuseum Narrenschopf hat als klein(st)es Museum im Verbund ein entsprechendes Budget mit dem gearbeitet werden musste. Große Investitionen konnten deshalb nicht geleistet werden, weshalb nach Möglichkeiten gesucht wurde, die beste Qualität mit gegebenen Mitteln zu erreichen. Zum Projektstart im Mai 2017 war die Fastnachtssaison bereits beendet, was einen zeitlichen Vorlauf eingeräumt hat. Um für die kommende Fastnachtssaison vorbereitet zu sein, wurde schon kurz nach Projektstart die Einarbeitung in die Technik vorgenommen. Bei der Vorgehensweise wurde deshalb die Technik früh angeschafft, um im Anschluss die Bräuche anhand der technischen Rahmenbedingungen auswählen zu können.

Der Vergleich zu teuren Kamerasystemen >10.000€

Teure Kamerasysteme (d.h. professionelle 360-Grad-Kameras) wären im Verleih bereits zu teuer und auch nicht im Sinne des Projekts für Nachnutzbarkeit geeignet. Der Vorteil bei dieser Technik ist, dass sie in der Nachbearbeitung viel Zeit sparen und natürlich auch qualitativ hochwertige Bilder liefern kann. 

Zum Vergleich: Eine Nokia Ozo kostete zum Zeitpunkt 2017 ca. 50.000.- € (02.2019 ca. 19.000.- €, 02.2020 gebraucht 3.500.- €)  Mit diesem System wären Filme mit einer Auflösung von 4k bei 25 fps möglich. Stereoskopie wäre ebenfalls eine Option, würde aber die Anforderungen an die Abspieltechnik enorm erhöhen. 

Der Vergleich zu günstigen Kamerasystemen <1.000€

Günstigere Optionen wären kleine Kamerasysteme für ca. 200.- € bis 500.- €, die nur zwei Linsen verwenden und somit bedeutend weniger Nachbearbeitung erfordern. Ein weiterer Vorteil ist, dass sie eine viel größere Nähe zum Geschehen zulassen. Leider besitzen sie nicht annährend Auflösungen und Bildraten für eine Kuppelprojektion oder eine Präsentation in einer VR-Brille. 

Ein Vergleich hierzu: Eine Samsung Gear 360 kann ebenfalls ein 4k Video bei 25 fps aufnehmen, liefert im Vergleich jedoch kein konkurrenzfähiges Bild und liefert bei etwas schlechteren Lichtverhältnissen kein erkennbares Video mehr. 
Im Laufe des Projekts erschien die nächste Generation der GoPro Kameras u.a. die GoPro Fusion, die sich qualitativ von der Konkurrenz absetzen konnte. Dieses Modell wurde bei einigen Fastnachtsveranstaltungen als Zusatzkamera für besonders schwer zu erreichende Positionen verwendet. 

Die Wahl des Museums 1.000-10.000€

Ein GoPro Omni Rig für ca. 6.000.- € wäre eine Möglichkeit gewesen. Dieses System erstellt fast fertige 360-Grad Videos mit einer Auflösung von 4k bei 25 fps. Leider war das System zu Projektbeginn technisch nicht auf dem neuesten Stand. Deshalb wurde auf die nächste Generation der GoPro Kameras gewartet und eine ähnliche Lösung wie das GoPro Omni System angestrebt.

Die Wahl fiel auf die moderaten semi-professionellen (Preis ca. 3.000.- €, Stand 2017) Systeme. In diesem Fall 6x GoPro Hero6 Kameras mit einem Rig. Die Kameras wurden gewählt, weil sie im Verhältnis bedeutend günstiger als teure Systeme sind und bessere Auflösungen bieten bei höheren Bildfrequenzen (nachfolgend Framerate oder Frames per second = fps). Bei dieser Lösung ist der Nachbearbeitungsaufwand bedeutend größer, ermöglicht aber ebenfalls die Möglichkeit, hochauflösendes Videomaterial von bis zu ca. 11k bei 25 fps und ca. 8k bei 50 fps aufzunehmen. Bei den geplanten 360-Grad Projektionen ist die Nachnutzbarkeit des Materials wichtig, weshalb bei unserer Wahl eine hohe Auflösung und Framerate besonders berücksichtigt wurden. Der Mehrwert einer hohen Auflösung ist, dass auf größerer Fläche mehr Detail erhalten bleibt. Eine höhere Bildfrequenz bspw. 25 versus 50 hat den Vorteil, dass auch schnelle Bewegungen flüssiger erscheinen und Unschärfen / verschwommene Bilder (bei Kopfdrehung mit der VR-Brille) nicht so schnell entstehen. Bei der Präsentation in VR-Brillen, kann es einen bedeutenden Einfluss darauf haben, ob jemandem schlecht wird oder nicht. Die Wetterfestigkeit der Kameras war ebenfalls ein ausschlaggebender Faktor: Während der Fastnacht sind Schnee, Regen oder auch wasseraktive Bräuche keine Seltenheit und ein aktiver Schutz kann bei den geplanten 360-Grad-Aufnahmen niemals gegeben werden.

Die Softwarekompatibilität spielte bei der Kamerawahl ebenfalls eine wichtige Rolle: GoPro war (Stand 2017) bereits auf dem Markt mit eigener Software etabliert. Diese war spezialisiert auf das Stitching von 360-Grad Videos und sogar Touren in 360-Grad. Daher bot es sich an, alles aus einem „Guss“ zu machen und auf die passende Software zurückzugreifen, die auf die Kameras zugeschnitten ist. Der Vertrieb der Software Autopano Video Pro wurde 2018 eingestellt. Für zukünftige Aufnahmen würde die Software „Mistika VR“ verwendet werden.

Die vielen Möglichkeiten eines Kamera Rigs

Mit Festlegung auf GoPro Kameras und dem Ziel, der Ausstattung eines GoPro Omni Systems nahezukommen, wurden zunächst an der Hochschule Furtwangen zu Testzwecken zwei Rigs für GoPro Hero4 Kameras gedruckt. Mit Blick auf die technische Entwicklung wurden Hero4 Kameras zu Testzwecken nur geliehen, um erste Erfahrungen mit der Nachbearbeitung machen zu können. Dazu wurde im Internet nach kostenlosen, fertigen 3D-Meshes bzw. aufbereiteten CAD-Daten gesucht, die ein 3D-Drucker lesen und drucken kann. 

Zu Beginn gab es die Überlegung, den Boden nicht zu filmen, weil das Stativ retuschiert werden müsste und es auch auf dem Boden nichts Interessantes zu sehen gäbe. Dafür würde ein Rig wie das in Abbildung 2 in Frage kommen, welches für die Blickrichtung nach oben eine Kamera und für das Hauptgeschehen in der Rundumansicht 5 Kameras verwendet. Weil der Himmel meistens nicht viel wechselnden Bildinhalt hat, wäre diese Lösung durchaus gut. Weil aber das Rig keine Halterung für die zusätzliche Kamera oben hatte, wurde dieses nicht weiterverwendet.

Ein weiteres, geneigtes Rig ist auf Abbildung 4 zu sehen, es bot die Möglichkeit eine komplette 
360 x 180 –Grad (VR)Aufnahme zu filmen. Die Erkenntnisse mit diesem Rig zeigten, dass ein System, welches alles aufnimmt für die Zukunft ein besseres Endprodukt abliefert als nur Teilausschnitte eines 360-Grad Videos. Ebenfalls würde sich die Anschaffung von mehr Kameras nicht lohnen, da die Qualität stets besser wird und die Ausgabemedien die Details nicht wiedergeben können. 

Mit Verfügbarkeit der nächsten Generation der GoPro Actioncams wurde auch nach entsprechenden Rigs gesucht. Dabei fiel die Wahl auf zwei unterschiedliche Rigs: Eine sehr stabile Variante Freedom-360 Rig (Abbildung 5), welche einen meterhohen Sturz problemlos übersteht. Der Nachteil dieser Stabilität ist, dass die Kameras sehr fest sitzend eingespannt werden und ein schnelle Bedienung nicht möglich ist. Ein weiterer Nachteil ist, dass bei diesem Rig, die Kameras einen großen Abstand und Versatz zueinander haben (Abbildung 9). Weil die Kameras nicht auf gleicher Linie sind, muss dadurch der Minderabstand von ca. 3m zum filmenden Ereignis (gleicher Abstand wie das GoPro Omni System) relativ groß sein. 

Als Alternative bot sich eine weitaus weniger stabile 3D-gedruckte Variante, die lediglich einen Einschub der Kameras erfordert (Abbildung 10). Diese hat den Vorteil, dass die Kameras durch die Kompaktheit (weniger Abstand zueinander) und Ausrichtung (Kameras ohne Versatz, auf gleicher Linie) den Mindestabstand zum filmenden Geschehen auf teilweise unter 1,5m reduziert werden konnte. Die Handhabung ist vergleichsweise ebenfalls durch Einschub und Erreichbarkeit der Kameras wesentlich besser. 

Vergleich der beiden Favoriten und Erklärung der Wahl

Nachfolgend ein Vergleich der Kamera-Rigs, die Entscheidungen zu visualisieren:

Beide Rigs wurden an verschiedenen Orten und (nicht fastnächtlichen) Veranstaltungen getestet. Die Mindestabstände wurden abgemessen und wie bereits erwähnt festgehalten.

Schnell wurde klar, dass ein Mindestabstand von 3 Metern generell schwer – und während der Fastnacht unmöglich – einzuhalten ist. Zusätzlich würde sich dieser auf die Aufnahmen auswirken und alles in weiter Ferne erscheinen lassen. Ein weiterer Faktor ist der Zeitvorteil durch die Erreichbarkeit der Kameras, welche bei einem teilweise nur minutenlangen Brauch kritisch sind. Folglich fiel die Wahl auf das instabilere Rig, von dem gleich mehrere Modelle als Ersatz erworben wurden.

Zwischen der zweiten und dritten Achse ist ein deutlicher Versatz sichtbar, der in den Abstand zwischen den Kameras vergrößert. 

Die Erfahrung mit dem instabileren Rig hat gezeigt, dass die Verschraubungen regelmäßig nachgezogen werden mussten, da der günstige Preis sich in der Qualität widergespiegelt hat. Das Kameragewinde in diesem Modell hat sich nach einiger Zeit ebenfalls weiter eingedreht und war nach einigen Malen unerreichbar, was das Rig unbrauchbar gemacht hat. Während der Fastnachtsveranstaltungen 2018-2020 wurden insgesamt 3 dieser Rigs durch Aufprall zerstört. Bewährt haben sie sich allerdings trotzdem, da der Kosten-Nutzen-Faktor bei einem Preis von nur 50.- € pro Stück außer Frage ist.

Bei der GoPro Fusion wird noch einmal deutlich, wieso kompakte Systeme einen entscheidenden Vorteil haben: Durch ihre Bauweise ist der Abstand der Linsen zueinander sehr gering, was filmen aus nächster Nähe (ca. 0,5m) möglich macht.

Die Wahl von 360-Grad-Audioequipment

ede GoPro Kamera ist mit einem internen Mikrofon ausgestattet, welches eine mäßige Tonqualität aufnimmt. Erschwerend kommt hinzu, dass die Kamera in einem Rig eingespannt ist und dadurch der Ton gedämpft wird und nicht aus optimaler Richtung aufgenommen werden kann. Glücklicherweise spielt die Qualität des Tons in der Postproduktion eine nebensächliche Rolle. Entscheidend ist, dass er vorhanden sein muss, um eine Synchronisation in der Nachbearbeitung zu ermöglichen. Um die beste Qualität aus den Aufnahmen zu gewinnen, wurde deshalb auf externe Mikrofone zurückgegriffen.

Um die Immersion zu fördern, nehmen wir Ton – genau wie auch Video – in 360-Grad auf. Das hat zur Folge, dass man bspw. im Video vor einem Trommler steht und bei einer Kopfdrehung nach links das Trommeln im rechten Ohr präsenter hört. Dafür verwenden wir das Mikrofon mit integriertem Recorder Zoom H2n, welches den Ton wie gewünscht in 360-Grad aufnehmen kann. Allerdings kann es keine Unterschiede in räumlichen Höhen wahrnehmen. Würde bspw. ein Flugzeug über das Mikrofon fliegen, so würde man, wenn man in der VR-Brille dabei nach oben schaut, keinen Unterschied hören können. Für solche Fälle wird ein Mikrofon Sennheiser VR Mic eingesetzt, welches mit der Hilfe eines Zoom H6 Recorders den fehlenden Kanal aufnehmen kann. 

Ein Sonderfall ist die GoPro Fusion, die eine 360-Grad Tonaufnahme automatisch erstellt. Mit dieser kann direkt gearbeitet werden, da qualitative Unterschiede zu den verwendeten Mikrofonen kaum wahrnehmbar sind.  

Die Wahl des Statives

Um ein besonders immersives Erlebnis zu schaffen, sollten die Aufnahmen aus nächster Nähe und zentral im Geschehen stattfinden. Eingesetzte Stative müssen deshalb zuverlässig, leicht transportabel, widerstandsfähig/robust und schnell anpassungsfähig sein, da diese durch die Gegebenheiten schnell aus oder in neue Geschehen teilweise auch wortwörtlich „eintauchen“ müssen.

Zur Beginn wurden Manfrotto Stative benutzt, die groß und sehr stabil sind. Trotz der langen, im Bild präsenten Beine war auch die Gefahr – neben dem Übersehen werden – größer, von Maskenträgern, die ein eingeschränktes Sichtfeld haben, angerempelt oder umgestoßen zu werden.

Mit der technischen Entwicklung von Kameras wurden neue, spezielle VR-Stative eingeführt. Ein solches „VR-Stativ“ ist deutlich handlicher und durch eine einzelne Teleskopstange leichter anpassbar. Begleitet von kürzeren Stativbeinen, welche weniger stabil aber bedeutend unauffälliger im Nadirpunkt (Boden) des Bildes zu sehen sind. Eine komplette Neuausrichtung der Stativbeine und ein damit verbundenes schrägeres Bild in einer neuen Aufnahme ließ sich dadurch ebenfalls vermeiden.

Ein verstellbarer Kugelkopf wird zusätzlich mit an das Stativ befestigt, auf dem das Rig sitzt. Dieser wird dazu verwendet – auch wenn die Kamera in 360° aufnimmt – die Kamera auszurichten. Es gibt Aufnahmen, wie die der Handwerker, bei denen die Aufnahmen an den statischen Hintergrund/Umgebung angepasst werden können. Durch Ausrichtung des Kugelkopfes ist es möglich, Aufwand in der Nachbearbeitung zu vermeiden. Dabei wird dieser so gedreht, dass eine Kamera möglichst alles erfasst und die Schnittkanten so liegen, dass wichtige Bildinhalte nicht abgeschnitten werden. 

Dies kann anhand von einem Beispiel bei einer Aufnahme des Maskenschnitzers Willi Bucher gesehen werden. Dort wurde die Kameraausrichtung so gewählt, dass Hauptakteur und Reporter/Fragenstellender möglichst nicht in Schnittkanten stehen. Die Kamera wurde bewusst näher an das Fenster gestellt, weil sich in diesem Bereich des Bildes keine (zumindest auffälligen) Bewegungen abspielen. Dadurch kann dieser Bereich im Video leichter retuschiert werden, und der Aufwand in der Nachbearbeitung wird erleichtert.

Auswahl des Zubehörs des Fastnachtsmuseums Narrenschopf

Im folgenden Abschnitten wird das absolut notwendige Zubehör erläutert und aufgelistet das bei den Drehs von 360-Grad-Filmen verwendet wurde.

Akkus und Power-Banks

Zubehör zur externen Stromversorgung ist absolut nötig, weil Fastnachtsveranstaltungen weit länger als eine Akkulaufzeit (Kamera ca. 45-90 Minuten) andauern können. Die Erfahrung zeigte, dass ein Aufladen der Kameras während des Betriebs leider schnell zu einer Überhitzung und dem Stillstand der Aufnahme führte. Zusätzlich geht der wichtige Wasserschutz verloren (was im Frühling und bei Bräuchen im Wasser bei Schnee und Regen nicht von Vorteil ist). Deshalb wurden zusätzliche Akku-Sets beschafft, die während der Aufnahme geladen werden konnten. Bei durchgehenden Aufnahmen kann ist dadurch stets ein voller Akkusatz vorhanden.
Die Wahl auf zwei Power-Banks fiel, weil eine Power-Bank nur eine bestimmte Menge Strom ausgeben kann und somit eine zeitliche Beschränkung hat. Um diese Ladezeit zu halbieren gibt es die zweite Power-Bank. Die Kapazität der Power-Banks mit 20000mAh reichen aus, um einen einzelnen GoPro Akku mit einer Kapazität von 1600mAh ca. 12x zu laden. Bei 6 Kameras lässt sich somit eine Akkukapazität (bei vollgeladenem Equipment) von bis zu 4 Akkusätzen und somit ca. 160-320 Minuten erreichen. Die Laufzeit kann verlängert werden, indem die Kameras nur eingeschalten werden, wenn es auch etwas zu filmen gibt. Somit wären zusätzlich zu zwei vollen Akku-sets (2 Stunden) bis zu ca. 8-10 Stunden Akku-Laufzeit gegeben. Neben zusätzlichen GoPro-Akkus wurden stets zusätzlich Akkus für die Mikrofone organisiert.

SD-Karten

Aufgrund der großen Datenmengen wurden Speicherkarten mit größtmöglichen Speicherkapazitäten, die von den Kameras unterstützen/kompatiblen, ausgesucht. Sobald eine GoPro Hero 6 in 4k mit höchster Auflösung in 4:3 aufnimmt, fallen dabei ca. 4gb Daten alle 6 Minuten an. Bei einer unterstützen SD-Karten Speicherkapazität von 128GB ist es somit möglich bis zu ca. 200 Minuten Filmmaterial aufzunehmen. Bei Audioaufnahmen ist der Speicherbedarf vergleichsweise gering, weshalb 16-64GB ausreichend sind.

Fernbedienung

Eine Fernbedienung ermöglicht das Pairing und Ansteuern aller 6 GoPro Kameras gleichzeitig. Diese war ein wichtiger Bestandteil der Aufnahmen, da nicht zu jedem Zeitpunkt das Aufnahmeset in Reichweite sein konnte. Leider eröffnete sich dadurch eine Fehlerquelle, da bei der Ansteuerung unter Umständen 1-2 von 6 Kameras nicht reagierten. Um zuverlässige Aufnahmen zu erhalten mussten bei jeder Bedienung alle Kameras geprüft werden. Eine Folge von fehlenden Aufnahmen war, dass dadurch – im schlimmsten Fall – unterschiedliche Datenstruktur auf jeder Kamera entsteht, die in der Nachbearbeitung aufwändig sortiert werden musste. Dies ließ sich eindämmen, indem händisch die fehlenden Aufnahmen durch Platzhalter ersetzt wurden (kurze Aufnahme von 1 Sekunde anfertigen). Die sicherste Variante war es, alle Kameras aus unmittelbarer Nähe mit der Fernbedienung einzuschalten und zu prüfen. Ein Ladekabel für die Fernbedienung war ebenfalls stets vorhanden, da auch diese empfindlich auf Temperaturen reagierten.

Kabelbinder

Als sehr praktisch erwiesen sich Klettverschluss-Kabelbinder, welche wiederverwertet werden können. Davon wurden immer mindestens 30 Stück mitgeführt und eingesetzt, baumelnde Kabel zu fixieren.

Reinigungstücher und Wasserabweisung

Brillenputztücher, Mikrofasertücher waren ebenfalls immer Bestandteil des Equipments, um Schmierflecken oder Wassertropfen auf den Linsen zu entfernen. Um letzteres zu reduzieren, wurde regelmäßig wasserabweisendes Mittel auf die Kameralinsen aufgetragen.

Koffer für das Equipment und Erfahrungen

Das komplette Equipment findet sich in einem Hartschalenkoffer sicher verstaut für jede Wetterlage.

Der Mindestabstand ist ein essenzieller Teil bei VR-Aufnahmen. Das Material der einzelnen Kameras muss sich zwingend überlappen, damit in der Nachbearbeitung ausreichend Bild vorhanden ist, um Überblendungen zwischen den einzelnen Kameras möglichst unauffällig zu machen. Bei fehlendem Mindestabstand befindet sich das zu filmende Material / Person in einem „toten Winkel“ (Bild 10, grau schraffierte Flächen). Dadurch fehlt Material, wodurch Personen im Film abgeschnitten erscheinen und folglich Material unbrauchbar wird. Bei kurzen Übergangsbildern, wie in Abbildung 8 zu sehen, ist es zu vernachlässigen. Dieser „tote Winkel wird ebenfalls genutzt, um das Mikrofon so gut wie möglich vor den Kameras zu verstecken. Ein weiteres Problem ist, dass Personen – wie auch bei gewöhnlichen Bildaufnahmen – im Weg stehen und das Geschehen verdecken. Eine Eigenschaft von VR-Aufnahmen hat ebenso zur Folge, dass alles aus der Nähe größer erscheint.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

Der „Narrenspiegel“ – eine AR-Anwendung

Museen der Schwäbisch-alemannischen Fastnacht

Bin das ich? Ein Blick in den digitalen Spiegel verwirrt, denn das Gesicht wird durch eine Fastnachtsmaske vermummt widergespiegelt – die Augmented Reality ermöglicht hier ein Spiel mit der eigenen Identität.

Digitale Vermittlungstools

Postproduktion und Datenverwaltung von 360-Grad-Aufnahmen. Erfahrungen aus dem Fastnachtsmuseum Narrenschopf

Museen der Schwäbisch-alemannischen Fastnacht

Bei 360-Grad-Filmaufnahmen ist die Auswahl valider Szenen und deren Anordnung zu einem stringenten Handlungsablauf angesichts der gewonnenen Datenmengen eine Herausforderung.

Digitale Vermittlungstools

360-Grad-Aufnahmen von Konzeptanfang bis -ende

Museen der Schwäbisch-alemannischen Fastnacht

Eine Übersicht über die inhaltliche, museumsdidaktische und technische Konzeption der Präsentation von 360-Grad-Filmen.

Alle anzeigen