MSI Endanwender-Forum

News und Sonderforen => MSI Herstellerinformationen => Thema gestartet von: MSI News am 22. September 2016, 10:37:28

Titel: Mixed Reality (MR) in 9 einfachen Schritten
Beitrag von: MSI News am 22. September 2016, 10:37:28
Seit der Veröffentlichung von VR-Produkten (Virtual Reality) wie die HTC Vive und die Oculus Rift ist die virtuelle Realität zu einem der angesagtesten Themen in diesem Jahr geworden. Damit einher ging ein Zuwachs bei den Verkaufszahlen der VR-kompatiblen High-End-PCs. Als Hersteller für Gaming-Hardware empfiehlt MSI für ein optimales VR-Erlebnis die Verwendung des Motherboards Intel B150 oder höher zusammen mit der Grafikkarte NVIDIA GeForce 1070 oder den Kauf des neuesten AEGIS TI-Desktop-Computers mit VR Link. Auf dieser Seite findest du alle von uns angebotenen VR-kompatiblen Produkte. Auch wir haben ein Spiel veröffentlicht: MSI Electric City. Es wurde dazu entwickelt, die virtuelle Realität kennen zu lernen, und kann auf der entsprechenden Webseite heruntergeladen werden.

Nun möchten wir dir ein paar Tipps zur Gestaltung von Mixed-Reality-Videos geben, die Einblicke in eine virtuelle Welt gewähren sollen. Nachstehend findest du einige erläuternde Videos:
http://www.youtube.com/watch?v=qYfNzhLXYGc (https://www.youtube.com/watch?v=qYfNzhLXYGc)
http://www.youtube.com/watch?v=TckqNdrdbgk (https://www.youtube.com/watch?v=TckqNdrdbgk)
http://www.youtube.com/watch?v=uYYPG4RQ63w (https://www.youtube.com/watch?v=uYYPG4RQ63w)



Schritt 1: Kauf der Ausrüstung und Vorstellung von Konzepten
 
Mixed Reality-Einkaufsliste (https://docs.google.com/spreadsheets/d/14XVVbX42uImZAycQzeutpaG7EIUOYyNcgBE5KsTMFiE/edit?usp=sharing)

Wenn du bereits mit Vive und einem VR-kompatiblen High-End-PC ausgestattet bist, würde dich der Kauf aller in der MR-Einkaufsliste aufgeführten Artikel ca. 800 € kosten (ohne Videokamera). Unter Umständen kannst du jedoch bei günstigen Anbietern Schnäppchen finden.


Konzept:

Es gibt einige Unity-Spiele mit MR-Videounterstützung, darunter Space Pirate Trainer, Job Simulator, Zenblade und Tilt Brush. Hier öffnet sich automatische die MR-Aufnahme, nachdem ein dritter Controller angeschlossen und eine spezielle Konfigurationsdatei erstellt wurde. Der dritte Controller dient der Positionierung der Kamera, mit der die virtuelle Umgebung erzeugt wird. Bei der Bearbeitung der Videodaten des Spiels in der Realität wird der Hintergrund entfernt. In Echtzeit werden dann die verschiedenen Bilder mithilfe der Open Broadcaster Software (OBS) so zusammengesetzt, dass die Mixed Reality entsteht.

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_01.jpg)



Schritt 2: Aufbau eines Greenscreen-Studios

Mithilfe eines Greenscreen-Studios wird der Hintergrund entfernt und durch einen anderen ersetzt. Hierfür benötigst du mindestens drei grüne Tücher – zwei für die Wände und eines für den Boden. Zunächst montierst du ein Gestell an der Wand um die beiden Tücher so aufzuhängen, dass sie sich überlappen. Anschließend kannst du das dritte Tuch einfach auf den Boden legen. Die optische Wirkung entfaltet sich am besten, wenn die Tücher an der Wand straff gezogen und mit einem Klebeband am Gestell befestigt werden, damit sie möglichst faltenfrei sind. Auch die richtige Beleuchtung im Studio spielt eine wichtige Rolle.

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_02.jpg)



Schritt 3: Anschließen einer Videokarte oder -box

Videokarten oder -boxen werden dazu genutzt, Live-Videodaten in der OBS zu erfassen. Der Einbau einer Videokarte ist in der Regel recht aufwendig, da hierzu das Gehäuse des Computers geöffnet werden muss. Daher habe ich mir die Videobox GC550 LGX zugelegt, die über ein USB-Kabel direkt an den PC angeschlossen wird. Es muss nicht das teuerste Modell sein – meiner Einkaufsliste kannst du weitere Empfehlungen entnehmen.

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_03.jpg)



Schritt 4: Erstellung eines Ordners für die Spielkonfiguration

Kopiere folgenden Text in eine Editor-Datei und speichere sie mit der Dateierweiterung ".cfg" als „externalcamera.cfg“. Du kannst auch hier (https://drive.google.com/file/d/0ByJR3tHhfY56b19oaGZvaDlxWDQ/view?usp=sharing) klicken, um die Datei direkt herunterzuladen. In diesem Fall legst du die Datei in dem Verzeichnis ab, von dem du dein MR-Spiel öffnen möchtest (unterstützt werden u. a. die Spiele Space Pirate Trainer, Job Simulator, Zenblade, und Tilt Brush).

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_04.jpg)


x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100//
m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
sceneResolutionScale=0.5



Schritt 5: Positionierung des dritten Controllers nahe der Kamera

Mithilfe des dritten Controllers wird die Position der Kamera ermittelt, daher ist es wichtig, dass er nahe der Kamera platziert und dann nicht mehr bewegt wird. Kameras verfügen in der Regel über einen Zubehörschuh, an dem zusammen mit einem Clip der Controller befestigt werden kann. Alternativ kannst du ihn auch direkt am Blitzgerät der Kamera anbringen. Für meinen Test habe ich den Zubehörschuh des Blitzgeräts der Sony HDR-CX405, einen L-Winkel sowie einen iPad-Clip (nach ein bisschen Suchen hatte dieser schließlich genau die richtige Größe) zur Befestigung des Controllers auf meiner Kamera verwendet.

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_05.jpg)


Zu empfehlen ist eine horizontale Befestigung des Controllers an der Kamera (s. u.), um die Synchronisierung zu erleichtern.

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_06.png)
(Bildquelle: Mixed Reality Trailers: Behind the Scenes)



Schritt 6: Einschalten der Controller in einer vorgegebenen Reihenfolge

Das Unity-Plug-in erkennt den dritten Controller automatisch als denjenigen, der zur Positionierung des Kameraobjektivs dient, daher ist es wichtig, dass die Controller in der folgenden Reihenfolge eingeschaltet werden:




Schritt 7: Starten eines Spiels im MR-Modus

Für unser Beispiel haben wir Space Pirate Trainer verwendet. Vergewissere dich, dass sich die Datei „externalcamera.cfg“ im Spielverzeichnis befindet, starte das Spiel und befolge diese Anweisungen:


(http://msi-gaming.de/files/pic-upload/VR/MixedReality_07.jpg)
(Das sind die vier Bereiche: oben links: Vordergrund; unten links: Kamerablickwinkel – Controller 3; oben rechts: Hintergrund; unten rechts: First-Person-Blickwinkel.)


Schritt 8: Einrichtung der OBS

In diesem Beispiel wird ein Full-HD-Bildschirm (1080 p) verwendet:



Schritt 9: Synchronisierung von Kamera und Controller

Dies ist der letzte und schwierigste Schritt. Die Datei „externalcamera.cfg“ gibt den Abstand zwischen der Kamera und Controller 3, die Winkeldifferenz zwischen ihnen sowie den Sichtfeldwert (FOV) der Kamera an. Eine genaue Synchronisierung lässt sich durch die korrekte Anpassung der in diesem Dokument angegebenen Perimeter erzielen. Führe hierzu folgende Schritte aus:

(http://msi-gaming.de/files/pic-upload/VR/MixedReality_13.jpg)
(Die Positionierung und Ausrichtung der Kamera sowie die voreingestellte Position des Controllers sollten wie oben dargestellt gewählt werden.)





http://www.youtube.com/watch?v=phAjPzzIxZ4 (https://www.youtube.com/watch?v=phAjPzzIxZ4)
(Diese Aufnahme habe ich während meines Tests angefertigt. Das Ergebnis wäre noch besser gewesen, wenn ich die Feinabstimmung genauer vorgenommen hätte.)

------------
Wir danken dem Autor The CY vielmals für seinen Beitrag.