Auf der NAB in Las Vegas stellt das Fraunhofer Heinrich-Hertz-Institut aktuelle Innovationen aus dem Bereich immersiver Bildtechnologien vor (Fraunhofer-Stand SU4916). Der Öffentlichkeit wird erstmals der Video-Codec der nächsten Generation sowie ein Demonstrator für durchgängiges Live-Video-Streaming mit einer Auflösung größer als 4K für Virtual Reality (VR) vorgestellt. Außerdem werden die aktuellen Entwicklungen von 3D Human Body Reconstruction für Virtual und Augmented Reality gezeigt.
Innovative Videokodierungstechnologie für den HEVC-Nachfolger
Komprimierte Videodaten nehmen schneller zu als jemals zuvor. Bereits heute bilden sie den mit Abstand höchsten Anteil von Bits im Internet und im mobilen Datenverkehr. Dies veranschaulicht den Bedarf nach noch effizienterer Komprimierung über den aktuellen High Efficiency Video Coding Standard (HEVC) hinaus. Um diese anspruchsvolle Herausforderung zu bewältigen, haben die ITU Video Coding Expert Group (VCEG) und die ISO/IEC Moving Pictures Expert Group (MPEG) bereits 2015 mit der Zusammenarbeit in dem Joint Video Experts Team (JVET) begonnen.
Im Oktober letzten Jahres hat das JVET offiziell dazu aufgerufen, Vorschläge für Videokodierungstechnologien zur HEVC-Nachfolge einzureichen. Das Fraunhofer HHI hat auf diesen Aufruf reagiert und innovative Videokodierungstechnologie zur Verwendung im finalen Standard zum Jahr 2020 vorgeschlagen. Auf der NAB präsentiert das Fraunhofer HHI diesen Codec erstmals der Öffentlichkeit. Der Codec zeigt signifikante Effizienzsteigerungen in der Komprimierung im Vergleich zu HEVC für ein breites Spektrum an Videoinhalten von High Definition (HD) bis hin zu High Dynamic Range Ultra-HD.
Live-Streaming von VR360-Grad 10K-Video mit MPEG-OMAF und HEVC Tiles
Das Fraunhofer HHI präsentiert auf der NAB den weltweit ersten Demonstrator für durchgängiges Live-Video-Streaming von VR360 Videos mit einer Auflösung größer als 4K. Die gezeigte Live-Kette beinhaltet VR360 Video-Aufnahme und Live-Rendering von der Omnicam-360 mit einer Auflösung von 10K x 4K, HEVC Tile-basiertes Live-Encoding mit dem HEVC-Encoder des Fraunhofer HHI, Paketierung der Videoströme mit dem neuen MPEG-OMAF viewport-dependent Medienprofil sowie die Übertragung und Wiedergabe auf neueste VR-Brillen und TV-Bildschirme.
Das Fraunhofer HHI hat ein neuartiges und einzigartig integriertes 360-Grad-Multi-Kamera-Erfassungs- und Beleuchtungssystem zur Erstellung von hochrealistischen Volumetrischen Videos von sich bewegenden Personen entwickelt. Ein Set von 16 Stereokameras erzeugt 3D-Informationen aus allen Blickwinkeln um eine Person herum. Diese 3D-Informationen werden dann in eine konsistente, natürliche und dynamische 3D-Darstellung der Person umgewandelt. Die automatisch berechneten Sequenzen können in VR- und AR-Anwendungen integriert werden.
Innovative Videokodierungstechnologie für den HEVC-Nachfolger
Komprimierte Videodaten nehmen schneller zu als jemals zuvor. Bereits heute bilden sie den mit Abstand höchsten Anteil von Bits im Internet und im mobilen Datenverkehr. Dies veranschaulicht den Bedarf nach noch effizienterer Komprimierung über den aktuellen High Efficiency Video Coding Standard (HEVC) hinaus. Um diese anspruchsvolle Herausforderung zu bewältigen, haben die ITU Video Coding Expert Group (VCEG) und die ISO/IEC Moving Pictures Expert Group (MPEG) bereits 2015 mit der Zusammenarbeit in dem Joint Video Experts Team (JVET) begonnen.
Im Oktober letzten Jahres hat das JVET offiziell dazu aufgerufen, Vorschläge für Videokodierungstechnologien zur HEVC-Nachfolge einzureichen. Das Fraunhofer HHI hat auf diesen Aufruf reagiert und innovative Videokodierungstechnologie zur Verwendung im finalen Standard zum Jahr 2020 vorgeschlagen. Auf der NAB präsentiert das Fraunhofer HHI diesen Codec erstmals der Öffentlichkeit. Der Codec zeigt signifikante Effizienzsteigerungen in der Komprimierung im Vergleich zu HEVC für ein breites Spektrum an Videoinhalten von High Definition (HD) bis hin zu High Dynamic Range Ultra-HD.
Live-Streaming von VR360-Grad 10K-Video mit MPEG-OMAF und HEVC Tiles
Das Fraunhofer HHI präsentiert auf der NAB den weltweit ersten Demonstrator für durchgängiges Live-Video-Streaming von VR360 Videos mit einer Auflösung größer als 4K. Die gezeigte Live-Kette beinhaltet VR360 Video-Aufnahme und Live-Rendering von der Omnicam-360 mit einer Auflösung von 10K x 4K, HEVC Tile-basiertes Live-Encoding mit dem HEVC-Encoder des Fraunhofer HHI, Paketierung der Videoströme mit dem neuen MPEG-OMAF viewport-dependent Medienprofil sowie die Übertragung und Wiedergabe auf neueste VR-Brillen und TV-Bildschirme.
- Capturing: Die OmniCam-360 des Fraunhofer HHI ist ein weltweit einzigartiges System zur Echtzeit-Aufnahme von hochauflösenden VR360 Videos mit einer deutlich höheren Auflösung als 4K. Dank der Echtzeit-Lösung des Fraunhofer HHI werden die zehn Einzelkamera-Segmente nahtlos und ohne Artefakte zu einem hochauflösenden VR360 Video zusammengefügt. Dieses kann ohne Verzögerung auf VR-Brillen übertragen werden, sodass der Zuschauer direkt in das Panoramavideo eintauchen kann.
- Encoding: Die neueste Version des software-basierten Fraunhofer HHI Live-HEVC-Encoders integriert HEVC Tiles für die effiziente Codierung und Übertragung von VR360 Video. Vor dem Encodieren wird das Video der Omnicam-360 in Kacheln zerlegt und die einzelnen Kacheln werden jeweils separat codiert.
- Streaming: Die codierten HEVC Tile-Ströme werden mit dem neuen MPEG-OMAF Viewport-Dependent Media Profile paketiert und mit MPEG-DASH bereitgestellt. Durch die Verwendung von HEVC Tiles und dem MPEG-OMAF Format können Empfangsgeräte, wie zum Beispiel VR-Brillen oder Fernsehgeräte, die passenden HEVC Tiles für eine optimale Auflösung für das Gerät und den Nutzer herunterladen. Im Blickfeld des Nutzers ist die Auflösung hoch, hinter ihm ist sie niedrig. Mit der Kombination von MPEG-OMAF und HEVC Tiles existiert nun ein internationaler Standard zur Verbreitung von hochauflösenden VR360 Videos für Endgeräte unter Verwendung der integrierten Videodecoder.
Das Fraunhofer HHI hat ein neuartiges und einzigartig integriertes 360-Grad-Multi-Kamera-Erfassungs- und Beleuchtungssystem zur Erstellung von hochrealistischen Volumetrischen Videos von sich bewegenden Personen entwickelt. Ein Set von 16 Stereokameras erzeugt 3D-Informationen aus allen Blickwinkeln um eine Person herum. Diese 3D-Informationen werden dann in eine konsistente, natürliche und dynamische 3D-Darstellung der Person umgewandelt. Die automatisch berechneten Sequenzen können in VR- und AR-Anwendungen integriert werden.
