Qu'est-ce que la production virtuelle XR?

Introduction: Avec le développement de l'industrie du divertissement virtuel, de plus en plus de programmes télévisés et en ligne ont commencé à utiliser la technologie de diffusion virtuelle à grande échelle. Récemment, la technologie XR a commencé à apparaître dans des soirées de soirée à grande échelle, y compris le gala du Spring Festival, qui est rafraîchissant pour le public.

Lors du concert virtuel immersif du groupe des filles "City of Virtual Reality" le mois dernier, Iqiyi, qui a parié sur la production virtuelle, a encore une fois démontré les effets visuels "onike" de la technologie de production virtuelle XR. Semblable au "Mojito" de Jay Chou au gala du festival du printemps de cette année, la technologie XR peut être considérée comme une révolution dans l'expressivité et l'innovation de l'industrie du contenu.

▼ The9 Girl Group "City of Virtual Reality" Concert virtuel immersif

XR Performance virtuelle "Mojito" a terminé à distance et synchrone à différents endroits du gala du festival du printemps

Forbes a prédit en 2019 que le marché XR devrait croître 8 fois au cours des deux prochaines années, et la taille du marché dépassera 209 milliards de dollars d'ici 2022.

1. Qu'est-ce que XR?

2 Pourquoi est-il si populaire récemment?

3 Comment XR fonctionne-t-il en production?

4 Quelle est la connexion et la différence entre XR et la production virtuelle?

5 Qu'est-ce que la production virtuelle XR?

6 Cas de production XR

7 En conclusion

Qu'est-ce que XR?

▼ Performances virtuelles et émissions en direct à l'aide de la technologie XR

XR (réalité étendue) est un terme utilisé pour décrire un environnement ou un comportement interactif qui combine des éléments virtuels et réels. Bien que XR soit généralement considéré comme incluant AR (réalité augmentée), VR (réalité virtuelle) et MR (réalité mixte), il a une signification particulière dans la production de films, de télévision, de diffusion et de divertissement en direct. À l'heure actuelle, XR est devenu le courant dominant de l'industrie de la radiodiffusion virtuelle.

Pourquoi est-il si populaire récemment?

▼ Extension de l'environnement virtuel de la scène virtuelle XR

Dans la description de l'industrie il y a quelques années, XR ressemblait plus à une description générale de la technologie AR et VR. Il peut être utilisé pour faire référence à un système intégré qui comprend les mondes virtuels et réels, et peut même être équivalent à une technologie de capture de mouvement spécifique, une application AR ou un jeu VR. Mais dans le domaine de la production de contenu, il est spécifiquement appelé un flux de travail qui comprend des écrans LED, des systèmes de suivi de la caméra et des moteurs graphiques puissants. Il s'agit d'une méthode de production virtuelle qui place les artistes dans le monde virtuel en temps réel sans écrans verts et processus de post-production.

▼ Scène musicale de science-fiction créée par xr

Comment XR fonctionne-t-il en production?

Dans la production XR, les écrans LED de haute qualité (généralement présentés sous forme d'écrans anneaux ou d'écrans sphériques) affichent simultanément des environnements virtuels 3D préchargés par des moteurs graphiques (généralement en utilisant un moteur ou un encoche Unreal), et ces LED forment également l'arrière-plan pour le tournage ou les événements en direct. Lorsqu'un système de suivi de caméra précis est ajouté, la caméra commence à se déplacer autour des éléments réels et virtuels qui sont combinés de manière transparente dans l'environnement LED, donnant au public qui observe à travers la perspective de la caméra une illusion de fusion et d'immersion.

▼ Disposition et installation typiques de la scène virtuelle XR

Avantages de la production XR:

Processus de production et d'édition immersifs et en temps réel

Les acteurs, les hôtes et les producteurs peuvent voir l'environnement virtuel sur site, leur permettant d'ajuster et de guider les performances ou de tirer sur le site, en réduisant le temps et le budget passés en post-production. En termes simples, c'est "la prépositionnement post-production". De plus, la production virtuelle résout les coûts de transport de l'équipage et les coûts d'attente environnementale pour la prise de vue de l'emplacement. Autrement dit, vous pouvez reproduire et modifier l'environnement requis à tout moment sans attendre la pluie ou le coucher du soleil.

▼ Diffusion météorologique virtuelle à l'aide de la technologie XR

Véritable éclairage interactif sur place:

L'éclairage est fourni par l'écran d'affichage LED sur le site XR, ce qui aide l'intégration transparente des personnes réelles et des environnements virtuels et réduit le temps pour d'autres ajustements d'éclairage. Ceci est particulièrement adapté au tournage d'objets réels avec une réflectivité élevée, ce qui nécessite de véritables informations de réflexion environnementale et d'éclairage sans avoir besoin de post-synthèse.

▼ Interaction à l'aide d'accessoires d'éclairage suivis et positionnés

Pas de débordement de couleur et de synthèse mate:

Dans les environnements de prise de vue d'écran vert traditionnel, il faut souvent beaucoup de temps pour effectuer un traitement mat fin et résoudre les problèmes de débordement des couleurs, tandis que XR ne nécessite pas du tout mate, et la scène est directement hors de l'objectif.

▼ Passer de l'environnement virtuel XR à l'écran LED réel sur le site

Correction de l'objectif rapide:

Dans la prise de vue traditionnelle de l'écran vert, le temps de correction de l'objectif de la caméra virtuelle prend souvent plusieurs heures, tandis que la correction du système de suivi de la caméra virtuelle sur la caméra XR ne prend que quelques minutes, ce qui réduit considérablement le temps d'interruption et de préparation sur le site et permet la prise de vue sur plusieurs scènes et scénarios de session en peu de temps.

▼ Modules LED librement assemblés et extensibles

Quelle est la connexion et la différence entre XR et la production virtuelle?

En fait, beaucoup de gens ont des doutes. De nombreux écrans XR sont récemment associés à des studios virtuels, à des fêtes en soirée et à des conférences de presse virtuelles. XR est-il plus utilisé pour les activités de diffusion? C'est une mauvaise vue. XR n'est pas seulement utilisé dans les émissions en direct et autres activités, mais elle peut également être utilisée pour la production virtuelle de cinéma et de télévision, à savoir VP (production virtuelle) que nous avons souvent mentionnée auparavant. La production virtuelle peut être simplement considérée comme le flux de travail de l'utilisation des technologies VR et de jeu pour tourner des films.

▼ Le site de production virtuel LED de la série télévisée américaine "The Mandalorian" similaire au XR mentionné précédemment, la production virtuelle repose également sur l'arrière-plan fourni par l'écran LED comme environnement, mais le sol est souvent construit avec de vrais matériaux de paysage, et tous les processus de production sont collectés via les caméras, sans avoir besoin d'une expansion en dehors de l'écran LED. L'environnement XR Virtual Studio que nous voyons souvent a un écran de plancher LED et nécessite une synthèse d'extension virtuelle de l'environnement externe LED. De plus, la production virtuelle repose fortement sur la coopération du département d'art et des artistes virtuels pour créer une qualité d'environnement réelle et virtuelle au niveau du cinéma.

▼ Site d'installation de LED et d'équipement de production virtuelle XR typique

En fait, la production virtuelle s'appuyant sur la projection n'est pas une nouvelle chose. Dès les années 30 à 1960 à Hollywood, de nombreux films ont utilisé la technologie de projection arrière. Les acteurs se tenaient devant un écran avec une image projetée dessus, qui était souvent utilisée pour tirer l'environnement mobile à l'extérieur de la fenêtre de la voiture sous une lentille fixe. Mais à ce moment-là, il n'a été utilisé que comme complément du tir conventionnel en raison de l'absence d'un système de suivi de la caméra.

▼ Technologie de projection arrière utilisée par James Bond dans le film 007

Application de l'industrie de XR:

Activités d'entreprise:

Aujourd'hui, les entreprises considèrent de plus en plus XR comme une nouvelle façon de résoudre le problème des réunions à longue distance. Les réunions virtuelles, les présentations virtuelles et même les lancements de produits peuvent utiliser la technologie XR pour améliorer l'expérience immersive des participants et les faire ressentir vraiment la culture et le concept de la marque.

▼ Les clients ont été transmis à distance à l'écran LED XR à travers la synthèse de l'écran vert

▼ SITE D'INSTALLATION DE SUDIO Virtual Studio

Éducation:

XR peut plonger les élèves dans l'enseignement à distance dans des scènes réalistes, permettant aux étudiants de mieux comprendre et d'apprendre les connaissances dans des situations virtuelles simulées et de laisser une profonde impression.

▼ Afficher la texture du sol conduit à l'effet AR à huis caméra

Film:

XR offre des opportunités de tournage de films, réduisant le temps de trajet pour le personnel et contactez les risques pendant l'épidémie. En post-production, les écrans LED peuvent fournir des alternatives plus rapides, plus faciles et de meilleure qualité aux écrans verts, à raccourcir les cycles de production et à prendre des décisions visuelles plus créatives en temps réel.

▼ Le site de production virtuelle a mené "Solo: A Star Wars Story"

Studio de télévision :

Dans l'environnement en studio, les écrans LED fournissent un contenu clair à haute résolution et l'éclairage en temps réel. Bien que les caméras soient nécessaires pour les collecter à la fin, le contenu en temps réel permet à l'hôte de mieux interagir avec l'environnement virtuel au lieu de deviner et de marcher aveuglément sur place comme auparavant.

▼ Studio virtuel de l'équipe Xite Studio

Écran de musique :

Les artistes VJ peuvent utiliser XR pour contrôler et présenter des clips musicaux en direct, permettant au moteur de générer des improvisations en temps réel pour créer des possibilités narratives illimitées et permettre au public de ressentir le monde merveilleux au-delà de la portée de la LED.

▼ Application de la technologie XR sur la scène interactive VJ Music

ESports :

Les écrans LED produisent de véritables réflexions et ombres, ce qui peut réduire la charge de travail de la post-production. La scène des sports électroniques plus avant-gardiste et divertissante est très adaptée à l'assistance et à l'interprétation de XR, permettant aux créatures virtuelles et aux personnages du jeu d'apparaître de manière réaliste dans l'arène, et le public et les interprètes peuvent voir le contenu CG et l'interagir avec plus réaliste.

▼ XR Synthetic Live Broadcast au jeu e-Sports WePlay Dota2

Mais-principaux technologies de la production XR :

Les technologies utilisées par XR sont simplifiées comme suit: système de suivi de la caméra, plate-forme logicielle Virtual Studio, serveur multimédia, moteur de rendu en temps réel, etc.

Depuis le film de 1998 "Run Lola Run", l'industrie du jeu a subtilement influencé et infiltré les industries du cinéma et de la télévision et des nouveaux médias, et a même changé les habitudes esthétiques du public, rendant les gens modernes habitués au rythme rapide des jeux et des coups de mouvement subjectifs plus immersifs. Les développeurs de moteurs de jeu grand public (Unity 3D, Unreal) entrent également ambitieux dans les domaines en dehors de l'industrie du jeu, tels que des films d'animation, des performances, etc. Les moteurs de rendu en temps réel spécifiquement pour les performances de scène ont également commencé à apparaître (comme Notch).

▼ Environnement virtuel et accessoires virtuels interactifs fabriqués avec un moteur Notch

Les scènes virtuelles sont généralement pré-faites dans un moteur Unreal Engine ou en encoche. Auparavant, il était nécessaire de modéliser dans des logiciels DCC tels que C4D et Maya, d'importer le moteur, d'ajouter des lumières et des textures, de définir des animations et de faire des tests interactifs à l'avance.

▼ L'interface de fonctionnement de Notch et les performances des effets de particules abstraits

▼ L'interface de fonctionnement du moteur Unreal et les performances des scènes en béton

D'après la préférence du moteur, Notch peut offrir de meilleures performances en temps réel des particules dynamiques, adaptées aux projets visuels abstraits à haute dynamique tels que VJ, ou utilisé seuls pour la production des effets AR de premier plan de XR. Unreal est plus enclin à produire des scènes en béton et complexes, avec plus d'outils et de plug-ins pour aider, et peut rapidement créer des effets réalistes.

▼ Cartographie d'image des espaces virtuels et réels du stade XR

À mesure que la technologie de radiodiffusion virtuelle devient plus diversifiée et plus complexe, des fonctions telles que l'aperçu en temps réel 3D, la projection stéréoscopique (cartographie 3D), les effets interactifs en temps réel et le contrôle de diffusion multimédia ont commencé à être intégrés via des serveurs et que les appareils matériels avec différentes fonctions peuvent être connectés de manière transparente avec des serveurs.

▼ Équipement lié au serveur de médias et à la diffusion sur l'étape XR

Dans les projets virtuels XR, le serveur de déguisement et la plate-forme sont principalement utilisés au pays et à l'étranger. Son serveur multimédia équivaut à un pont entre le monde réel et le monde virtuel. Il correspond aux informations de mouvement de la caméra virtuelle avec la vraie caméra et mappe les informations de l'image à l'écran LED et les élargit à l'extérieur de la plage. Ses fonctions incluent également la correction de la caméra et de l'objectif, la cartographie spatiale, la correction des couleurs et la prise en charge des moteurs de rendu tels que Unreal, Unity et Notch.

▼ Système de suivi et de positionnement de Mo-Sys Startracke r

Dans la sélection des équipements de suivi, similaires à la production virtuelle d'écran vert, l'équipement et les fournisseurs de services comprennent: Mo-Sys, STYPE, BlackTrax, Optitrack, Vicon, etc., qui sont divisés en capture optique infrarouge infrarouge active et passive, et leurs données de suivi et les ajustements de positionnement peuvent être intégrés au serveur de médias.

▼ Système de capture de mouvement optique Optitrack qui a été acquis par une entreprise nationale

En plus du logiciel Virtual Studio fourni par Disguise, l'équipe peut également utiliser des solutions de plate-forme logicielle Virtual Studio d'autres marques, telles que le pixotope, la densité zéro, la tempête cérébrale, etc.

▼ L'interface d'opération de Pixotope, une plate-forme logicielle Virtual Studio

▼ Le graphique de flux de la structure de solution à une seule caméra de Pixotope, une plate-forme logicielle Virtual Studio

La solution Pixotope est principalement utilisée dans la radiodiffusion à grande échelle, les événements sportifs, les sports électroniques et d'autres domaines de diffusion en direct, tels que le "Super Bowl", la Finale de la League of Legends et le réseau de télévision européen.

▼ La relation spatiale entre les scènes virtuelles du logiciel Pixotope et les éléments synthétiques réels

Pixotope est une solution logicielle ouverte pour créer rapidement des studios virtuels, une réalité augmentée et des graphiques en temps réel. Il possède un matériel commercial puissant conçu spécifiquement pour se connecter avec les technologies des autres partenaires et les sources de données externes. Comme zéro densité, Pixotope est une solution logicielle Virtual Studio native basée sur un moteur Unreal.

▼ La télé-réalité virtuelle "Lost in Time"

Lors de la cérémonie d'ouverture du championnat du monde de la Ligue des légendes 2018 de Riot Games qui s'est tenue à Incheon, en Corée du Sud, le groupe Virtual Idol K / Da Girl a parfaitement interprété la musique de danse AR réaliste "pop star" grâce à la technologie fournie par Pixotope, attirant plus de 90 millions de téléspectateurs en ligne, y compris le public.

▼ Finales de League of Legends K / Da Girl Group Virtual Live Broadcast

▼ Événement League of Legends Virtual Idol AR Live Broadcast tenu à Shanghai, en Chine,

En termes de choix de marques LED, de nombreux films, séries télévisées ou courts métrages, notamment "The Mandalorian", "First Man on the Moon" et "Westworld" utilisent principalement des produits LED de marques domestiques LEDFul, telles que la série Black Pearl et la série Diamond, dont le Pitch DOD LED varie de 2,6 mm à 5,2 mm, et est sélectionné selon la distance entre la caméra et le panneau LED. En outre, la série LED en pleine couleur à points de petits fabricants de fabricants nationaux est également le premier choix pour de nombreuses conférences de presse virtuelles et émissions de variétés cinématographiques et télévisées.

▼ Les écrans LED de la série BP2 et CB5 de Roe ont été utilisés dans "The Mandalorian"

Production virtuelle de la série Disney + Star Wars "The Mandalorian"

En 2019, Jon Favreau, le producteur qui a terminé le tournage de "The Lion King", a utilisé la technologie XR pour la première fois dans la série Star Wars de Disney "The Mandalorian", tirant la moitié des scènes de l'environnement LED. L'équipe de Favreau a construit un écran LED de 20 pieds de haut (écran annulaire de 270 °) pour fournir aux acteurs et au personnel des environnements photo-réalistes pour des scènes telles que des planètes congelées et des déserts stériles, ce qui permet de gagner beaucoup de temps pour la construction de set, la commutation des accessoires et le transfert de trafic dans un espace de diamètre de 75 pieds.

Qu'est-ce que la production virtuelle XR?

▼ Dans les coulisses de la production virtuelle de la première saison de "The Mandalorian"

La performance en direct du rappeur Dave aux Brit Awards :

Lors des Brit Awards 2020, Dave a terminé une performance virtuelle et réelle fascinante à côté du piano configuré par XR. À l'aide du système de suivi de la caméra de Mo-Sys, des effets de particules de Notch et du serveur de projection de Disguise, des animations 3D réalistes ont été affichées sur le piano. Combinée avec le mouvement précis de la caméra, la mélodie et l'expérience visuelle de toute la chanson ont atteint un point culminant.

▼ Des images en coulisses de la performance de Dave

La performance de Katy Perry aux finales américaines d'Idol :

La diffusion en direct des finales américaines d'Idol a été produite et mise en œuvre par l'équipe XRStudios technologiquement avancée pour les projets XR, en utilisant le serveur multimédia de Disguise, et les effets spéciaux ont été produits par l'équipe Silent Partner Studios dans Notch VFX. Beaucoup de gens sont curieux de savoir cette performance

Les écrans XR peuvent se fondre de manière transparente dans l'environnement environnant et fournir de superbes écrans visuels. En tirant parti des caractéristiques et des avantages uniques des écrans LED, vous pouvez créer une expérience engageante et immersive. Si vous souhaitez en savoir plus, veuillez contacter LEDFUL.