¿Qué es la producción virtual XR?

Introducción: Con el desarrollo de la industria del entretenimiento virtual, cada vez más programas de televisión y en línea han comenzado a usar la tecnología de transmisión virtual a gran escala. Recientemente, XR Technology ha comenzado a aparecer en fiestas nocturnas a gran escala, incluida la Gala del Festival de Primavera, que es refrescante para la audiencia.

En el inmersivo concierto virtual del grupo de niñas9 "Ciudad de la realidad virtual" el mes pasado, Iqiyi, que apostó a la producción virtual, una vez más demostró los efectos visuales "soñados" de la tecnología de producción virtual XR. Similar al "mojito" de Jay Chou en la Gala del Festival de Primavera de este año, se puede decir que la tecnología XR es una revolución en la expresividad e innovación de la industria de contenido.

▼ THE9 Girl Group "City of Virtual Reality" Concierto virtual inmersivo

XR Rendimiento virtual "Mojito" completado de forma remota y sincrónica en diferentes ubicaciones en la Gala del Festival de Primavera

Forbes predijo en 2019 que se espera que el mercado XR crezca 8 veces en los próximos dos años, y el tamaño del mercado superará los US $ 209 mil millones para 2022.

1. ¿Qué es XR?

2 ¿Por qué es tan popular recientemente?

3 ¿Cómo funciona XR en producción?

4 ¿Cuál es la conexión y la diferencia entre XR y la producción virtual?

5 ¿Qué es la producción virtual XR?

6 Caso de producción de XR

7 En conclusión

¿Qué es XR?

▼ Actuaciones virtuales y transmisiones en vivo utilizando tecnología XR

XR (realidad extendida) es un término utilizado para describir un entorno o comportamiento interactivo que combina elementos virtuales y reales. Aunque se considera que XR generalmente incluye AR (realidad aumentada), VR (realidad virtual) y MR (realidad mixta), tiene un significado especial en cine, televisión, transmisión y producción de entretenimiento en vivo. En la actualidad, XR se ha convertido en la corriente principal de la industria de transmisión virtual.

¿Por qué es tan popular recientemente?

▼ Expansión del entorno virtual de la etapa virtual XR

En la descripción de la industria hace unos años, XR era más como una descripción general de la tecnología AR y VR. Se puede utilizar para referirse a un sistema integrado que incluye los mundos virtuales y reales, e incluso puede ser equivalente a una tecnología específica de captura de movimiento, aplicación AR o un juego VR. Pero en el campo de la producción de contenido, se conoce específicamente como un flujo de trabajo que incluye pantallas LED, sistemas de seguimiento de cámara y potentes motores gráficos. Es un método de producción virtual que coloca a los artistas en el mundo virtual en tiempo real sin pantallas verdes y procesos de postproducción.

▼ Escenario musical de ciencia ficción creado por XR

¿Cómo funciona XR en producción?

En la producción de XR, las pantallas LED de alta calidad (generalmente presentadas como pantallas de anillo o pantallas esféricas) muestran simultáneamente entornos virtuales 3D precargados por motores gráficos (generalmente usando un motor irreal o muesca), y estos LED también forman el fondo para la filmación o los eventos en vivo. Cuando se agrega un sistema de seguimiento de cámara preciso, la cámara comienza a moverse alrededor de los elementos reales y virtuales que se combinan sin problemas en el entorno LED, lo que le da a la audiencia que observa a través de la perspectiva de la cámara una ilusión de fusión e inmersión.

▼ Diseño e instalación típicos de la etapa virtual XR

Beneficios de la producción de XR:

Proceso de producción y edición inmersiva y en tiempo real

Los actores, los anfitriones y los productores pueden ver el entorno virtual en el sitio, lo que les permite ajustar y guiar las actuaciones o disparar en el sitio, reduciendo el tiempo y el presupuesto dedicado a la postproducción. En pocas palabras, es el "preposicionamiento de postproducción". Además, la producción virtual resuelve los costos de transporte de la tripulación y los costos de espera ambiental para el disparo de ubicación. En pocas palabras, puede reproducir y modificar el entorno requerido en cualquier momento sin esperar la lluvia o la puesta de sol.

▼ Transmisión del clima virtual utilizando la tecnología XR

Iluminación interactiva real en el sitio:

La iluminación es proporcionada por la pantalla LED en el sitio XR, que ayuda a la integración perfecta de personas reales y entornos virtuales y reduce el tiempo para más ajustes de iluminación. Esto es particularmente adecuado para disparar objetos reales con alta reflectividad, lo que requiere información e iluminación de reflexión ambiental real sin la necesidad de después de la síntesis.

▼ Interacción utilizando accesorios de iluminación rastreados y posicionados

Sin desbordamiento de color y síntesis mate:

En los entornos tradicionales de disparo de pantalla verde, a menudo lleva mucho tiempo realizar un procesamiento mate fino y solucionar problemas de desbordamiento de color, mientras que XR no requiere mate en absoluto, y la escena está directamente fuera de la lente.

▼ Cambiar del entorno virtual XR a la pantalla LED real en el sitio

Corrección de lente rápida:

En el disparo tradicional de la pantalla verde, el tiempo de corrección de lentes de la cámara virtual a menudo lleva varias horas, mientras que la corrección del sistema de seguimiento de la cámara virtual en la cámara XR solo lleva unos minutos, lo que reduce en gran medida la interrupción y el tiempo de preparación en el sitio y permite disparar a través de múltiples escenas y escenarios de sesión en poco tiempo.

▼ Módulos LED ensamblados y expandibles libremente

¿Cuál es la conexión y la diferencia entre XR y la producción virtual?

De hecho, muchas personas tienen dudas. Muchas pantalla XR recientemente están asociadas con estudios virtuales, fiestas nocturnas y conferencias de prensa virtual. ¿Se usa más XR para actividades de transmisión? Esta es una vista incorrecta. XR no solo se usa en transmisiones en vivo y otras actividades, sino que también se puede utilizar para la producción virtual de cine y televisión, a saber, VP (producción virtual) que a menudo mencionamos antes. La producción virtual se puede considerar simplemente como el flujo de trabajo del uso de tecnologías de realidad virtual y juegos para filmar películas.

▼ El sitio de producción virtual LED de la serie de televisión estadounidense "The Mandalorian" similar al XR mencionado anteriormente, la producción virtual también se basa en el fondo proporcionada por la pantalla LED como el entorno, pero el suelo a menudo se construye con materiales de escenario reales, y todos los procesos de producción se recopilan a través de cámaras, sin la necesidad de expansión fuera de la pantalla LED. El entorno de estudio virtual XR que a menudo vemos tiene una pantalla de piso LED y requiere una síntesis de expansión virtual del entorno externo LED. Además, la producción virtual depende en gran medida de la cooperación del departamento de arte y los artistas virtuales para crear una calidad de entorno real y virtual a nivel de película.

▼ Sitio típico de instalación de equipos y LED de producción virtual XR

De hecho, la producción virtual que depende de la proyección no es algo nuevo. Ya en la década de 1930 a la década de 1960 en Hollywood, muchas películas utilizaron tecnología de proyección trasera. Los actores se pararon frente a una pantalla con una imagen proyectada, que a menudo se usaba para disparar el entorno móvil fuera de la ventana del automóvil debajo de una lente fija. Pero en ese momento, solo se usó como un suplemento para los disparos convencionales debido a la falta de un sistema de seguimiento de cámara.

▼ Tecnología de proyección trasera utilizada por James Bond en la película 007

Aplicación de la industria de XR:

Actividades corporativas:

Hoy, las empresas están considerando cada vez más XR como una nueva forma de resolver el problema de las reuniones de larga distancia. Las reuniones virtuales, las presentaciones virtuales e incluso los lanzamientos de productos pueden usar la tecnología XR para mejorar la experiencia inmersiva de los participantes y hacer que realmente sientan la cultura y el concepto de la marca.

▼ Invitados transmitidos de forma remota a la pantalla LED XR a través de la síntesis de pantalla verde

▼ Sitio de instalación de estudio virtual de reunión interior

Educación:

XR puede sumergir a los estudiantes en la enseñanza remota en escenas realistas, permitiendo a los estudiantes comprender y aprender mejor conocimiento en situaciones virtuales simuladas y dejar una impresión profunda.

▼ Mostrar textura del LED de tierra al efecto AR en la cámara

Película:

XR brinda oportunidades para el rodaje de películas, reduciendo el tiempo de viaje para el personal y los riesgos de contacto durante la epidemia. En la postproducción, las pantallas LED pueden proporcionar alternativas más rápidas, más fáciles y de mayor calidad a las pantallas verdes, acortando los ciclos de producción y tomando decisiones visuales más creativas en tiempo real.

▼ Lideró el sitio de producción virtual de "Solo: A Star Wars Story"

Estudio de televisión :

En el entorno de estudio, las pantallas LED proporcionan contenido e iluminación claros de alta resolución en tiempo real. Aunque se necesitan cámaras para recopilarlas al final, el contenido en tiempo real permite al host interactuar mejor con el entorno virtual en lugar de adivinar y pisar ciegamente el acto como antes.

▼ Estudio virtual del equipo de Xite Studio

Pantalla de música :

Los artistas de VJ pueden usar XR para controlar y presentar videos musicales en vivo, lo que permite que el motor genere improvisaciones en tiempo real para crear posibilidades narrativas ilimitadas y dejar que la audiencia sienta el maravilloso mundo más allá del alcance del LED.

▼ Aplicación de la tecnología XR en el escenario de VJ Music Interactive

Deportes electrónicos :

Las pantallas LED producen reflexiones y sombras reales, lo que puede reducir la carga de trabajo de la postproducción. La escena más vanguardista y entretenida de los deportes electrónicos es muy adecuada para la asistencia e interpretación de XR, lo que permite que las criaturas y personajes virtuales del juego aparezcan de manera realista en la arena, y la audiencia y los artistas pueden ver el contenido de CG e interactuar con él de manera más realista.

▼ XR Synthetic Live Broadcast en Weplay Dota2 E-Sports Game

Tecnologías principales de producción de XR :

Las tecnologías utilizadas por XR se simplifican de la siguiente manera: sistema de seguimiento de cámara, plataforma de software de estudio virtual, servidor de medios, motor de representación en tiempo real, etc.

Desde la película de 1998 "Run Lola Run", la industria del juego ha influido e infiltrado sutilmente en el cine, la televisión y las nuevas industrias de los medios, e incluso ha cambiado los hábitos estéticos de la audiencia, lo que hace que las personas modernas sean acostumbradas al ritmo rápido de juegos y tomas de movimiento subjetivo más inmersivo. Los desarrolladores de los motores de juego convencionales (Unity 3D, Unreal) también están entrando ambiciosamente en campos fuera de la industria del juego, como películas animadas, actuaciones, etc. Los motores de representación en tiempo real específicamente para actuaciones en el escenario también han comenzado a aparecer (como Notch).

▼ Entorno virtual y accesorios virtuales interactivos hechos con motor de muesca

Las escenas virtuales generalmente están preparadas en un motor irreal o en un motor de muesca. Anteriormente, era necesario modelar en el software DCC como C4D y Maya, importar el motor, agregar luces y texturas, establecer animaciones y hacer pruebas interactivas con anticipación.

▼ La interfaz operativa de Notch y el rendimiento de los efectos de partículas abstractas

▼ La interfaz operativa de Unreal Engine y el rendimiento de las escenas concretas

A partir de la preferencia del motor, Notch puede proporcionar un mejor rendimiento en tiempo real de partículas dinámicas, adecuadas para proyectos visuales abstractos de alta dinámica como VJ, o usado solo para la producción de los efectos AR en primer plano de XR. Unreal está más inclinado a producir escenas concretas y complejas, con más herramientas y complementos empaquetados para ayudar, y puede crear rápidamente efectos realistas.

▼ Mapeo de imágenes de espacios virtuales y reales de la etapa XR

A medida que la tecnología de transmisión virtual se vuelve más diversa y compleja, las funciones como la vista previa en tiempo real 3D, la proyección estereoscópica (mapeo 3D), los efectos interactivos en tiempo real y el control de transmisión de archivos multimedia han comenzado a integrarse a través de servidores, y los dispositivos de hardware con diferentes funciones pueden estar conectados sin problemas con los servidores.

▼ Equipo relacionado con el servidor de medios y el control de transmisión en la etapa XR

En los proyectos virtuales XR, el servidor y la plataforma disfrazados se utilizan principalmente en el hogar y en el extranjero. Su servidor de medios es equivalente a un puente entre el mundo real y el mundo virtual. Coincide con la información de movimiento de la cámara virtual con la cámara real y asigna la información de la imagen a la pantalla LED, y la expande fuera de la gama. Sus funciones también incluyen corrección de cámaras y lentes, mapeo espacial, corrección de color y soporte para representar motores como Unreal, Unity y Notch.

▼ El sistema de seguimiento y posicionamiento de Mo-Sys Startracke riñonal

En la selección de equipos de seguimiento, similar a la producción virtual de pantalla verde, los proveedores de equipos y servicios incluyen: Mo-Sys, Stype, BlackTrax, OptItrack, Vicon, etc., que se dividen en captura óptica infrarroja activa e pasiva, y sus datos de seguimiento y ajustes de posicionamiento pueden integrarse en el servidor de medios.

▼ Optitrack Sistema de captura de movimiento óptico que ha sido adquirido por una empresa nacional

Además del software virtual Studio proporcionado por disfraz, el equipo también puede usar soluciones de plataforma de software de estudio virtual de otras marcas, como pixotope, densidad cero, tormenta de cerebro, etc.

▼ La interfaz de operación de Pixotope, una plataforma de software de estudio virtual

▼ El diagrama de flujo de la estructura de solución de cámara única de Pixotope, una plataforma de software de estudio virtual

La solución Pixotope se usa principalmente en transmisión a gran escala, eventos deportivos, deportes electrónicos y otros campos de transmisión en vivo, como el "Super Bowl", la Final de la Liga de Legends y la Red de Televisión Europea.

▼ La relación espacial entre las escenas virtuales del software de Pixotope y los elementos sintéticos de la vida real

Pixotope es una solución de software abierta para crear rápidamente estudios virtuales, realidad aumentada y gráficos en tiempo real. Tiene un potente hardware comercial diseñado específicamente para conectarse con las tecnologías de otros socios y las fuentes de datos externas. Al igual que la densidad cero, Pixotope es una solución de software de estudio virtual nativo basada en Unreal Engine.

▼ Reality show virtual "perdido en el tiempo"

En la ceremonia de apertura del Campeonato Mundial League of Legends 2018 de Riot Games celebrada en Incheon, Corea del Sur, el grupo virtual Idol K/DA Girl realizó perfectamente la música realista de la música dance de la "estrella pop" a través de la tecnología proporcionada por Pixotope, atrayendo a más de 90 millones de espectadores en línea, incluido el público.

▼ Finales de League of Legends K/da Girl Group Virtual Live Broadcast

▼ Evento de League of Legends Virtual Idol AR Live Broadcast celebrada en Shanghai, China

En términos de la elección de las marcas LED, muchas películas, series de televisión o cortometrajes, incluidos "The Mandalorian", "First Man on the Moon" y "Westworld" utilizan principalmente productos LED de marcas nacionales Ledful, como la serie Black Pearl y la serie Diamond, cuyos rangos LED DOT rangos de 2.6 mm a 5.2 mm, y se selecciona de acuerdo a la distancia de la cámara a la cámara a la cámara. Además, la serie LED Small Dot Pitch de fabricantes nacionales Led es también la primera opción para muchas conferencias de prensa virtual y programas de variedades de cine y televisión.

▼ Las pantallas LED de la serie BP2 y CB5 de Roe se usaron en "The Mandalorian"

Producción virtual de la serie Disney + Star Wars "The Mandalorian"

En 2019, Jon Favreau, el productor que terminó de filmar "The Lion King", utilizó la tecnología XR por primera vez en la serie Star Wars de Disney "The Mandalorian", filmando la mitad de las escenas en el entorno LED. El equipo de Favreau construyó una pantalla LED de 20 pies de altura (pantalla de anillo de 270 °) para proporcionar a los actores y al personal entornos fotográficos para escenas como planetas congelados y desiertos estériles, ahorrando mucho tiempo para la construcción establecida, el cambio de apoyo y la transferencia de tráfico en un espacio de 75 pies de diámetro.

¿Qué es la producción virtual XR?

▼ Detrás de la producción virtual de la primera temporada de "The Mandalorian"

La presentación en vivo del rapero Dave en los Brit Awards :

En los Premios Brit Brit 2020, Dave completó una fascinante actuación virtual y real al lado del piano creado por XR. Con la ayuda del sistema de seguimiento de cámara de Mo-Sys, los efectos de partículas de Notch y el servidor de proyección de disfraz, se mostraron animaciones 3D realistas en el piano. Combinado con el movimiento preciso de la cámara alrededor, la melodía y la experiencia visual de toda la canción llegaron a un clímax.

▼ Imágenes detrás de escena de la actuación de Dave

La actuación de Katy Perry en las Finales American Idol :

La transmisión en vivo de las Finales de Idol American fue producida e implementada por el equipo XRStudios tecnológicamente avanzado para proyectos XR, utilizando el servidor de medios de disfraz, y los efectos especiales fueron producidos por el equipo Silent Partners Studios en Notch VFX. Mucha gente siente curiosidad por esta actuación

Las pantallas XR pueden mezclarse sin problemas en el entorno circundante y proporcionar impresionantes pantallas visuales. Al aprovechar las características y ventajas únicas de las pantallas LED, puede crear una experiencia atractiva e inmersiva. Si desea obtener más información, comuníquese con Ledful.