El proceso de componer o colocar a los actores contra un telón de fondo que en realidad no existe es tan antiguo como el cine mismo, y siempre ha sido doloroso. Netflix tiene una nueva técnica que se basa en el aprendizaje automático para hacer parte del trabajo duro, pero requiere iluminar a los actores en magenta brillante.
Durante décadas, el método más simple de composición ha sido la combinación de colores, donde los actores se paran contra un fondo brillante (originalmente azul, luego verde) que puede identificarse fácilmente y reemplazarse con cualquier cosa, desde un mapa del clima hasta una batalla con Thanos. Se dice que el primer plano está “apagado” y el fondo es un canal “alfa” transparente manipulado junto con los canales rojo, verde y azul.
Es fácil y económico, pero tiene algunas desventajas, incluidos problemas con objetos transparentes, detalles finos como el cabello y, por supuesto, cualquier otra cosa con un color similar al fondo. Sin embargo, por lo general es lo suficientemente bueno como para que los intentos de reemplazarlo con métodos más sofisticados y costosos (como una cámara de campo de luz) languidezcan.
Sin embargo, los investigadores de Netflix están tratando de hacer precisamente eso, combinando lo antiguo y lo nuevo que puede ofrecer una composición simple e impecable, a costa de una gran configuración de iluminación en el set.
Como se describe en un artículo publicado recientemente, su “Pantalla verde magenta” produce resultados impresionantes, esencialmente poniendo a los actores en un sándwich iluminado. Detrás de ellos verde claro (iluminación activa, no de fondo); en el frente, una mezcla de rojo y azul, creando colores contrastantes dramáticos.
Actores iluminados en púrpura sobre un fondo de pantalla verde. Créditos de la imagen: netflix
La apariencia resultante en el set probablemente hará que incluso el artista de postproducción más experimentado se niegue. Por lo general, desea iluminar a sus actores con luz brillante y bastante natural, por lo que, si bien es posible que necesiten un poco de impulso aquí y allá, se ven relativamente normales en la cámara. Pero si se iluminan solo con luz roja y azul, la apariencia se distorsiona por completo porque, por supuesto, la luz normal no tiene una gran parte de su espectro recortado.
Pero la técnica también es inteligente porque al hacer que el primer plano sea solo rojo/azul y el fondo solo verde, simplifica el proceso de separación de los dos. Una cámara normal que normalmente capturaría estos colores capturaría rojo, azul y alfa en su lugar. Esto hace que los tapetes resultantes sean extremadamente precisos, sin artefactos resultantes de la necesidad de separar el espectro de entrada completo del fondo de espectro limitado clave.
Por supuesto, parece que simplemente reemplazaron una dificultad con otra: el proceso de composición ahora es fácil, pero es difícil devolver el canal verde a los sujetos con luz púrpura.
Esto debe hacerse de manera sistemática y adaptativa, ya que los temas y las composiciones varían, pero un enfoque lineal “ingenuo” para inyectar verde da como resultado una apariencia descolorida y amarillenta. ¿Cómo se puede automatizar? ¡IA al rescate!
El equipo entrenó el modelo de aprendizaje automático con sus propios datos de entrenamiento, esencialmente tomas “simuladas” de escenas similares pero iluminadas normalmente. Una red neuronal convolucional recibe fragmentos de la imagen de espectro completo para compararlos con imágenes iluminadas en magenta y desarrolla un proceso para restaurar rápidamente el canal verde faltante de una manera más inteligente que un simple algoritmo.
El algoritmo simple conduce a resultados deficientes (arriba), mientras que el modelo ML más sofisticado produce colores muy cercanos a la realidad subyacente. Créditos de la imagen: netflix
Por lo tanto, el color se puede restaurar sorprendentemente bien en la publicación (es “prácticamente indistinguible” de la realidad terrestre en la cámara), pero aún existe el problema de que los actores y el escenario deben iluminarse de esta manera horrible. Muchos actores ya se están quejando de lo antinatural que es trabajar frente a una pantalla verde: imagina hacerlo bajo una luz dura e inhumana.
El artículo, sin embargo, analiza este problema con la capacidad de “multiplexar el tiempo” de iluminación, básicamente encendiendo y apagando la iluminación magenta/verde varias veces por segundo. Esto es una distracción (e incluso peligroso) cuando se hace a 24 veces por segundo (es decir, la velocidad de fotogramas de la mayoría de las películas y programas de televisión), pero cuando cambian la luz más rápido, 144 veces por segundo, parece “casi constante”.
Sin embargo, esto requiere una sincronización compleja con la cámara, que solo necesita capturar la luz en breves momentos cuando la escena es morada. También deben tener en cuenta los fotogramas que faltan para el movimiento…
Como puede ver, esto todavía es muy experimental. Pero también es una forma interesante de abordar el viejo problema de la producción de medios con un enfoque nuevo y de alta tecnología. Eso no habría sido posible hace cinco años, y aunque puede o no ser aceptado en el set, definitivamente vale la pena intentarlo.