CineMPC en acción. Esquina superior izquierda: muestra el manual del usuario. La zona azul representa la parte de la imagen que debe estar desenfocada, mientras que la zona roja representa la parte de la imagen que debe estar enfocada. Las líneas amarillas son las pautas de composición deseadas. Arriba a la derecha: Salida auxiliar etiquetada para representar información básica utilizada por CineMPC. La imagen está marcada con sobres obtenidos del módulo de percepción y las pautas de composición deseadas. Abajo a la izquierda: filmando dron y objetivos en tercera persona. Abajo a la derecha: sale de la cámara cuando no se utiliza CineMPC para controlar los parámetros internos de la cámara (es decir, enfoque e iris fijos y desenfocado). Fuente: Pueyo et al.
Las nuevas tecnologías, como los algoritmos de inteligencia artificial (IA), los robots móviles y los vehículos aéreos no tripulados (UAV) pueden mejorar las prácticas en una variedad de campos, incluida la cinematografía. En los últimos años, muchos operadores de películas y empresas de entretenimiento han comenzado a explorar el uso de vehículos aéreos no tripulados para capturar videos a vista de pájaro de alta calidad (es decir, videos de ubicaciones específicas por adelantado).
Investigadores de la Universidad de Zaragoza y la Universidad de Stanford crearon recientemente CineMPC, una herramienta informática que se puede utilizar para controlar de forma autónoma las cámaras de vídeo integradas de un dron. Esta técnica, introducida en un artículo publicado anteriormente en arXiv, podría mejorar significativamente las prácticas cinematográficas actuales basadas en UAV.
“Al leer la literatura existente sobre cinematografía autónoma, y drones de filmación autónomos en particular, notamos que las soluciones existentes se enfocan en controlar elementos externos. cámara (por ejemplo, posición de la cámara y panorámica), dijo TechXplore Pablo Pueyo, uno de los investigadores que realizó el estudio. “Sin embargo, según la literatura cinematográfica, uno de los determinantes más decisivos de un metraje bueno o malo controla los parámetros internos de la lente de una cámara, como la distancia de enfoque, la distancia focal y la apertura de enfoque”.
Los parámetros internos de la cámara (por ejemplo, distancia focal, longitud y apertura) son los que determinan qué partes de una imagen son nítidas o borrosas, lo que en última instancia puede cambiar la percepción del espectador de una escena. La capacidad de cambiar estos parámetros permite a los operadores crear efectos específicos, como crear metraje con una profundidad de campo diferente o ampliar de manera eficiente partes específicas de una imagen. El objetivo general del trabajo reciente de Pueyo y sus asociados era lograr un control óptimo de los movimientos del dron de una manera que produjera automáticamente este tipo de efectos.
En uno de sus estudios anteriores, Pueyo y sus colegas desarrollaron un enfoque llamado CinemAirSim. Esta técnica les permitió simular drones con una cámara cinematográfica incorporada que podían controlar. Al integrar CinemAirSim con CineMPC, un nuevo algoritmo que desarrollaron, los científicos pudieron simular el efecto que ciertos cambios en los parámetros internos de la lente tendrían en todo el metraje de video recopilado por el dron.
“Utilizando el conocido Model Predictive Control (MPC), un método avanzado de control de procesos, optimizamos los parámetros externos e internos de la cámara del dron para cumplir con un conjunto de pautas artísticas y de composición proporcionadas por el usuario”, explicó Pueyo. “MPC encuentra los parámetros óptimos para configurar la cámara, minimizando las funciones de costo que están relacionadas con las limitaciones del usuario. Estas funciones de costo son expresiones matemáticas que nos ayudan a controlar ciertos aspectos artísticos como la profundidad de campo, las vistas canónicas descritas por la literatura o la posición de los elementos de la escena como los actores en una posición específica en la imagen resultante (p. Ej., Satisfacer la “regla de tercios “). “
CineMPC puede detectar objetos o personas específicos en una escena y rastrearlos a lo largo de una trayectoria de cámara definida por el usuario. Vale la pena señalar que esta trayectoria “aproximada” también incluye información relacionada con los parámetros internos más deseables.
“A día de hoy, y hasta donde sabemos, no existe una técnica anterior que optimice el rendimiento de la lente de la cámara para lograr objetivos cinematográficos”, dijo Pueyo. “Es muy práctico para filmar con drones autónomos. Los no profesionales y los directores de fotografía pueden definir ciertas limitaciones cinematográficas que nuestra solución cumplirá ajustando los parámetros externos e internos de la cámara “.
En el futuro, la nueva herramienta podría mejorar la cinematografía basada en drones, permitiendo a los cineastas capturar imágenes aéreas de mayor calidad. A diferencia de los métodos desarrollados anteriormente, de hecho, CineMPC permite a los científicos ajustar continuamente los parámetros internos de la cámara para lograr sus objetivos artísticos.
“Ahora estamos planeando mejorar CineMPC con ideas artísticas y robots más sofisticados”, dijo Pueyo. “Por ejemplo, nos gustaría introducir más drones de filmación (es decir, desarrollar un enfoque de múltiples robots) y optimizar la inteligencia artística adicional para que el dron pueda decidir las mejores pautas artísticas por sí mismo, en lugar de seguir las restricciones introducidas por el usuario. ”
CineMPC: Control de elementos de cámara internos y externos para cinematografía autónoma. arXiv: 2104.03634 [cs.RO]. arxiv.org/abs/2104.03634
© 2021 Science X Network