Aquellos familiarizados con Faizan Buzdar, quien hasta hace poco fue vicepresidente de gestión de productos en Box, probablemente asocien al empresario con Convo, una plataforma de espacio de trabajo digital popular entre las salas de redacción (incluida esta). Pero Buzdar, que tiene experiencia en ingeniería electrónica, lleva mucho tiempo fascinado por el video y los efectos visuales.
“Entusiasta de los videos y la fotografía de toda la vida, he estado haciendo videos yo mismo durante años, pero me he dado cuenta de que en las últimas décadas la producción de videos ha sido en gran parte manual con poca innovación, especialmente para tareas que consumen mucho tiempo como la edición de videos”, Buzdar e me dijo.- por e-mail. “Mientras tanto, he notado que en los últimos años, la tecnología de la cámara y el sensor del iPhone se ha refinado, llegando a ser casi equivalente en calidad de imagen a las DSLR”.
Entonces, mientras trabajaba en Box, Buzdar dice que decidió intentar combinar el video, un medio cada vez más popular, con innovaciones en inteligencia artificial y aprendizaje automático para intentar mejorar la captura y edición de videos. La maza hizo clic adeel abasingeniero de video que ayudó a construir la infraestructura para las funciones de transmisión en vivo del sitio mientras trabajaba en Twitter Saj Khan, fahad jacob y colega de Box Exec Michelle Oh para explorar las fronteras de la producción de video acelerada tecnológicamente.
El resultado es un rollo. Proporciona una nueva aplicación para iOS Bokeh, tomas multicámara, gráficos en movimiento y, quizás lo más intrigante para mí, controles deslizantes, carros y auges “simulados por IA”.
Créditos de la imagen: Rollo
“Nuestra misión es revolucionar el mundo de la producción de video de alta calidad y establecer un nuevo estándar para la creación de contenido de video”, continúa Buzdar. “Hacer un gran video es una gran inversión inicial en hardware, hardware, aprender a usar ese hardware, software de edición, nos deshacemos de todo eso”.
Roll, que está dirigido al mercado “prosumidor” (piensan en influencers y podcasters, pero también en empresas que crean sus propios materiales de marketing), consta de dos productos: la aplicación Roll para iPhone y la aplicación web. La aplicación para iPhone captura y graba video, luego lo carga automáticamente en la nube de Roll para su almacenamiento y procesamiento. Mientras tanto, una aplicación web es donde uno o un equipo de creadores de contenido puede previsualizar, acceder, compartir, descargar y editar material.
Por supuesto, hay docenas de aplicaciones de video. Entonces, ¿qué hace que Roll sea diferente? Primero, la aplicación es para casos de uso que la mayoría de las aplicaciones de cámara no admiten, Buzar dice – como entrevistas remotas en video, podcasts en video y testimonios de clientes. Si bien Zoom, Microsoft Teams y Google Meet satisfacen esa necesidad hasta cierto punto, Buzdar dice que no están diseñados para la producción de videos de “alta calidad”.
Roll también utiliza una variedad de efectos en tiempo real para (aparentemente) ofrecer una mayor variedad de opciones de posproducción que la mayoría de las aplicaciones de captura de video. Por ejemplo, Roll graba en HEVC, lo que proporciona aproximadamente el doble de velocidad de bits y una calidad de imagen superior para el mismo tamaño de archivo. y un rollo puede capturar y procesar hasta dos ángulos de cámara, una toma de gran angular y una toma de primer plano, simultáneamente, lo que permite a los usuarios crear videos con una perspectiva “multicámara” efectiva.
Interfaz de edición de rollos. Créditos de la imagen: Rollo
Es cierto que la multicámara no es particularmente especial: roll está lejos de ser la primera aplicación que ofrece esto. Pero Buzdar dice que la magia está en el posprocesamiento. Roll utiliza IA generativa para recrear habitaciones en el espacio 3D, lo que permite a los creadores de contenido mover una cámara virtual similar a un videojuego, simulando movimientos como moverse de un lado a otro con un carro o una grúa.
“Actualmente, la IA generativa se asocia con demasiada frecuencia con la creación de contenido falso de la nada” Buddar dijo. “Es no nuestra filosofía. No generamos píxeles, personas o escenas falsas. Solo usamos IA generativa como herramienta de productividad para democratizar el acceso a la producción de videos de mayor calidad”.
Buzdar explicó que la IA de Roll fue entrenada para comprender la profundidad 3D en una escena, utilizando los datos para medir la profundidad y las formas, independientemente de quién esté sentado en la habitación. Roll comenzó a entrenar sus algoritmos utilizando conjuntos de datos de código abierto comúnmente utilizados para la evaluación comparativa en la academia, pero luego registró internamente más de 22,000 videollamadas, creando su propia base de datos enriquecida.
Los resultados no son tan malos, al menos en el material de demostración. Buzzdar me mostró. Algunas panorámicas generadas por AI Roll se mueven en un valle espeluznante, que es el resultado de una deformación no natural de los objetos en el fondo. cuando la cámara virtual gira. Pero en escenas cortas, los efectos de la IA son lo suficientemente convincentes, y una adición llamativa a lo que de otro modo sería una entrevista a distancia aburrida.
“Hemos investigado esto bastante y no hemos visto a nadie usar IA de la misma manera que nosotros: combinando datos de sensores de iPhone con grandes modelos de IA en la nube”, dijo Buzdar. “Nuestra tecnología proporciona la capacidad básica para simular cualquier efecto visual que desee el usuario”.
Grabación de pases de lista. Créditos de la imagen: Rollo
Todos las imágenes suenan un poco descabelladas. Pero Roll tiene otros trucos algorítmicos más realistas bajo la manga. Cuando Roll graba un video, recopila metadatos para usarlos en el proceso de producción de video posterior, incluidas las condiciones de grabación e iluminación, la distancia de la cámara al sujeto y la posición de la cara y el cuerpo del sujeto. Los metadatos se utilizan para ajustar automáticamente las cámaras y los sensores de su teléfono, así como para brindar comentarios e instrucciones sobre la composición y la iluminación.
Al igual que muchos otros editores de video móviles habilitados para IA en el mercado, Roll también usa metadatos para crear un rollo multicámara completamente realizado en su nube de edición, sin necesidad de edición manual. (Los usuarios aún pueden cambiar y ajustar los ángulos de la cámara o agregar movimientos de cámara y efectos visuales si lo desean). En un futuro cercano, Roll podrá publicar directamente en las redes sociales, incluidos TikTok, YouTube e Instagram, tanto en la resolución correcta como en relación de aspecto
“Actualmente, la producción de video requiere muchas piezas de hardware y software para completarse por completo” Buddar dijo. “Con cada paso, a medida que el archivo de video y audio salta de un software a otro, pierde su contexto y se convierte en un archivo “tonto” que se pasa una y otra vez. Básicamente, reconstruimos toda la “pila” de producción de video desde cero. Empujando los límites del software tradicional, aplicamos IA para ofrecer una experiencia innovadora de captura y publicación que integra verticalmente y automatiza todo el proceso de producción de video remoto”.
Entonces, ¿cómo planea Roll ganar dinero? Hasta ahora, la compañía ha recaudado efectivo de fuentes tradicionales de capital de riesgo: Buzdar se negó a decir dónde exactamente. Pero cuando se trata de generar ingresos, Buzdar espera que Roll eventualmente crezca para satisfacer las necesidades de las organizaciones corporativas, específicamente sus equipos internos de marketing y video corporativos que pagarán algún tipo de tarifa por los servicios de Roll.
“Producción de video lista para la interrupción de la nube” Buddar dijo. “Atributos como archivos de gran tamaño, procesamiento complejo y la necesidad de ciclos de edición y revisión de varias personas lo convierten en un candidato ideal para los beneficios exponenciales de la computación en la nube, como el almacenamiento escalable, la inteligencia artificial, la potencia informática y el uso compartido y la colaboración en en tiempo real”.
Ciertamente hay verdad en eso. En cuanto a si Roll será un disruptor, el tiempo lo dirá.