Once laboratoriosLa plataforma viral de creación de voces sintéticas basada en inteligencia artificial ha recaudado una nueva ronda de efectivo.
Hoy, la startup anunció el cierre de una ronda Serie A de $19 millones dirigida conjuntamente por los empresarios Nat Friedman y Daniel Gross junto con Andreessen Horowitz. Otros asistentes incluyen a Creator Ventures, SV Angel, el cofundador de Instagram, Mike Krieger, el cofundador de Oculus, Brendan Iribe, el cofundador de Deepmind e Inflection AI, Mustafa Suleyman, y el fundador de O’Reilly Media, Tim O’Reilly.
Una fuente familiarizada con el asunto le dice a TechCrunch que el tramo valora a ElevenLabs en $ 99 millones cuando se paga, un número respetable, especialmente considerando que la startup se lanzó hace poco más de un año.
“Esta inversión se utilizará para continuar con la construcción onceLabcentro de investigación de inteligencia artificial de voz de última generación y el lanzamiento de una gama de productos adicionales para respaldar mercados verticales específicos, como aplicaciones de publicación, juegos, entretenimiento y conversaciones”, dijo el cofundador y director ejecutivo Mati Staniszewski a TechCrunch por correo electrónico.
ElevenLabs, que ha sido noticia en los últimos meses por ambas razones Bien Y repulsivo, fue fundado por Staniszewski, quien anteriormente trabajó en Palantir, y su amigo de la infancia Piotr Dąbkowski, ex empleado de Google. Inspirados por el mediocre doblaje de películas estadounidenses que vieron crecer en Polonia, su país de origen, la pareja se dispuso a diseñar una plataforma que pudiera funcionar mejor, utilizando inteligencia artificial, por supuesto.
ElevenLabs puede convertir texto a voz usando voces sintéticas, voces clonadas o nuevas voces “artificiales” que imitan los sonidos de personas de diferentes géneros, edades y etnias. Los modelos de texto a voz basados en IA de la compañía son independientes del idioma, lo que permite a los clientes empresariales ajustarlos y crear sus propios modelos de voz patentados.
Coincidiendo con el aumento de la Serie A, la empresa de 15 personas ElevenLabs está lanzando Proyectos, un flujo de trabajo para editar y crear contenido hablado extenso. Gracias a los proyectos, los usuarios pueden generar segmentos de diálogo e incluso audiolibros sin tener que salir de la plataforma.
“Para los socios comerciales, nuestra tecnología se puede utilizar en áreas como la creación de audiolibros escalables y multilingües, la expresión de personajes en videojuegos, la expresión de artículos digitales, el apoyo a las personas con discapacidad visual para acceder a contenido escrito en línea y la potenciación de la radio AI”, dijo Staniszewski.
Lanzado en versión beta a fines de enero, ElevenLabs cobró impulso con bastante rapidez, gracias a la calidad extremadamente alta de las voces que genera, su rápido tiempo de generación y su generoso nivel gratuito. Sin embargo, como se mencionó anteriormente, la publicidad no siempre fue positiva, especialmente cuando los malos actores comenzaron a usar la plataforma para sus propios fines.
ElevenLabs ofrece herramientas para clonar, o generar desde cero, voces de sonido realista utilizando inteligencia artificial.
4chan, un tablero de mensajes infame conocido por su contenido conspirativo, usado Herramienta de ElevenLabs para compartir mensajes de odio imitando a famosos como la actriz Emma Watson. En otro lugar, James Vincent de The.Verge pudo usar ElevenLabs para clonar las voces de los objetivos en segundos: generando muestras de audio que contienen de todo, desde amenazas de violencia hasta expresiones de racismo y transfobia.
En respuesta, ElevenLabs dijo que introduciría un conjunto de nuevas protecciones, como restringir la clonación de voz a cuentas pagas, prohibir a los usuarios que violan repetidamente los términos del servicio y proporcionar una nueva herramienta de detección de IA.
La herramienta de detección se ejecutará hoy. Llamado AI Speech Classifier y disponible como API para socios “seleccionados”, está diseñado para detectar si una muestra de audio cargada contiene contenido generado por IA de ElevenLabs.
“Garantizar la implementación segura de las plataformas de IA generativa es un desafío clave para todo el sector generado por IA, incluidas las plataformas de texto, imagen y voz”, dijo Staniszewski. “Necesitamos asegurarnos de que las personas estén educadas sobre la naturaleza de los medios generativos y sepan que ese contenido existe; estamos comprometidos a crear herramientas para ayudar a las personas a detectar contenido generado por IA, en aras de la transparencia”.
Una herramienta de detección voluntaria, suponiendo que funcione como se anuncia, no disuadirá necesariamente el mal comportamiento. Pero hay un elefante más en la habitación que ElevenLabs no ha abordado: la amenaza existencial que su tecnología representa para los actores de doblaje.
tarjeta madre estoy escribiendo sobre cómo se les pide cada vez más a los actores de doblaje que firmen los derechos de sus voces para que los clientes puedan usar IA para generar versiones sintéticas que eventualmente podrían reemplazarlas, a veces sin compensación adicional. Correos electrónicos internos visto Mientras tanto, The New York Times indica que Activision Blizzard, uno de los editores de juegos más grandes del mundo, está trabajando en herramientas para la “clonación de voz” asistida por IA.
ElevenLabs parece ver esto como una progresión natural de las cosas, promocionando sus asociaciones con editores como Storytel y plataformas de medios como TheSoul Publishing y MNTN para audiolibros, videojuegos y contenido de radio. (Storytel y TheSoul Publishing son inversionistas estratégicos). La compañía dice que tiene más de un millón de usuarios registrados en espacios creativos, de entretenimiento y editoriales que han creado diez años de contenido de audio.
ElevenLabs planea eventualmente extender sus modelos de IA al doblaje de voz, siguiendo los pasos de nuevas empresas como Papercup y Deepdub, y construyendo lo que llama “una base para transferir emociones y entonación de un idioma a otro”.
“Esto permitirá que cualquier video se copie a cualquier idioma de una manera atractiva, efectiva y escalable, mientras se conserva la voz del orador original”, escribe ElevenLabs en un comunicado de prensa. “[We are] ya está realizando una serie de pruebas con socios de la industria para permitir el doblaje de IA a gran escala”.
Con $ 21 millones en el banco ($ 2 millones de los cuales provinieron de la ronda previa a la semilla de enero), ElevenLabs, al diablo con las consecuencias, está enfocado en vencer a sus rivales en el floreciente espacio de voz generativa. Estos incluyen empresas establecidas como Amazon, Google y Microsoft, así como nuevas empresas como Murf, Tavus, Resemble AI, Respeecher, Play.ht y Lovo.