Esta mañana, Vellum.ai dijo que cerró una ronda inicial de $ 5 millones. La compañía se negó a revelar quién era su principal inversor en la ronda, aparte de que era una empresa de varias etapas, pero le dijo a TechCrunch que Rebel Fund, Eastlink Capital, Pioneer Fund, Y Combinator y varios inversores ángeles participaron en la ronda.
La puesta en marcha llamó la atención de TechCrunch por primera vez durante el último día de demostración de Y Combinator (invierno de 2023) por su enfoque en ayudar a las empresas a mejorar las indicaciones generativas de IA. Teniendo en cuenta la cantidad de modelos de IA generativos, la rapidez con la que crecen y la cantidad de categorías comerciales que parecen estar listas para aprovechar los modelos de lenguaje extenso (LLM), nos gustó este enfoque.
De acuerdo con las métricas que Vellum compartió con TechCrunch, al mercado también le gusta lo que construye una startup. De acuerdo a AkashsharmaCEO y cofundador de Vellum, la startup tiene hoy 40 clientes que pagan y los ingresos crecen entre un 25 % y un 30 % por mes.
Para una empresa fundada en enero de este año, eso es impresionante.
Normalmente, para este tipo de breve actualización financiera, dedicaría algún tiempo a detallar la empresa y su producto, centrándome en el crecimiento y la aceleración. Sin embargo, dado que estamos discutiendo algo que recién está naciendo, tomemos el tiempo para discutir Rapid Engineering en términos más generales.
Vitela de construcción
Sharma me dijo que él y sus cofundadores (Noa Flaherty y Sidd Seethepalli) eran empleados Doverotra empresa Y Combinator de la era de 2019 que trabajaba con GPT 3 a principios de 2020 cuando se lanzó la versión beta.
En Dover, crearon aplicaciones generativas de inteligencia artificial para escribir correos electrónicos de contratación, descripciones de puestos y similares, pero notaron que dedican demasiado tiempo a sus avisos y no pueden versionar sus avisos en producción ni medir su calidad. Como tal, tuvieron que crear herramientas de búsqueda semántica y de ajuste fino. La gran cantidad de trabajo manual se sumó, dijo Sharma.
Esto significó que el equipo dedicó tiempo de ingeniería a herramientas internas en lugar de construir para el usuario final. Gracias a esta experiencia y a los antecedentes de las operaciones de aprendizaje automático de sus dos cofundadores, cuando se lanzó ChatGPT el año pasado, se dieron cuenta de que la demanda del mercado de herramientas de mejora de la IA generativa “crecerá exponencialmente”. Por eso Velum.
Flujos de trabajo de LLM dentro de Vellum. Créditos de la imagen: Vitela
Ver cómo el mercado abre nuevas oportunidades para el desarrollo de herramientas no es nuevo, pero los LLM modernos no solo pueden cambiar el mercado de IA en sí, sino que también tienen el potencial de ampliarlo. Sharma me dijo que hasta el lanzamiento de los LLM recientemente publicados, “nunca fue posible usar el lenguaje natural [prompts] para obtener resultados del modelo de IA”. La transición para aceptar la entrada de lenguaje natural “lo hace [AI] el mercado es mucho más grande porque puedes tener un gerente de producto o un ingeniero de software […] literalmente cualquiera puede ser un ingeniero rápido”.
Más poder en más manos significa más herramientas. Sobre este tema, Vellum ofrece a las indicaciones de IA una forma de comparar la salida del modelo en paralelo, la capacidad de buscar datos específicos de la empresa para agregar contexto a las indicaciones individuales y otras herramientas, como las pruebas y el control de versiones, que a las empresas les puede gustar. utilícelo para asegurarse de que sus pistas escupan las cosas correctas.
Pero, ¿qué tan difícil puede ser seguir un LLM? Sharma dijo: “Es fácil poner en marcha un prototipo basado en LLM, pero cuando las empresas deciden optar por algo como [that] en producción, se dan cuenta de que hay muchos casos extremos que suelen producir resultados extraños”. En resumen, si las empresas quieren que su LLM sea consistentemente bueno, tendrán que hacer más trabajo que simplemente despejar el resultado de GPT de las consultas de los usuarios.
Aunque esto es un poco general. ¿Cómo utilizan las empresas las indicaciones refinadas en aplicaciones que requieren una ingeniería rápida para garantizar que sus resultados estén bien ajustados?
Para aclarar, Sharma señaló una empresa de software de emisión de boletos que apunta a hoteles. Esta empresa quería crear una especie de agente LLM que pudiera responder preguntas como “¿Puede hacer una reserva por mí?”
Primero, se necesitaba un aviso que actuara como un clasificador de escalada para decidir si la pregunta debe ser respondida por una persona o un LLM. Si el LLM respondiera a la pregunta, el modelo debería ser capaz de hacerlo correctamente sin alucinar ni descarrilarse. Estamos ampliando el ejemplo por sí solo.
Por lo tanto, los LLM se pueden combinar para crear el tipo de lógica que fluye a través de ellos. Por lo tanto, la ingeniería rápida no es solo entrometerse con los LLM para tratar de que hagan algo caprichoso. En nuestra opinión, esto es algo más parecido a la programación en lenguaje natural. Necesitará su propio marco de herramientas, similar a otras formas de programación.
¿Qué tan grande es el mercado?
TechCrunch+ investigó por qué las empresas esperan que el mercado de IA generativa empresarial crezca a proporciones enormes. Debería haber muchos mineros (clientes) que necesitarán picos y palas (herramientas de ingeniería rápida) para aprovechar al máximo la IA generativa.
Vellum se negó a compartir su plan de precios, pero señaló que sus servicios cuestan entre tres y cuatro cifras al mes. Cruzado con más de tres docenas de clientes, esto le da a Vellum un historial bastante bueno para una compañía de semillas. El rápido crecimiento de la demanda tiende a correlacionarse con el tamaño del mercado, por lo que es seguro decir que existe una demanda corporativa muy fuerte de LLM.
Esta es una buena noticia para la gran cantidad de empresas que crean, implementan o respaldan LLM. Dada la cantidad de nuevas empresas en la mezcla, estamos viendo días brillantes y soleados.