En febrero, el fundador de Sogou Wang Xiaochuan él dijo en Weibo que “China necesita su propio OpenAI”. Un empresario chino ahora se está acercando a su sueño a medida que su nueva empresa Baichuan Intelligence ha lanzado su gran modelo de lenguaje de próxima generación. Baichuan-13B Hoy.
Baichuan se promociona como uno de los desarrolladores de LLM más prometedores de China, gracias al rico pasado de su fundador como un prodigio informático de la Universidad de Tsinghua y al proveedor fundador de motores de búsqueda Sogou, que luego fue adquirido por Tencent.
Wang renunció a Sogou a fines de 2021. Mientras ChatGPT arrasaba en el mundo, el emprendedor lanzó Baichuan en abril y rápidamente recaudó $ 50 millones en fondos de un grupo de inversores informales.
Al igual que otros LLM indígenas en China, Baichuan, un modelo de 13 000 millones de parámetros basado en la arquitectura Transformer (que también sustenta GPT), se entrena con datos en chino e inglés. (Los parámetros se refieren a las variables que utiliza el modelo para generar y analizar el texto). El modelo es de código abierto y está optimizado para uso comercial, según su página de GitHub.
Baichuan-13 está siendo entrenado para 1,4 billones de tokens. Meta para comparar Lama utiliza 1 billón de tokens en su modelo con 13 mil millones de parámetros. Wang dijo anteriormente en un entrevista que su puesta en marcha estaba en camino de lanzar un modelo a gran escala comparable al GPT-3.5 de OpenAI para fines de este año.
Lanzado hace solo tres meses, Baichuan ya ha alcanzado un ritmo significativo de desarrollo. Hasta finales de abrilel equipo creció a 50 personas y en junio implementó su primer LLM, el modelo de pre-entrenamiento Baichuan-7B, que cuenta con 7 mil millones de parámetros.
Ahora, el modelo básico de Baichuan-13B está disponible gratuitamente para científicos y desarrolladores que hayan recibido permiso oficial para usarlo con fines comerciales. Es importante destacar que, en la era de las sanciones estadounidenses impuestas a China por la inteligencia artificial, el modelo ofrece variantes que pueden ejecutarse en hardware de nivel de consumidor, incluidas las tarjetas gráficas Nvidia 3090.
Otras empresas chinas que han invertido mucho en grandes modelos de idiomas incluyen al gigante de los motores de búsqueda Baidu; Zhipu.ai, una escisión de la Universidad de Tsinghua dirigida por un profesor tanjie; y el instituto de investigación IDEA dirigido por Harry Shum, cofundador de Microsoft Research Asia.
Los modelos del idioma chino se están expandiendo rápidamente a medida que el país se prepara para implementar algunas de las leyes de inteligencia artificial más estrictas del mundo. Según informa el Financial TimesSe espera que China elabore una legislación sobre IA generativa con un enfoque en el contenido, lo que apunta a un mayor escrutinio que las reglas introducidas en abril. Las empresas también pueden necesitar licencias antes de lanzar grandes modelos de idiomas, lo que podría ralentizar los esfuerzos de China para competir con EE. UU. en la industria naciente.