Stability AI es la compañía que financia el desarrollo de modelos de IA generativos de código abierto como Stable Diffusion y Dance Diffusion.
Anunció el lanzamiento de su conjunto de modelos de lenguaje StableLM.
Después de desarrollar modelos para múltiples dominios, que incluyen imagen, audio, video, 3D y biología, esta es la primera vez que el desarrollador entra en modelos de lenguaje, actualmente dominado por grandes empresas de la tecnología como OpenAI, Meta, Google y Stanford.
El modelo de lenguaje de código abierto StableLM, está disponible en alfa, con 3 mil millones y 7 mil millones de parámetros, ambos entrenados en 800 mil millones de tokens de datos, con modelos de parámetros más grandes de 15 mil millones a 65 mil millones a seguir.
En 2022, Stability AI presentó Stable Diffusion, un innovador modelo de imagen de código abierto que ofrece una alternativa transparente y escalable a la IA propietaria.
Con el lanzamiento de la suite StableLM, la empresa pretende demostrar cómo los modelos pequeños y eficientes pueden proporcionar un alto rendimiento con la formación adecuada.
StableLM es una extensión de la tecnología de Inteligencia Artificial fundamental de la empresa, que promueve la transparencia, la accesibilidad y el soporte en el diseño de Inteligencia Artificial.
Stability AI cree que el lanzamiento representa otro paso significativo para hacer que la tecnología de Inteligencia Artificial fundamental sea accesible para todos, con numerosas aplicaciones, incluida la generación de texto y código.
La suite StableLM se basa en el trabajo anterior de Stability AI, incluido el innovador modelo de imagen Stable Diffusion, que ofrecía una alternativa de código abierto a los modelos de imagen de IA generativa patentados como DALL-E.
El modelo de lenguaje Stable puede generar texto y código, lo que lo hace ideal para diversas aplicaciones posteriores.
El modelo es efectivo en tareas de conversación y codificación, similar a ChatGPT de OpenAI.
Debido a su entrenamiento en un conjunto de datos experimental. Stability AI tiene un historial de modelos de lenguaje anteriores de código abierto, como GPT-J, GPT-NeoX y la suite Pythia, entrenados en el conjunto de datos de código abierto The Pile.
Los modelos StableLM-Alpha se entrenan en el nuevo conjunto de datos que se basa en The Pile,.
El nuevo «conjunto de datos experimentales» es supuestamente tres veces más grande que The Pile, la longitud del contexto para los modelos StableLM.
Stability AI está comprometida con la transparencia y la accesibilidad en el diseño de IA.
Se anima a los desarrolladores a inspeccionar, usar y adaptar libremente los modelos base de StableLM con fines comerciales o de investigación.
Según la licencia, debe dar crédito a Stability AI, proporcionar un enlace a la licencia e indicar si se realizaron cambios.
De acuerdo con el documento de licencia, los usuarios pueden hacerlo de cualquier manera razonable, pero no de ninguna manera que sugiera que Stability AI los respalda a ellos o su uso.
La suite StableLM también incluye un conjunto de modelos de investigación que son instrucciones afinadas, utilizando una combinación de cinco conjuntos de datos de código abierto recientes para agentes conversacionales.
La compañía ajustó el modelo StableLM con el procedimiento de Stanford Alpaca utilizando una combinación de cinco conjuntos de datos recientes para agentes conversacionales.
Stability AI dijo que un próximo informe técnico documentaría las especificaciones del modelo y la configuración de entrenamiento.
Destinados únicamente para uso en investigación y se publican bajo una licencia no comercial, alienada con la licencia Alpaca de Stanford.
Ese proyecto es bastante similar al enfoque de Stability AI, con el objetivo de crear grandes modelos de lenguaje (LLM) que sean completamente de código abierto y lideren la industria en rendimiento.
El conjunto de datos inicial publicado por RedPajama contiene 1,2 billones de tokens y se adhiere a la receta LLaMA, a pesar de ser significativamente más pequeño que el modelo LLaMA de Meta.
Su conjunto de datos está disponible públicamente en Hugging Face, mientras que los scripts de Apache 2.0 en GitHub se pueden usar para reproducir los resultados.
Según Stability AI, los modelos lingüísticos son la columna vertebral de la economía digital y todos deberían tener voz en su diseño.
Al ofrecer un acceso detallado a los modelos, la empresa espera fomentar el desarrollo de técnicas de interpretación y seguridad más allá de lo que es posible con modelos cerrados.
Los modelos de la empresa ya están disponibles en su repositorio de GitHub y Stability AI publicará un informe técnico completo en un futuro próximo.
Imagen; cerebro-cerebro-digital-mano-red-neuronal > de iuriimotov > en Freepik > freepik.es
Referencias; venturebeat.com/ai/stability-ai-unveils-its-first-llm-as-open-source-ai-race-continues/
