LlaMa 2 es la IA de código abierto desarrollada por Meta, haciendo la competencia directa a Google con PaLM 2.
Principio en modalidad open-source lanzado por Meta junto con Microsoft.
LLaMA significa Large Language Model Meta AI, un modelo fundamental de lenguaje grande de última generación diseñado para ayudar a los investigadores a avanzar en su trabajo en este subcampo de la IA.
Es un modelo de lenguaje grande fundamental de 65 mil millones de parámetros, por tanto un competidor directo de GPT-4
Disponible a través de su plataforma: https://labs.perplexity.ai/
¿Qué es LlaMa?
LlaMA es una plataforma de chatbot basada en machine learning que permite a los usuarios crear y habilitar chatbots para su negocio o sitio web.
En cambio, LlaMA 2 es la versión actualizada de esta plataforma, que incluye nuevas funciones y mejoras significativas en comparación con la versión original.
Algunas de las principales diferencias entre ambas versiones son:
Mejora en la Inteligencia Artificial
LlaMA 2 utiliza modelos de aprendizaje automático más avanzados para procesar y analizar datos de manera más eficiente y precisa.
Esto significa que los chatbots construidos con LlaMA 2 pueden proporcionar respuestas más relevantes y útiles a los usuarios.
Interfaz de usuario renovada
La interfaz de usuario de LlaMA 2 ha sido rediseñada para ser más intuitiva y fácil de usar.
Los usuarios pueden personalizar la apariencia y el comportamiento de sus chatbots de manera más sencilla y efectiva.
Integración con más APIs
LlaMA 2 admite una amplia variedad de APIs de terceros, lo que permite a los usuarios integrar sus chatbots con otras herramientas y servicios populares, como Google Maps, OpenWeatherMap, Stripe, y muchos otros.
Compatibilidad con múltiples canales
A diferencia de la versión anterior, LlaMA 2 se puede utilizar en varios canales, como Facebook Messenger, Slack, Skype, Telegram, y otros.
Esto permite a los usuarios llegar a una audiencia más amplia y diversificada.
Seguridad y privacidad mejoradas
LlaMA 2 tiene medidas adicionales de seguridad y privacidad.
Los modelos más pequeños y de mayor rendimiento, como LLaMA, permiten que otros en la comunidad de investigación que no tienen acceso a grandes cantidades de infraestructura estudien estos modelos, democratizando aún más el acceso en este importante campo que cambia rápidamente.
El entrenamiento de modelos de base más pequeños como LLaMA es deseable en el espacio de modelos de lenguaje grande porque requiere mucho menos poder de cómputo y recursos para probar nuevos enfoques, validar el trabajo de otros y explorar nuevos casos de uso.
Los modelos básicos se entrenan en un gran conjunto de datos sin etiquetar, lo que los hace ideales para realizar ajustes en una variedad de tareas.
LLaMA está disponible en varios parámetros 7B, 13B, 33B, 65B.
LLaMA 65B y LLaMA 33B está entrenado en 1,4 billones de tokens. LLaMA 7B, en un billón de tokens.
Al igual que otros modelos de lenguaje grande, LLaMA funciona tomando una secuencia de palabras como entrada y predice la siguiente palabra para generar texto de forma recursiva.
Para entrenar este modelo, se han elegido los 20 idiomas con más hablantes, enfocándonos en aquellos con alfabetos latino y cirílico.
LLaMA está diseñado para ser versátil y se puede aplicar a muchos casos de uso diferentes, en comparación con un modelo ajustado que está diseñado para una tarea específica.
Al compartir el código de LLaMA, otros investigadores pueden probar más fácilmente nuevos enfoques para limitar o eliminar estos problemas en modelos de lenguaje grandes.
¿Qué es LlaMa 2?
LLaMA 2 es una colección de modelos de lenguaje básico que van desde 7B a 65B parámetros entrena los modelos en trillones de fichas, y demostrando que es posible entrenar
modelos de última generación utilizando conjuntos de datos disponibles públicamente exclusivamente, sin recurrir
a conjuntos de datos propietarios e inaccesibles.
LLaMA-13B supera a GPT-3 175B en la mayoría de los puntos de referencia, y LLaMA65B es competitivo con los mejores modelos,
Chinchilla-70B y PaLM-540B.
Liberando los modelos a la comunidad investigadora.
Los modelos de lenguajes grandes (LLM) entrenados en corpus masivos de textos han demostrado su capacidad para realizar nuevas tareas a partir de instrucciones textuales.
Estos esfuerzos se basan en la suposición de que
más parámetros conducirán a un mejor rendimiento.
Aunque, trabajos de Hoffmann (2022) muestran que, para un presupuesto de cómputo dado, los rendimientos no se logran con los modelos más grandes, sino con modelos más pequeños entrenados con más datos.
El objetivo de las leyes de escala de Hoffmann es determinar cómo mejorar escalar el conjunto de datos y los tamaños del modelo para un determinado presupuesto de cómputo de entrenamiento.
Este objetivo hace caso omiso del presupuesto de inferencia, que se convierte en crítico cuando se sirve un modelo de lenguaje a escala.
Un conjunto de datos de entrenamiento con una mezcla de varias fuentes:
- Inglés CommonCrawl
- Conjunto de datos C4
- GitHub público conjunto de datos en Google BigQuery.
- Wikipedia
- Libros
- ArXiv
- StackExchange
Esta versión incluye pesos de modelo y código de inicio para modelos de lenguaje Llama pre entrenados y ajustados, que van desde parámetros 7B a 70B.
Los modelos pre entrenados de LlaMa 2 se entrenan en 2 billones de tokens y tienen el doble de la longitud de contexto que LlaMA 1.
LlaMA 2 supera a otros modelos de lenguaje de código abierto en muchos puntos de referencia externos, que incluyen pruebas de razonamiento, codificación, competencia y conocimiento.
LlaMA 2 ha sido entrenado previamente en fuentes de datos online disponibles públicamente.
El modelo perfeccionado, LlaMA 2 Chat, aprovecha conjuntos de datos de instrucciones disponibles públicamente y más de 1 millón de anotaciones humanas.
Cuenta con una amplia gama de colaboradores en todo el mundo que creen en un enfoque open source a la IA actual.
Comprometidos con la construcción responsable para promover un ecosistema de innovación de IA colaborativo y responsable, estableciendo recursos para todos los usuarios, creadores, desarrolladores, investigadores, académicos y empresas.
LlaMa 2- Chat ha sido probado por socios externos y equipos internos para identificar brechas de rendimiento y mitigar respuestas potencialmente problemáticas en casos de uso de chat.
Para alentar al conjunto de entidades públicas, a usar LlaMa 2 para abordar desafíos ambientales, educativos y otros.
Creando un Foro de la comunidad de IA generativa por personas y expertos de todo el mundo.
Reuniendo a un grupo representativo de personas para discutir y deliberar sobre los valores que sustentan la IA, LLM y otras nuevas tecnologías de IA.
En consulta con Stanford Deliberative Democracy Lab y el Behavioural Insights Team, con un enfoque de colaboración abierta para compartir modelos de IA.
El Nuevo Modelo Open-SourCe de Meta
El nuevo modelo open-source de Meta es una iniciativa de la empresa para hacer que su tecnología de procesamiento de lenguaje natural sea más accesible y transparenta.
Este modelo se basa en el algoritmo de aprendizaje profundo llamado BERT (Bidirectional Encoder Representations from Transformers), que fue desarrollado por Google en 2018.
BERT es un modelo de aprendizaje profundo que utiliza un enfoque de aprendizaje no supervisado para entrenar modelos de lenguaje natural capaces de comprender el contexto y la intención detrás de las palabras y frases.
El modelo se entrenó con una gran cantidad de texto de diferentes fuentes, lo que le permitió aprender a identificar patrones y relaciones en el lenguaje natural.
El modelo open-source de Meta es una implementación de BERT que se puede utilizar para una variedad de tareas de procesamiento de lenguaje natural, como la clasificación de texto, la generación de resúmenes, la traducción, entre otras.
La empresa ha liberado el código fuente del modelo, lo que permite a los investigadores y desarrolladores de todo el mundo utilizarlo, modificarlo y mejorarlo.
La iniciativa de Meta de lanzar este modelo open-source forma parte de una tendencia mayor en la industria de la tecnología hacia la colaboración y la transparencia.
Al compartir su tecnología con la comunidad de investigación y desarrollo de software de código abierto, Meta espera fomentar la innovación y la colaboración en torno a la tecnología de procesamiento de lenguaje natural.
Además, esto también permite que la tecnología sea más accesible y segura para todos, ya que cualquier persona puede revisar y verificar el código para garantizar que no haya errores ni vulnerabilidades.
En resumen, el nuevo modelo open-source de Meta es una iniciativa que busca fomentar la colaboración y la transparencia en la industria de la tecnología, al mismo tiempo que hace que la tecnología de procesamiento de lenguaje natural sea más accesible y segura para todos.
Referencias;
- arxiv.org
- ai.facebook.com
- ai.meta.com
- labs.perplexity.ai
Imagen; Futuristic robot Artifificial Intelligence concept by Biancoblue > freepik.es
