PaLM 2 es el gran modelo de lenguaje de próxima generación que se basa en el legado de Google de investigación innovadora en aprendizaje automático e IA responsable.
Sobresale en tareas de razonamiento avanzado, que incluyen código y matemáticas, clasificación, respuesta a preguntas, traducción, dominio multilingüe y generación de lenguaje natural mejor que los LLM de última generación anteriores incluido PaLM.
Puede llevar a cabo estas tareas debido a la forma en que se creó, ya que reúne un escalado óptimo de cómputo, una combinación mejorada de conjuntos de datos y mejoras en la arquitectura del modelo.
PaLM 2 se basa en el enfoque de Google para construir e implementar IA de manera responsable.
Se evaluó rigurosamente por sus posibles daños, sesgos, capacidades y usos posteriores en investigación y aplicaciones en productos.
Se está utilizando en otros modelos de última generación, como Med-PaLM 2 y Sec-PaLM, y está impulsando funciones y herramientas de IA generativa en Google, como Bard y PaLM API.
Qué puede hacer PaLM 2
Razonamiento
PaLM 2 puede descomponer una tarea compleja en subtareas más simples y es mejor para comprender los matices del lenguaje humano que los LLM anteriores, como PaLM.
Por ejemplo, PaLM 2 sobresale en la comprensión de acertijos y modismos, lo que requiere comprender el significado ambiguo y figurativo de las palabras, en lugar del significado literal.
Traducción multilingüe
PaLM 2 fue entrenado previamente en texto multilingüe paralelo y en un corpus mucho más grande de diferentes idiomas que su predecesor, PaLM.
Esto hace que PaLM 2 sobresalga en tareas multilingües.
Codificación
PaLM 2 se entrenó previamente en una gran cantidad de páginas web, código fuente y otros conjuntos de datos.
Esto significa que sobresale en lenguajes de programación populares como Python y JavaScript, pero también es capaz de generar código especializado en lenguajes como Prolog, Fortran y Verilog.
La combinación de esto con sus capacidades de idioma puede ayudar a los equipos a colaborar en varios idiomas.
Cómo se construyó y evaluó PaLM 2
PaLM 2 sobresale en tareas como razonamiento avanzado, traducción y generación de código debido a cómo fue construido.
Mejora a su predecesor, PaLM, al unificar avances de investigación distintos en modelos de gran lenguaje.
Uso del escalado óptimo de cómputo
La idea básica del escalado óptimo de cómputo es escalar el tamaño del modelo y el tamaño del conjunto de datos de entrenamiento en proporción entre sí.
Esta nueva técnica hace que PaLM 2 sea más pequeño que PaLM, pero más eficiente con un mejor rendimiento general, incluida una inferencia más rápida, menos parámetros para servir y un costo de servicio más bajo.
Combinación mejorada de conjuntos de datos
Los LLM anteriores, como PaLM, usaban conjuntos de datos previos al entrenamiento que en su mayoría eran solo texto en inglés.
PaLM 2 mejora su corpus con una mezcla de pre-entrenamiento más diversa y multilingüe, que incluye cientos de lenguajes humanos y de programación, ecuaciones matemáticas, artículos científicos y páginas web.
Arquitectura del modelo y objetivo actualizados
PaLM 2 tiene una arquitectura mejorada y se entrenó en una variedad de tareas diferentes, todo lo cual ayuda a PaLM 2 a aprender diferentes aspectos del lenguaje.
Evaluación de PaLM 2
PaLM 2 logra resultados avanzados en tareas comparativas de razonamiento como WinoGrande y BigBench-Hard.
Es significativamente más multilingüe que el anterior gran modelo de lenguaje PaLM, logrando mejores resultados en puntos de referencia como XSum, WikiLingua y XLSum.
PaLM 2 también mejora la capacidad de traducción sobre PaLM y Google Translate en idiomas como portugués y chino.
PaLM 2 continúa con el desarrollo responsable de IA y el compromiso con la seguridad.
Datos previos a la capacitación
Elimina formularios de información confidencial de identificación personal, filtra documentos duplicados para reducir la memorización y comparte análisis de cómo se representan las personas en los datos previos a la capacitación.
Nuevas capacidades
PaLM 2 demuestra capacidades mejoradas de clasificación de toxicidad multilingüe y tiene un control incorporado sobre la generación de tóxicos.
Evaluaciones
Evaluando los posibles daños y sesgos en una variedad de posibles usos posteriores de PaLM 2, incluidos el diálogo, la clasificación, la traducción y la respuesta a preguntas.
Incluye el desarrollo de nuevas evaluaciones para medir los daños potenciales en entornos generativos de preguntas y respuestas y entornos de diálogo relacionados con los daños del lenguaje tóxico y el sesgo social relacionado con los términos de identidad.
Cómo PaLM 2 está impulsando las funciones de IA generativa
- Bard
- PaLM API
- MakerSuite
- PaLM API en Vertex AI
- Generative AI en Workspace
Imagen; by iuriimotov > Freepik > freepik.es
Referencias; ai.google/discover/palm2
