Google anunció una nueva familia de modelos de lenguaje fundamental llamada PaLM 2, que es comparable a GPT-4 de OpenAI.
La familia fue entrenada en una enorme cantidad de datos y hace predicciones de la siguiente palabra, lo que genera el texto más probable después de una rápida entrada por parte de los humanos. PaLM 2 admite más de 100 idiomas y puede realizar “razonamiento”, generación de código y traducción multilingüe. PaLM 2 viene en cuatro tamaños: Gecko, Otter, Bison, Unicorn. Gecko es el más pequeño y puede ejecutarse en un dispositivo móvil. PaLM 2 ya se está utilizando para potenciar 25 funciones y productos, incluido Bard, el chatbot experimental de Google. PaLM 2 parece superar a GPT-4 en algunas tareas matemáticas, de traducción y de razonamiento según el Informe técnico de PaLM 2.
PaLM2 ha logrado un rendimiento de última generación en 28 de 29 tareas de procesamiento de lenguaje natural, superando el rendimiento de pocos intentos de modelos grandes anteriores como GPT-3 y Chinchilla. PaLM se puede escalar hasta 540 mil millones de parámetros, que es significativamente más que los 175 mil millones de parámetros de GPT-3. Esto solo puede ser rivalizado por GPT-4 anticipado.
PaLM2 es mucho mejor en una variedad de tareas basadas en texto, incluido el razonamiento, la codificación y la traducción. Ha mejorado significativamente en comparación con PaLM 1, que se anunció en abril de 2022. PaLM 2 también está capacitado en texto multilingüe que abarca más de 100 idiomas. El dominio del idioma del sistema es suficiente para enseñar ese idioma y señaló que esto se debe en parte a una mayor prevalencia de textos que no están en inglés en sus datos de capacitación. PaLM 2 está disponible en cuatro tamaños, Gecko, Otter, Bison y Unicorn, desde el más pequeño hasta el más grande, y se ha ajustado en datos específicos de dominio para realizar ciertas tareas para clientes empresariales.
En una evaluación superficial de la versión PaLM 2 de Bard realizada por Ethan Mollick, un profesor de Wharton que suele escribir sobre IA, Mollick descubre que el rendimiento de PaLM 2 parece peor que el de GPT-4 y Bing en varias pruebas informales de lenguaje, que detalló en Twitter. hilo. Sin embargo, PaLM 2 parece vencer a GPT-4 en algunas tareas matemáticas, de traducción y de razonamiento según el Informe técnico de PaLM 2.
PaLM 2 es una familia de modelos de lenguaje grande y es menos un producto único que una familia de productos. Se implementarán diferentes versiones en entornos empresariales y de consumo. El conjunto de datos de PaLM 2 probablemente incluye una amplia variedad de material protegido por derechos de autor utilizado sin permiso y material potencialmente dañino extraído de Internet.
Los datos de entrenamiento influyen decisivamente en el resultado de cualquier modelo de IA, por lo que algunos expertos han estado defendiendo el uso de conjuntos de datos abiertos que pueden brindar oportunidades para la reproducibilidad científica y el escrutinio ético.
Comentarios