Meta lanzó LLaMA, un modelo abierto de lenguaje grande con 65 mil millones de parámetros

Noticias IBL | Nueva York

Meta, anteriormente conocida como Facebook, anunció el lanzamiento de su modelo de lenguaje grande llamado LLaMA (Large Language Model Meta AI), con 65 mil millones de parámetros, ayer. Los analistas vieron este movimiento como la respuesta del CEO Mark Zuckerberg a ChatGPT.

“Está diseñado para ayudar a los investigadores a avanzar en su trabajo en este subcampo de la IA”, dijo Meta. “Es parte del compromiso de Meta con la ciencia abierta”.

“Entrenar modelos de base más pequeños como LLaMA es deseable en el espacio de modelos de lenguaje grande porque requiere mucho menos poder de cómputo y recursos para probar nuevos enfoques, validar el trabajo de otros y explorar nuevos casos de uso”.

Meta está poniendo a disposición LLaMA en varios tamaños (parámetros 7B, 13B, 33B y 65B). También compartió una tarjeta modelo LLAMA que detalla cómo la empresa construyó el modelo de acuerdo con un enfoque de prácticas de IA responsable.

Meta entrenó a LLaMA 65B y LLaMA 33B con 1,4 billones de tokens. Su modelo más pequeño, LLaMA 7B, está entrenado en un billón de tokens.

Durante el último año, los grandes modelos de lenguaje (sistemas de procesamiento de lenguaje natural (NLP) con miles de millones de parámetros) han mostrado nuevas capacidades para generar texto creativo, resolver teoremas matemáticos, predecir estructuras de proteínas, responder preguntas de comprensión de lectura y más.

Al igual que otros modelos de lenguaje grande, LLaMA funciona tomando una secuencia de palabras como entrada y prediciendo la siguiente palabra para generar texto de forma recursiva.

Para entrenar su modelo, Meta eligió un texto de los 20 idiomas con más hablantes, enfocándose en aquellos con alfabeto latino y cirílico. Meta lanzó su modelo bajo una licencia no comercial enfocada en casos de uso de investigación.

El acceso al modelo se otorgará caso por caso a investigadores académicos; aquellos afiliados a organizaciones en el gobierno, la sociedad civil y la academia; y laboratorios de investigación de la industria en todo el mundo.

Aquellos que deseen acceder a LLaMA por sí mismos pueden presentar su solicitud a través de este formulario de solicitud.

El director ejecutivo, Mark Zuckerberg, describió la contribución de su empresa a la animada esfera de la tecnología de IA en una publicación de Facebook.

“Hoy lanzamos un nuevo modelo de lenguaje grande de IA de última generación llamado LLaMA, diseñado para ayudar a los investigadores a avanzar en su trabajo”.