Databricks lanza Dolly, un clon LLM de c贸digo abierto del modelo Alpaca de Stanford

Databricks lanza Dolly, un clon LLM de c贸digo abierto del modelo Alpaca de Stanford

Noticias IBL | Nueva York

La firma de an谩lisis de big data Databricks abri贸 la semana pasada un nuevo modelo de IA llamado Dolly, junto con todo su c贸digo de capacitaci贸n e instrucciones sobre como recrearlo.

“Dolly es un LLM (modelo de lenguaje grande) econ贸mico de construir que exhibe un grado sorprendente de las capacidades de seguimiento de instrucciones exhibidas por ChatGPT”, anunci贸 la compa帽铆a聽en una publicaci贸n de blog.

El modelo subyacente de Dolly tiene solo 6聽000 millones de par谩metros, en comparaci贸n con los 175聽000 millones de GPT-3. Solo tiene dos a帽os, 鈥渓o que hace que sea particularmente sorprendente que funcione tan bien鈥.

En febrero de 2023, Meta lanz贸 las ponderaciones de un conjunto de modelos de lenguaje de alta calidad llamado聽LLaMA聽para investigadores acad茅micos.

En marzo de 2023, la Universidad de Stanford construy贸 el modelo Alpaca聽 , que se bas贸 en LLaMA, pero ajustado en un peque帽o conjunto de datos de 50,000 preguntas y respuestas similares a las de los humanos.

Databricks evalu贸 a Dolly en las capacidades de seguimiento de instrucciones descritas en el documento InstructGPT en el que se encuentra ChatGPT. basado.

Dolly, que lleva el nombre de Dolly the sheep, el primer mam铆fero clonado, es un clon de c贸digo abierto de una alpaca, inspirado en un LLaMA.

En lugar de crear su propio modelo desde cero o usar LLaMA, Databricks tom贸 un LLM mucho m谩s antiguo y de c贸digo abierto llamado GPT-J, que fue creado por EleutherAI varios a帽os antes.

GTP-J fue la base sobre la que se construy贸 Dolly.

Databricks pudo tomar el modelo EleutherAI y hacerlo “altamente accesible” simplemente entren谩ndolo con un peque帽o conjunto de datos de 50聽000 palabras en menos de tres horas usando una sola m谩quina.

鈥淓sto demuestra que la magia del seguimiento de instrucciones no radica en entrenar modelos en conjuntos de datos gigantes que usan hardware masivo鈥, explic贸 Databricks.

鈥淢谩s bien, la magia radica en mostrar a estos poderosos modelos de c贸digo abierto ejemplos espec铆ficos de c贸mo hablar con humanos, algo que cualquiera puede hacer por cien d贸lares utilizando este peque帽o conjunto de datos de 50聽000 ejemplos de preguntas y respuestas鈥.

 

鈥淓xhibe muchas de las mismas capacidades cualitativas, incluida la generaci贸n de texto, lluvia de ideas y preguntas y respuestas abiertas鈥.

“Creemos que modelos como Dolly ayudar谩n a democratizar los LLM, transform谩ndolos de algo que muy pocas empresas pueden pagar en un producto b谩sico que todas las empresas pueden poseer y personalizar para mejorar sus productos”, dijo Databricks.