Stability lanza su nuevo LLM, de c贸digo abierto y de uso gratuito comercialmente

Stability lanza su nuevo LLM, de c贸digo abierto y de uso gratuito comercialmente

Noticias IBL | Nueva York

Stability AI, la startup detr谩s de la herramienta de arte generativo de IA Stable Diffusion, lanz贸 esta semana un LLM de c贸digo abierto con 15 a 65 mil millones de par谩metros a seguir.

StableLM聽puede generar texto y c贸digo y es una alternativa a OpenAI propietario. “Es un trato enorme, que tiene el potencial de cambiar todo en la IA”, dijo un experto.

Puede ser utilizado con fines comerciales o de investigaci贸n, bajo la licencia CC BY-SA-4.0.

Esta versi贸n est谩 disponible en “alfa” en su GitHuby聽Hugging Spaces, una plataforma para alojar modelos de IA y c贸digo.

Se basa en el historial de c贸digo abierto de la empresa con EleutherAI, un centro de investigaci贸n sin fines de lucro.

En 2022, lanz贸 el modelo de imagen Stable Diffusion. Las versiones anteriores incluyeron聽GPT-J, GPT-NeoX y la suite Pythia, que se entrenaron en聽The Pile conjunto de datos de c贸digo abierto: una combinaci贸n de muestras de texto extra铆das de Internet de sitios web como PubMed, StackExchange y Wikipedia.

Estos modelos de c贸digo abierto, incluidos聽Cerebras- GPT聽y聽Dolly-2, podr铆a demostrar que los modelos peque帽os y eficientes pueden ofrecer rendimiento con la capacitaci贸n adecuada, seg煤n los expertos.

StableLM est谩 entrenado en un nuevo conjunto de datos experimentales creado en The Pile, pero tres veces m谩s grande con 1,5 billones de tokens de contenido.

“La riqueza de este conjunto de datos le da a StableLM un rendimiento sorprendentemente alto en tareas de codificaci贸n y conversaci贸n, a pesar de su peque帽o tama帽o de 3 a 7 mil millones de par谩metros (en comparaci贸n, GPT-3 tiene 175 mil millones de par谩metros)”, dijo el empresa en una entrada de blog.

Stability tambi茅n est谩 lanzando un conjunto de modelos de investigaci贸n que son instrucci贸n afinada. Usan una combinaci贸n de cinco conjuntos de datos recientes, no comerciales, solo de investigaci贸n y de c贸digo abierto: Alpaca,聽GPT4All,聽Dolly,聽ShareGPT y聽HH.

“Los modelos ling眉铆sticos formar谩n la columna vertebral de nuestra econom铆a digital y queremos que todos tengan una voz en su dise帽o”, dijo Stability AI.

Adem谩s, Stability est谩 trabajando en un programa RLHF de colaboraci贸n abierta y un conjunto de datos de c贸digo abierto para asistentes de IA, Open Assistant.

Stability AI no dijo si StableLM alucina e incluye lenguaje y puntos de vista ofensivos. 鈥淒ado que The Pile contiene lenguaje profano, lascivo y bastante abrasivo, no ser铆a sorprendente que ese fuera el caso鈥, escribi贸 TechCrunch.

“Se espera que esto mejore con escala, mejores datos, comentarios de la comunidad y optimizaci贸n”, respondi贸 Stability.

Se ha demostrado que incluso los modelos comercializados como GPT-4, que tienen filtros y equipos de moderaci贸n humanos, arrojan toxicidad.

Algunos investigadores han criticado el lanzamiento de modelos de c贸digo abierto, argumentando que podr铆an usarse para fines desagradables, como crear correos electr贸nicos de phishing o ayudar a los ataques de malware.

Seg煤n Semafor, Stability AI, que recaud贸 m谩s de $ 100 millones con una valoraci贸n de $ 1 mil millones, est谩 bajo presi贸n para monetizar sus esfuerzos. Su director ejecutivo, Emad Mostaque, ha insinuado planes de salida a bolsa.

La empresa se enfrenta a聽casos聽legales聽que alegan que infringi贸 los derechos de millones de artistas al desarrollar herramientas de arte de inteligencia artificial utilizando im谩genes con derechos de autor extra铆das de la web.