Noticias IBL | Nueva York
Un modelo de lenguaje grande (LLM) llamado BLOOM estará disponible de forma gratuita como software de código abierto. Estos modelos se utilizan para escribir ensayos, generar código y traducir lenguaje.
Su apertura puede democratizar el acceso a las tecnologías de IA y tener un profundo impacto en la sociedad, según expertos hablando en TheNextWeb.com.
Liberaría a la IA de los laboratorios de tecnología bit que han gastado millones de dólares en el desarrollo de sistemas como LaMDA (Google) y GPT-3 (OpenAI). Se estimó que entrenar a GPT-3, por ejemplo, costaría hasta 27,6 millones de dólares.
BLOOM fue una iniciativa iniciada y dirigida por Hugging Face, una startup de inteligencia artificial, con un fuerte apoyo de GENCI, el IDRIS equipo en el CNRS, el Megatron equipo de NVIDIA y Deepspeed equipo de Microsoft, así como las más de 250 entidades (universidades, startups y empresas) que apoyan a los diversos participantes de BigScience incluidos EleutherAI y el Allen Institute for AI.
Un proyecto de investigación llamado BigScience creó BOOM en 2021.
La BigScience colaboración que creó BLOOM se inició y dirigido por Hugging Face
Un equipo de 100.000 investigadores de 60 países y 250 instituciones desarrolló BLOOM. El modelo fue entrenado en la supercomputadora Jean Zay en París, Francia.
Con 176 mil millones de parámetros, BLOOM es más grande que GPT-3 de OpenAI y OPT de MetaAI.
El modelo puede generar texto en 46 lenguajes naturales y dialectos y 13 lenguajes de programación.
BigScience dice que los investigadores pueden usar BLOOM por menos de $40/hora en un proveedor de nube. Eso lo hace muy asequible.
Está disponible de forma gratuita para cualquier persona o institución que acepte las Licencia de IA responsable.
“Los grandes modelos de aprendizaje automático han cambiado el mundo de la investigación de IA en los últimos dos años, pero el enorme costo informático necesario para entrenarlos hizo que muy pocos equipos tuvieran la capacidad de entrenarlos e investigarlos”, explicó Thomas Wolf, codirector de BigScience y cofundador de Hugging Face.
“BLOOM es una demostración de que los modelos de IA más poderosos pueden ser entrenados y liberados por la comunidad de investigación en general con responsabilidad y de una manera realmente abierta, en contraste con el secreto típico de los laboratorios de investigación de IA industrial”. dijo Teven Le Scao, codirector del entrenamiento de BLOOM, en un comunicado.
