Noticias IBL | Nueva York
Meta lanzó este mes una versión actualizada del modelo Code Llama 70B. Este modelo mejorado puede escribir código con mayor precisión en varios lenguajes de programación, como Python, C++, Java y PHP, a partir de indicaciones de lenguaje natural o fragmentos de código existentes.
Basado en Llama 2 de código abierto, uno de los LLM más grandes del mundo, con 175 mil millones de parámetros, Code Llama es una colección de modelos de texto generativo previamente entrenados y ajustados que varían en escala de 7 mil millones a 70 mil millones de parámetros.
La versión del modelo 70B, que está disponible en Hugging Face, está diseñada para la síntesis y comprensión general del código, mientras que Llama 2 es un LLM de propósito general que puede generar texto en cualquier dominio y estilo, desde poesía hasta artículos de noticias.
Code Llama 70B ha sido perfeccionado para la generación de código utilizando una técnica llamada autoatención, que le permite aprender las relaciones y dependencias entre diferentes partes del código.
La generación de código ha sido un objetivo de larga data de los científicos informáticos, ya que promete hacer que el desarrollo de software sea más eficiente, accesible y creativo.
Sin embargo, a diferencia del lenguaje natural, que suele ser ambiguo y flexible, el código es preciso y rígido. Tiene que seguir reglas y sintaxis estrictas, y tiene que producir el resultado y el comportamiento deseados.
Los modelos de generación de código deben tener una gran cantidad de datos, potencia informática e inteligencia.
Code Llama 70B ha sido entrenado con 500 mil millones de tokens de código y datos relacionados con el código, lo que lo hace más capaz y robusto que sus predecesores, según Meta.
También tiene una ventana de contexto más grande de 100.000 tokens, lo que le permite procesar y generar código más largo y complejo.
Code Llama 70B también incluye CodeLlama-70B-Python, una variante que ha sido optimizada para Python. Esta variante ha sido entrenada con 100 mil millones de tokens adicionales de código Python, lo que la hace más fluida y precisa en la generación de código Python. CodeLlama-70B-Python también puede manejar una variedad de tareas, como web scraping, análisis de datos, aprendizaje automático (ML) y desarrollo web.
Code Llama 70B está disponible para descarga gratuita bajo la misma licencia que Llama 2 y los modelos anteriores de Code Llama, lo que permite tanto a investigadores como a comerciales usuarios para utilizarlo y modificarlo.
Se puede acceder al modelo y utilizarlo a través de varias plataformas y marcos, como Hugging Face, PyTorch, TensorFlow y Jupyter Notebook. Puede encontrar más información y documentación en GitHub y Hugging Face .
Meta AI también proporciona documentación y tutoriales sobre cómo usar y ajustar el modelo para diferentes propósitos e idiomas.
Mark Zuckerberg, director ejecutivo de Meta AI, dijo en una declaración publicada en su cuenta de Facebook: “Nosotros Estamos abriendo código para un Code Llama nuevo y mejorado, que incluye un modelo de parámetros más grande de 70 B. Escribir y editar código se ha convertido en uno de los usos más importantes de los modelos de IA en la actualidad. La capacidad de codificar también ha demostrado ser importante para los modelos de IA. procesar información en otros dominios de manera más rigurosa y lógica. Estoy orgulloso del progreso aquí y espero incluir estos avances en Llama 3 y también en modelos futuros”.
Se espera que Code Llama 70B tenga un impacto significativo en el campo de la generación de código y la industria del desarrollo de software, ya que ofrece una herramienta poderosa y accesible para crear y mejorar código. También puede reducir la barrera de entrada para las personas que desean aprender a codificar, ya que puede brindar orientación y retroalimentación basada en instrucciones en lenguaje natural. Además, Code Llama 70B puede habilitar potencialmente nuevas aplicaciones y casos de uso, como traducción de código, resumen de código, documentación de código, análisis de código y depuración de código.
.
