Noticias IBL | Nueva York
El proyecto BigCode, una colaboración científica abierta centrada en el desarrollo de LLMs for Code (Code LLMs), lanzado esta semana StarCoder2, un generador de código abierto impulsado por IA con una licencia menos restrictiva que GitHub Copilot, Amazon CodeWhisperer y Meta’s Code Llama.
Como la mayoría de los otros generadores de código, StarCoder2 puede sugerir formas de completar líneas de código sin terminar, así como resumir y recuperar fragmentos de código cuando se le solicita en lenguaje natural.
Todas las variantes de StarCoder2 están entrenadas en The Stack v2, un nuevo conjunto de datos de código grande y de alta calidad. StarCoder 2 es una familia de LLM abiertos para código y viene en tres tamaños diferentes: 3B entrenados por ServiceNow, 7B entrenados por Hugging Face y 15B de parámetros entrenados por NVIDIA con NVIDIA NeMo y entrenados en la infraestructura acelerada de NVIDIA.
El último, StarCoder2-15B, fue entrenado en más de 4 billones de tokens y más de 600 lenguajes de programación de The Stack v2.
BigCode publicó todos los modelos, conjuntos de datos y el procesamiento, así como el código de entrenamiento, como se explica en un papel.
En el proyecto participaron al menos estas universidades estadounidenses: Northeastern University, University of Illinois Urbana-Champaign, Johns Hopkins University, Leipzig University, Monash University, University of British Columbia, MIT, Technical University of Munich, Technion – Israel Institute of Technology, Universidad de Notre Dame, Universidad de Princeton, Wellesley College, University College London, UC San Diego, Universidad Cornell y UC Berkeley.
Más allá de Academia, el proyecto reunió a Kaggle, Roblox 12Sea AI Lab 13, Data61 de CSIRO, Mazzuma, Contextual AI, Cohere y Salesforce.
StarCoder 2 se puede ajustar en unas pocas horas usando una GPU como la Nvidia A100 con datos propios o de terceros para crear aplicaciones como chatbots y asistentes de codificación personales. Y, debido a que fue entrenado en un conjunto de datos más grande y diverso que el StarCoder original (~619 lenguajes de programación), StarCoder 2 puede hacer predicciones más precisas y conscientes del contexto, al menos hipotéticamente.
Harm de Vries, jefe del equipo de desarrollo StarCoder 2 de ServiceNow, le dijo a TechCrunch en una entrevista que “con StarCoder2, los desarrolladores pueden usar sus capacidades para hacer la codificación más eficiente sin sacrificar la velocidad o la calidad”.
Un estudio reciente de Stanford descubrió que los ingenieros que utilizan sistemas de generación de código tienen más probabilidades de introducir vulnerabilidades de seguridad en las aplicaciones que desarrollan. Además, un encuesta de Sonatype, la empresa de ciberseguridad, muestra que la mayoría de los desarrolladores están preocupados por la falta de conocimiento sobre cómo se produce el código de los generadores de código y la “dispersión de código” de los generadores que producen demasiado código para administrar.
La licencia de StarCoder 2 también podría resultar un obstáculo para algunos, según TechCrunch.
“StarCoder 2 tiene la licencia BigCode Open RAIL-M 1.0, cuyo objetivo es promover el uso responsable imponiendo restricciones de “ligero toque” tanto a los licenciatarios del modelo como a los usuarios intermedios. Aunque es menos restrictivo que muchas otras licencias, RAIL-M es No es realmente “abierto” en el sentido de que no permitir los desarrolladores utilizar StarCoder 2 para cada aplicación imaginable (las aplicaciones de asesoramiento médico están estrictamente prohibidas, por ejemplo). Algunos comentaristas Dicen que los requisitos de RAIL-M pueden ser demasiado vagos para cumplirlos en cualquier caso, y que RAIL-M podría entrar en conflicto con regulaciones relacionadas con la IA, como la Ley de IA de la UE”.
ServiceNow ya ha utilizado StarCoder para crear Now LLM, un producto para la generación de código ajustado a los patrones de flujo de trabajo, casos de uso y procesos de ServiceNow. Hugging Face, que ofrece planes de consultoría para la implementación de modelos, ofrece versiones alojadas de los modelos StarCoder 2 en su plataforma. Nvidia, que hace que StarCoder 2 esté disponible a través de una API y una interfaz web.
.
