Noticias IBL | Nueva York
Bloomberg lanzado esta semana un artículo de investigación que presenta BloombergGPT, un nuevo modelo de IA de lenguaje grande (LLM) con 50 mil millones de parámetros creados desde cero para finanzas.
La compañía dijo que BloombergGPT, que ha sido capacitado específicamente en una amplia gama de datos financieros, supera a los modelos de tamaño similar por márgenes significativos (como se muestra en la tabla a continuación).
“Representa el primer paso en el desarrollo y aplicación de esta nueva tecnología para la industria financiera”, dijo la compañía.
“Este modelo ayudará a Bloomberg a mejorar las tareas de PNL financieras existentes, como el análisis de sentimientos, el reconocimiento de entidades nombradas, la clasificación de noticias y la respuesta a preguntas, entre otras. Además, BloombergGPT desbloqueará nuevas oportunidades para ordenar las grandes cantidades de datos disponibles en la Terminal Bloomberg”.
Los investigadores de Bloomberg fueron pioneros en un enfoque mixto que combina datos financieros con conjuntos de datos de propósito general para entrenar un modelo que logra los mejores resultados de su clase en los puntos de referencia financieros, al mismo tiempo que mantiene un rendimiento competitivo en los puntos de referencia LLM de propósito general.
Los analistas de datos de Bloomberg recopilaron documentos en lenguaje financiero a lo largo de cuarenta años, extraídos de este extenso archivo para crear un conjunto de datos completo de 363 000 millones de tokens que consta de documentos financieros en inglés.
Estos datos se aumentaron con un conjunto de datos públicos de 345 000 millones de tokens para crear un gran corpus de capacitación con más de 700 000 millones de tokens. Usando una parte de este corpus de entrenamiento, el equipo entrenó un modelo de lenguaje causal de solo decodificador de 50 mil millones de parámetros.
