IBL News | Nueva York
Los investigadores del MIT presentaron un modelo llamado SEAL (Self-Adapting Language Models) que permite a los LLMs aprender a generar sus propios datos de entrenamiento sintéticos basados en la entrada que reciben y aprender de sus experiencias. Este modelo de IA que nunca deja de aprender intenta imitar la inteligencia humana.
Actualmente, los últimos modelos de IA pueden razonar realizando inferencias más complejas. En contraste, el esquema del MIT genera nuevas ideas y luego las incorpora en sus propios pesos o parámetros.
El sistema incluye “una señal de aprendizaje por refuerzo que ayuda a guiar al modelo hacia actualizaciones que mejoren sus habilidades generales y le permitan continuar aprendiendo”, explicaron desde el MIT en Wired.
Los investigadores probaron su enfoque en versiones pequeñas y medianas de dos modelos de código abierto, Llama de Meta y Qwen de Alibaba. Afirman que el enfoque debería funcionar también para modelos fronterizos mucho más grandes.
Los investigadores señalaron que SEAL es intensivo en computación y aún no está claro cuál es la mejor manera de programar nuevos períodos de aprendizaje.
“A pesar de todas sus limitaciones, SEAL es un nuevo camino emocionante para la investigación adicional en IA, y bien podría ser algo que se integre en futuros modelos de IA fronterizos”, dijeron estos investigadores del MIT.
