Noticias IBL | Nueva York
NVIDIA lanzó hoy un software de código abierto llamado NeMo Guardrails que pueden evitar que los chatbots de IA “alucinen” hechos incorrectos, como decir hechos incorrectos, hablar sobre temas dañinos o abriendo brechas de seguridad.
Es una capa de software que se encuentra entre el usuario y el LLM (modelo de lenguaje grande) u otras herramientas de IA. Evita los malos resultados o las malas indicaciones antes de que el modelo las escupa.
El problema de la “alucinación” con la última generación de modelos de lenguaje grande es actualmente un punto de bloqueo importante para las empresas.
La empresa diseñó este software para que funcione con todas las aplicaciones conversacionales basadas en LLM, incluidas ChatGPT de OpenAI y Bard de Google.
NeMo Guardrails permite a los desarrolladores definir las interacciones de los usuarios e integrar estas medidas de seguridad en cualquier aplicación mediante una biblioteca de Python.
Puede ejecutarse sobre LangChain, un conjunto de herramientas de código abierto que se utiliza para conectar aplicaciones de terceros a los LLM. .
Además, funciona con Zapier y una amplia gama de aplicaciones habilitadas para LLM.
Los desarrolladores pueden crear nuevas reglas rápidamente con unas pocas líneas de código estableciendo tres tipos de límites:
- Barandillas tópicas evitan que las aplicaciones se desvíen hacia áreas no deseadas. Por ejemplo, evitan que los asistentes de servicio al cliente respondan preguntas sobre el clima.
- Barandillas de seguridad garantizan que las aplicaciones respondan con información precisa y adecuada. Pueden filtrar el lenguaje no deseado y hacer cumplir que las referencias se hagan solo a fuentes confiables.
- Barandillas de seguridad impiden que las aplicaciones establezcan conexiones solo con aplicaciones externas de terceros que se sabe que son seguras.
“Puedes escribir un guión que diga, si alguien habla sobre este tema, no importa qué, responde de esta manera”, dijo Jonathan Cohen, vicepresidente de investigación aplicada de NVIDIA.
• “No tienes que confiar en que un modelo de lenguaje seguirá un aviso o seguirá tus instrucciones. En realidad, está codificado en la lógica de ejecución del sistema de barandas lo que sucederá”.
• “Si tiene un chatbot de servicio al cliente, diseñado para hablar sobre sus productos, probablemente no quiera que responda preguntas sobre nuestros competidores”.
• “Quieres monitorear la conversación. Y si eso sucede, diriges la conversación hacia los temas que prefieres”.
La empresa dijo: “Gran parte del marco NeMo ya está disponible como código fuente abierto en GitHub. Las empresas también pueden obtenerlo como un paquete completo y compatible, parte de la NVIDIA AI Enterprise plataforma de software. NeMo también está disponible como servicio. Es parte de NVIDIA AI Foundations, una familia de servicios en la nube para empresas que desean crear y ejecutar modelos de IA generativos personalizados basados en sus propios conjuntos de datos y conocimiento del dominio”.
NVIDIA, que intenta mantener su liderazgo en el mercado de chips de IA desarrollando simultáneamente software para aprendizaje automático, mencionó el caso del operador móvil líder de Corea del Sur que construyó un asistente inteligente que ha tenido 8 millones de conversaciones con sus clientes, así como un equipo de investigación en Suecia que empleó a NeMo para crear LLM que puedan automatizar las funciones de texto para los hospitales, el gobierno y las oficinas comerciales del país.
Otras empresas de IA, incluidas Google y OpenAI, han utilizado un método llamado aprendizaje por refuerzo a partir de comentarios humanos para evitar resultados dañinos de las aplicaciones LLM. Este método usa probadores humanos que crean datos sobre qué respuestas son aceptables o no y luego entrenan el modelo de IA usando esos datos.
[Divulgación: IBL Education, la empresa matriz de IBL News, trabaja para NVIDIA en proyectos relacionados con la educación en línea]
