Noticias IBL | Nueva York
Para crear un chatbot corporativo para atención al cliente, generar publicaciones personalizadas y materiales de marketing, o desarrollar una aplicación de automatización personalizada, el modelo de lenguaje grande (LLM) como GPT-4 debe incluir la capacidad de responder preguntas sobre datos privados.
Sin embargo, entrenar o reentrenar el modelo no es práctico debido a los costos, el tiempo y las preocupaciones de privacidad asociados con la combinación de conjuntos de datos, así como los posibles riesgos de seguridad.
Por lo general, el enfoque adoptado es la “inyección de contenido”, una técnica llamada “incrustación” que implica proporcionar al modelo información adicional de una base de datos de conocimiento deseada junto con la consulta del usuario.
Esta recopilación de datos puede incluir información del producto, documentos internos o información extraída de la web, interacciones con los clientes y conocimientos específicos de la industria.
En esta etapa, es esencial considerar la privacidad y la seguridad de los datos, garantizando que la información confidencial se maneje de manera adecuada y de conformidad con la información relevante, como detalla la experta Shelly Palmer en una publicación.
Los datos que se van a integrar deben limpiarse y estructurarse para garantizar la compatibilidad con el modelo de IA.
Además, debe tokenizarse y convertirse a un formato adecuado configurando los índices correctos.
Una vez preprocesados los datos, el modelo de IA debe ajustarse y entrenarse previamente.
El siguiente paso es interactuar con la API. Los vectores de consulta se compararán con la base de datos, extrayendo el contenido que se inyectará.
La cantidad de tokens se calcula para conocer el costo. Por lo general, cada ficha corresponde a cuatro o cinco palabras en inglés.
Para ejecutar un esquema de inyección de contenido eficaz, se debe diseñar un mensaje. Este es un ejemplo de un mensaje:
“Usted es un empleado optimista y positivo de nuestra empresa. Lea las siguientes secciones de nuestra base de conocimientos y responda la pregunta utilizando únicamente la información proporcionada aquí. Si no tiene suficiente información para responder la pregunta de la base de conocimientos a continuación , responda al usuario con “Disculpas. No puedo brindarle asistencia”.
La inyección de contexto va aquí.
Las preguntas o aportes del usuario van aquí.”
Hay tres consideraciones más para una implementación correcta: Cualquier información de identificación personal (PII) debe ser anónima para proteger la privacidad de sus clientes y también garantizar el cumplimiento de las normas de protección de datos como GDPR (Reglamento General de Protección de Datos).
Medidas sólidas de control de acceso ayudarán a prevenir el acceso no autorizado y reducir el riesgo de violaciones de datos.
Monitoreo continuo para verificar si hay signos de sesgo u otras consecuencias no deseadas antes de que se intensifiquen.
• Respuesta del blog: Cómo entrenar sus propios modelos de lenguaje grandes
• Andreessen Horowitz: Navegando el alto coste de la computación con IA
