El modelo de lenguaje de IA GPT-3 llega a la educación superior

Noticias IBL | Nueva York

La llegada del software basado en web GPT-3 como un servicio API para desarrolladores ha comenzado a impactar el panorama de la educación superior. Una de las primeras aplicaciones es escribir documentos a bajo precio. The Chronicle of Higher Ed se pregunta si este tipo del programa de inteligencia artificial matará la escritura universitaria.

“Estos resultados pueden ser asombrosamente específicos y personalizados. Cuando se le pide que escriba una canción que proteste por el trato inhumano hacia los animales al estilo de Bob Dylan, el programa claramente se basa en temas de Dylan”, dice The Chronicle.

El software GPT-3, desarrollado por una organización sin fines de lucro con sede en San Francisco respaldada por Elon Musk llamada OpenAI y presentado en 2020, es una especie de Siri o Alexa omnisciente e inteligente que puede convertir cualquier mensaje en prosa o incluso puede escribir código. Hay múltiples ejemplos de experimentos en YouTube con demostraciones de robots de IA que interactúan con humanos. [Ejemplo I] [Ejemplo II] [Ejemplo III].

Esta tecnología realiza una amplia variedad de tareas de lenguaje natural, traduciendo el lenguaje natural a código. Actualmente, muchas empresas están creando productos sobre el modelo de lenguaje grande (LLM) insignia de OpenAI.

Además de los bancos que usan Davinci, el modelo GPT-3 más grande, para su chatbot de servicio al cliente, se espera que este uso de tecnología de aprendizaje profundo para producir textos, videos y consejos similares a los humanos se implemente cada vez más en evaluaciones del aprendizaje de los estudiantes. El papel del profesorado, los estudiantes, la investigación y las publicaciones se repensará con GPT-3 con la llegada de este nivel de interacción humano-computadora, según el analista y escritor Ray Schroeder.

Más allá de los hechos y las perspectivas, las redes neuronales aprenden y enseñan habilidades, incluidas matemáticas, programación informática, escritura creativa (sin respuestas plagiadas) e incluso poesía, después de haber absorbido y procesado terabytes de texto y literatura en línea. GPT-3 ha sido capacitado en la mayor parte de lo que se ha escrito públicamente, incluidos Wikipedia, libros, artículos científicos y artículos de noticias.
El éxito de GPT-3 ha animado a otras empresas a lanzar sus propios proyectos de investigación LLM. Google, Meta, Nvidia y otras grandes corporaciones tecnológicas han acelerado el trabajo en LLM.

Hoy en día, hay varios LLM que igualan o superan a GPT-3 en tamaño o rendimiento de referencia, incluidos Meta’s OPT-175B, DeepMind’s Chinchilla, Google’s PaLM y Nvidia’s Megatron MT-NLG.

Este mes, los investigadores de IA de Amazon presentaron Alexa Teacher Models (AlexaTM 20B), afirmando que supera a GPT-3 en los puntos de referencia de NLP. El modelo aún no se ha hecho público. [GitHub repositorio].

GPT-3 también desencadenó el lanzamiento de varios proyectos de código abierto que tenían como objetivo llevar los LLM a una audiencia más amplia. BLOOM de BigScience y GPT-J de EleutherAI son dos ejemplos de LLM de código abierto disponibles de forma gratuita. Además, Cerebras ha creado un enorme procesador de IA que puede entrenar y ejecutar LLM con miles de millones de parámetros a una fracción del costo.

Sin embargo, OpenAI, que recientemente rebajó el precio de su servicio API GPT-3 hasta en dos tercios este mes,   ya no es la única empresa que proporciona servicios de API LLM. Hugging Face, Cohere y Humanloop son algunos de los otros jugadores en el campo.

Hugging Face proporciona una gran variedad de transformadores diferentes, todos los cuales están disponibles como modelos de código abierto descargables o mediante llamadas API. Hugging Face lanzó recientemente un nuevo LLM servicio con tecnología de Microsoft Azure, que OpenAI también usa para su API GPT-3.

Muchas organizaciones no pueden manejar los desafíos técnicos de entrenar y ejecutar los modelos, ya que LLM requiere docenas o incluso cientos de GPU: costos de hardware enormes. Esa es una de las razones por las que OpenAI y otras empresas decidieron brindar acceso API a los LLM.

• Oportunidades de interacción con IA: Copy.AI, Blenderbot .AI, Iamsophie.IO

• Ray Schoeder: Educación superior, conoce a GPT-3: ¡Nunca seremos los mismos!