¿Cómo está hecho ChatGPT?

Aunque los grandes modelos de lenguaje (Large Language Models o LLM) son un campo tradicional de la IA y más en particular del deep learning, ha sido la llegada de GPT-3 y su nombre comercial reciente, chatGPT, los que han popularizado (¡y cómo!) este tipo de modelos para una amplia gama de aplicaciones. Sin duda se han hecho famosos los artículos de prensa indistinguibles -o díficilmente distinguibles- de los generados por humanos, pero también sus desarrollos de códigos informáticos o sus demostraciones matemáticas.

¿Qué sabemos de cómo está hecho GPT-3? OpenAI, la empresa que lo ha desarrollado y lo está explotando, ha publicado algunos artículos técnicos sobre la tecnología que está detrás de este sistema. Tenemos por un lado GPT-3, la tercera versión de su modelo «Generative Pre-Trained Transformer», que se dio a conocer en 2021, y por otro un conjunto de tecnologías de optimización de los modelos GPT. Una de ellas es InstructGPT, que incorpora feedback humano en el proceso de entrenamiento para alinear las salidas del modelo con la intención del usuario. Esta técnica se ha denominado Reinforcement Learning from Human Feedback (RLHF).

Además de entrar en los detalles técnicos, en esta masterclass que tendrá lugar el próximo 17 de mayo a las 13:00h de forma presencial (Salón de Actos de U-tad) y online, Pedro Concejero intentará responder a la pregunta que nos hacemos todos: ¿podemos nosotros como individuos/investigadores desarrollar este tipo de modelos? ¿Qué necesitaríamos para conseguirlo?