GPT significa "Transformador generativo preentrenado". Es un tipo de modelo de lenguaje desarrollado por OpenAI, una organización de investigación dedicada a desarrollar y promover la inteligencia artificial de manera segura y beneficiosa.

Los modelos GPT se basan en la arquitectura transformadora, que es un tipo de red neuronal particularmente adecuada para procesar datos secuenciales como el lenguaje. Los modelos GPT están "preentrenados", lo que significa que primero se entrenan en un gran corpus de datos de texto antes de ajustarlos en una tarea específica, como la traducción de un idioma o la finalización de un texto.

El proceso de preentrenamiento implica exponer el modelo a cantidades masivas de datos de texto, como libros, artículos y páginas web, y entrenarlo para predecir la siguiente palabra o secuencia de palabras dado un contexto. Al hacer esto, el modelo aprende a capturar los patrones estadísticos y las relaciones en el idioma, lo que le permite generar un texto coherente y fluido cuando se le da una indicación.

Los modelos GPT se han utilizado en una variedad de aplicaciones, como finalización de texto, chatbots y traducción de idiomas. El modelo GPT más avanzado hasta la fecha es GPT-3, que tiene 175 mil millones de parámetros y ha demostrado un rendimiento impresionante en una variedad de tareas lingüísticas.