GPT signifie « Generative Pre-trained Transformer ». Il s'agit d'un type de modèle de langage développé par OpenAI, une organisation de recherche dédiée au développement et à la promotion de l'intelligence artificielle de manière sûre et bénéfique.

Les modèles GPT sont basés sur l'architecture Transformer, un type de réseau neuronal particulièrement adapté au traitement de données séquentielles telles que le langage. Les modèles GPT sont « pré-entraînés », ce qui signifie qu'ils sont d'abord formés sur un large corpus de données textuelles avant d'être affinés sur une tâche spécifique, comme la traduction linguistique ou la saisie semi-automatique de texte.

Le processus de pré-apprentissage consiste à exposer le modèle à des quantités massives de données textuelles, telles que des livres, des articles et des pages Web, et à l'entraîner à prédire le mot ou la séquence de mots suivant dans un contexte donné. Ce faisant, le modèle apprend à capturer les modèles statistiques et les relations dans la langue, ce qui lui permet de générer un texte cohérent et fluide lorsqu'il reçoit une invite.

Les modèles GPT ont été utilisés dans de nombreuses applications, telles que la saisie semi-automatique de texte, les chatbots et la traduction linguistique. Le modèle GPT le plus avancé à ce jour est le GPT-3, qui compte 175 milliards de paramètres et a démontré des performances impressionnantes sur toute une gamme de tâches linguistiques.