GPT steht für „Generative Pre-trained Transformer“. Es handelt sich dabei um eine Art Sprachmodell, das von OpenAI entwickelt wurde, einer Forschungsorganisation, die sich der Entwicklung und Förderung künstlicher Intelligenz auf sichere und nützliche Weise widmet.

Die GPT-Modelle basieren auf der Transformer-Architektur, einer Art neuronalem Netzwerk, das sich besonders gut für die Verarbeitung sequentieller Daten wie Sprache eignet. GPT-Modelle sind „vortrainiert“, das heißt, sie werden zunächst an einem großen Korpus von Textdaten trainiert, bevor sie auf eine bestimmte Aufgabe, wie Sprachübersetzung oder Textvervollständigung, feinabgestimmt werden.

Im Vortrainingsprozess wird das Modell mit riesigen Mengen an Textdaten wie Büchern, Artikeln und Webseiten konfrontiert und darauf trainiert, das nächste Wort oder die nächste Wortfolge in einem bestimmten Kontext vorherzusagen. Auf diese Weise lernt das Modell, die statistischen Muster und Beziehungen in der Sprache zu erfassen, wodurch es auf eine entsprechende Aufforderung hin einen zusammenhängenden und flüssigen Text generieren kann.

GPT-Modelle werden in einer Vielzahl von Anwendungen eingesetzt, beispielsweise zur Textvervollständigung, für Chatbots und Sprachübersetzungen. Das bislang fortschrittlichste GPT-Modell ist GPT-3, das über 175 Milliarden Parameter verfügt und bei einer Reihe von Sprachaufgaben eine beeindruckende Leistung gezeigt hat.