GPT oznacza „Generative Pre-trained Transformer”. Jest to typ modelu językowego opracowany przez OpenAI, organizację badawczą poświęconą rozwijaniu i promowaniu sztucznej inteligencji w bezpieczny i korzystny sposób.
Modele GPT opierają się na architekturze transformatora, która jest typem sieci neuronowej, która jest szczególnie dobrze przystosowana do przetwarzania danych sekwencyjnych, takich jak język. Modele GPT są „wstępnie wytrenowane”, co oznacza, że są najpierw trenowane na dużym korpusie danych tekstowych, zanim zostaną dostrojone do konkretnego zadania, takiego jak tłumaczenie języka lub uzupełnianie tekstu.
Proces wstępnego treningu obejmuje wystawienie modelu na działanie ogromnych ilości danych tekstowych, takich jak książki, artykuły i strony internetowe, a następnie trenowanie go w celu przewidywania następnego słowa lub sekwencji słów w kontekście. Dzięki temu model uczy się wychwytywać wzorce statystyczne i relacje w języku, co pozwala mu generować spójny i płynny tekst po otrzymaniu monitu.
Modele GPT były używane w wielu aplikacjach, takich jak uzupełnianie tekstu, chatboty i tłumaczenie języków. Najbardziej zaawansowanym modelem GPT do tej pory jest GPT-3, który ma 175 miliardów parametrów i wykazał imponującą wydajność w zakresie zadań językowych.
