GPT je zkratka pro „Generative Pre-trained Transformer“. Jedná se o typ jazykového modelu vyvinutý OpenAI, výzkumnou organizací, která se věnuje vývoji a propagaci umělé inteligence bezpečným a prospěšným způsobem.
Modely GPT jsou založeny na architektuře transformátoru, což je typ neuronové sítě, který je zvláště vhodný pro zpracování sekvenčních dat, jako je jazyk. Modely GPT jsou „předtrénované“, což znamená, že se nejprve natrénují na velkém korpusu textových dat, než se doladí na konkrétní úkol, jako je jazykový překlad nebo dokončování textu.
Předtréninkový proces zahrnuje vystavení modelu velkému množství textových dat, jako jsou knihy, články a webové stránky, a jeho trénování, aby předpověděl další slovo nebo sekvenci slov s daným kontextem. Díky tomu se model naučí zachytit statistické vzorce a vztahy v jazyce, což mu na výzvu umožňuje generovat souvislý a plynulý text.
Modely GPT byly použity v různých aplikacích, jako je dokončování textu, chatboti a překlady jazyků. Dosud nejpokročilejším modelem GPT je GPT-3, který má 175 miliard parametrů a prokázal působivý výkon v řadě jazykových úloh.
