GPT nozīmē "ģeneratīvs iepriekš apmācīts transformators". Tas ir valodas modeļa veids, ko izstrādājusi OpenAI, pētniecības organizācija, kuras mērķis ir drošā un izdevīgā veidā attīstīt un veicināt mākslīgo intelektu.

GPT modeļi ir balstīti uz transformatora arhitektūru, kas ir neironu tīkla veids, kas ir īpaši piemērots secīgu datu, piemēram, valodas, apstrādei. GPT modeļi ir “iepriekš apmācīti”, kas nozīmē, ka tie vispirms tiek apmācīti lielam teksta datu korpusam, pirms tie tiek pielāgoti konkrētam uzdevumam, piemēram, valodas tulkošanai vai teksta pabeigšanai.

Iepriekšējas apmācības process ietver modeļa pakļaušanu lielam teksta datu apjomam, piemēram, grāmatām, rakstiem un tīmekļa lapām, un apmācību, lai tas paredzētu nākamo vārdu vai vārdu secību, ņemot vērā kontekstu. To darot, modelis iemācās uztvert statistiskos modeļus un attiecības valodā, kas ļauj tam ģenerēt saskaņotu un raitu tekstu, kad tiek parādīta uzvedne.

GPT modeļi ir izmantoti dažādās lietojumprogrammās, piemēram, teksta pabeigšanā, tērzēšanas robotos un valodu tulkošanā. Līdz šim vismodernākais GPT modelis ir GPT-3, kuram ir 175 miljardi parametru un kas ir demonstrējis iespaidīgu veiktspēju virknē valodu uzdevumu.