GPT adalah singkatan dari "Generative Pre-trained Transformer". Ini adalah jenis model bahasa yang dikembangkan oleh OpenAI, sebuah organisasi penelitian yang didedikasikan untuk mengembangkan dan mempromosikan kecerdasan buatan dengan cara yang aman dan bermanfaat.
Model GPT didasarkan pada arsitektur transformer, yang merupakan jenis jaringan saraf yang sangat cocok untuk memproses data sekuensial seperti bahasa. Model GPT "dilatih terlebih dahulu", yang berarti bahwa model tersebut pertama kali dilatih pada korpus data teks yang besar sebelum disempurnakan pada tugas tertentu, seperti penerjemahan bahasa atau pelengkapan teks.
Proses pra-pelatihan melibatkan pemaparan model terhadap sejumlah besar data teks, seperti buku, artikel, dan halaman web, dan melatihnya untuk memprediksi kata atau rangkaian kata berikutnya berdasarkan konteks. Dengan melakukan ini, model belajar untuk menangkap pola dan hubungan statistik dalam bahasa, yang memungkinkannya menghasilkan teks yang koheren dan lancar saat diberi perintah.
Model GPT telah digunakan dalam berbagai aplikasi, seperti pelengkapan teks, chatbot, dan penerjemahan bahasa. Model GPT yang paling canggih hingga saat ini adalah GPT-3, yang memiliki 175 miliar parameter dan telah menunjukkan kinerja yang mengesankan pada berbagai tugas bahasa.
