GPT là viết tắt của "Máy biến áp được đào tạo trước sáng tạo". Nó là một loại mô hình ngôn ngữ được phát triển bởi OpenAI, một tổ chức nghiên cứu chuyên phát triển và thúc đẩy trí tuệ nhân tạo một cách an toàn và có lợi.
Các mô hình GPT dựa trên kiến trúc máy biến áp, đây là một loại mạng thần kinh đặc biệt phù hợp để xử lý dữ liệu tuần tự như ngôn ngữ. Các mô hình GPT được "đào tạo trước", có nghĩa là chúng được đào tạo trước tiên trên một kho dữ liệu văn bản lớn trước khi được tinh chỉnh cho một nhiệm vụ cụ thể, chẳng hạn như dịch ngôn ngữ hoặc hoàn thành văn bản.
Quá trình đào tạo trước bao gồm việc cho mô hình tiếp xúc với lượng lớn dữ liệu văn bản, chẳng hạn như sách, bài báo và trang web, đồng thời huấn luyện mô hình để dự đoán từ hoặc chuỗi từ tiếp theo trong một ngữ cảnh. Bằng cách này, mô hình học cách nắm bắt các mẫu thống kê và mối quan hệ trong ngôn ngữ, cho phép mô hình tạo ra văn bản mạch lạc và trôi chảy khi được nhắc.
Mô hình GPT đã được sử dụng trong nhiều ứng dụng, chẳng hạn như hoàn thành văn bản, chatbot và dịch ngôn ngữ. Mẫu GPT tiên tiến nhất cho đến nay là GPT-3, có 175 tỷ tham số và đã thể hiện hiệu suất ấn tượng trên một loạt tác vụ ngôn ngữ.
