Trong một cuộc phỏng vấn gần đây trên podcast Dữ liệu đào tạo của Sequoia Capital, CTO Kevin Scott của Microsoft đã nhắc lại niềm tin của mình vào giá trị lâu dài của luật mở rộng mô hình ngôn ngữ lớn (LLM).
Cũng đọc: Ứng dụng AI có tính năng 'nhãn an toàn' nêu bật các rủi ro và thử nghiệm
Scott, người đóng vai trò quan trọng trong thương vụ trị giá 13 tỷ USD giữa Microsoft và OpenAI, vẫn lạc quan về tiềm năng phát triển tiếp tục. Ông đáp lại cuộc tranh luận đang diễn ra bằng cách tuyên bố rằng ý tưởng về quy luật mở rộng vẫn phù hợp với lĩnh vực AI.
Nghiên cứu OpenAI hỗ trợ lợi ích mở rộng quy mô
Luật chia tỷ lệ LLM do các nhà nghiên cứu OpenAI đề xuất vào năm 2020 nêu rõ rằng hiệu quả của các mô hình ngôn ngữ tăng tỷ lệ thuận với kích thước của mô hình. Scott bác bỏ quy luật lợi nhuận giảm dần, nói rằng vẫn có thể đạt được mức tăng trưởng theo cấp số nhân, nhưng có thể các thế hệ siêu máy tính tiếp theo mới hiện thực hóa được điều đó.
Trong khi một số học giả đặt câu hỏi về tính bền vững của luật mở rộng quy mô, OpenAI vẫn dựa vào chúng như một thành phần chính trong kế hoạch AI của mình. Nhận xét của Scott phù hợp với cách tiếp cận của Microsoft đối với những nguyên tắc này, điều này ngụ ý rằng gã khổng lồ công nghệ không có ý định ngừng phát triển các mô hình AI lớn hơn.
Cộng đồng AI tranh luận về những cải tiến mô hình trong tương lai
Lập trường của Scott hoàn toàn trái ngược với một số nhà phê bình AI cho rằng sự tăng trưởng đã dừng lại ở GPT-4 và các mô hình tương tự khác. Một số nhà phê bình đã trích dẫn các mẫu mới nhất, bao gồm cả Gemini 1.5 Pro của Google và Claude Opus của Anthropic, vì đã không cho thấy những cải tiến đáng kể so với các mẫu trước đó. Nhà phê bình AI Gary Marcus đã nhấn mạnh quan điểm này vào tháng 4, đặt câu hỏi về việc thiếu những tiến bộ đáng kể kể từ khi phát hành GPT-4.
Tuy nhiên, Scott vẫn lạc quan về khả năng có những khám phá mới. Ông cũng chấp nhận thực tế là có rất ít điểm dữ liệu trong AI nhưng nhấn mạnh rằng điều này sẽ không còn là vấn đề trong tương lai.
“Mẫu tiếp theo sắp ra mắt và tôi không thể cho bạn biết khi nào cũng như không thể dự đoán chính xác nó sẽ tốt như thế nào, nhưng gần như chắc chắn nó sẽ tốt hơn đối với những thứ dễ vỡ hiện nay.”
Kevin Scott
Khoản tài trợ lớn của Microsoft vào OpenAI là minh chứng cho sự tin tưởng của hãng vào sự tiến bộ trong tương lai của LLM. Một số tính năng AI bao gồm Microsoft Copilot, điều này cho thấy rõ rằng công ty đang quan tâm đến việc cải thiện việc sử dụng AI. Ed Zitron, một nhà phê bình AI, cho rằng ở một mức độ nào đó, AI có thể bị mắc kẹt vì mọi người kỳ vọng quá nhiều vào nó.