AMD, một công ty công nghệ hàng đầu, đã công bố các mô hình ngôn ngữ mã nguồn mở đầu tiên của mình, OLMo, với 1 tỷ tham số. Sáng kiến này nhằm trang bị cho các nhà nghiên cứu và phát triển các công cụ cần thiết để xây dựng các giải pháp AI chuyên biệt phù hợp với nhu cầu của ngành cụ thể. Bằng cách làm cho các mô hình này trở thành mã nguồn mở, AMD hy vọng sẽ khuyến khích đổi mới và tùy chỉnh trong công nghệ AI, giúp đáp ứng nhu cầu ngày càng tăng cho các giải pháp AI chuyên biệt trong các lĩnh vực khác nhau.
Các mô hình OLMo của AMD được huấn luyện trước bằng 1,3 triệu token trên các GPU AMD Instinct MI250 qua 16 nút. Các mô hình bao gồm ba điểm kiểm tra đại diện cho các giai đoạn khác nhau của quá trình huấn luyện và được trang bị một quy trình tinh chỉnh giám sát hai giai đoạn và căn chỉnh DPO để nâng cao khả năng lý luận và trò chuyện.
Trong các bài kiểm tra chuẩn, các mô hình OLMo đã cho thấy hiệu suất cạnh tranh so với các mô hình mã nguồn mở khác có kích thước tương tự, như TinyLLaMA và MobiLLaMA. Quyết định của AMD về việc làm mã nguồn mở các mô hình OLMo nhấn mạnh cam kết của họ đối với cộng đồng AI. Bằng cách cung cấp quyền truy cập vào dữ liệu huấn luyện, trọng số mô hình và mã nguồn, AMD nhằm mục đích thúc đẩy đổi mới và hợp tác trong nghiên cứu AI, truyền cảm hứng cho các phát triển và ứng dụng mới của công nghệ AI, tận dụng khả năng của các giải pháp phần cứng của AMD như các bộ xử lý Ryzen AI.
Nguồn
<p>Bài viết AMD Phát Hành Mô Hình Ngôn Ngữ 1B Tham Số OLMo cho Nghiên Cứu AI Mã Nguồn Mở lần đầu tiên xuất hiện trên CoinBuzzFeed.</p>
