SLMs có phải là sự thay đổi lớn tiếp theo trong AI không?

Khi ngành công nghiệp AI vẫn tập trung nhiều vào Các Mô hình Ngôn ngữ Lớn (LLMs), một nhóm ngày càng đông đảo các chuyên gia tin rằng Các Mô hình Ngôn ngữ Nhỏ (SLMs) có thể sớm trở thành tâm điểm.

Khi các công ty công nghệ tăng cường đầu tư vào AI sinh ra trong mùa lễ bận rộn, cuộc trò chuyện đang chuyển hướng về nhu cầu về các giải pháp tùy chỉnh hơn là các hệ thống khối.

Trong khi LLMs xuất sắc trong việc xử lý các nhiệm vụ đa dạng, chúng thường tiêu tốn nhiều tài nguyên, gây ra những thách thức về chi phí, tiêu thụ năng lượng và yêu cầu tính toán.

Theo CEO AWS Matt Garman, đã có sự quan tâm đáng kể từ các doanh nghiệp tận dụng AI sinh ra được hỗ trợ bởi các mô hình như Anthropic.

Tuy nhiên, LLMs, mặc dù chiếm ưu thế trong một số lĩnh vực, không phải là lựa chọn phổ quát.

CEO Teradata Steven McMillan ủng hộ SLMs như tương lai của AI, nhấn mạnh khả năng của chúng trong việc cung cấp các đầu ra cụ thể cho nhiệm vụ.

McMillan đã bày tỏ:

“Khi chúng tôi nhìn về tương lai, chúng tôi nghĩ rằng các mô hình ngôn ngữ nhỏ và vừa và các môi trường kiểm soát như các LLM theo miền sẽ cung cấp các giải pháp tốt hơn nhiều.”

SLMs được xây dựng với mục đích, được đào tạo trên các tập dữ liệu cụ thể để cung cấp những hiểu biết rất liên quan trong khi đảm bảo quyền riêng tư dữ liệu.

Một Khảo sát Toàn diện về Các Mô hình Ngôn ngữ Nhỏ

Khảo sát hay về các mô hình ngôn ngữ nhỏ (SLMs) và thảo luận về các vấn đề liên quan đến định nghĩa, ứng dụng, cải tiến, độ tin cậy, và nhiều hơn nữa. https://t.co/qVxuY1jWDE pic.twitter.com/WZuRm1fqU4

— elvis (@omarsar0) Ngày 7 tháng 11 năm 2024

Khác với các đối thủ lớn hơn, chúng tối ưu hóa năng lượng và tài nguyên tính toán để mở rộng theo nhu cầu của dự án, cung cấp một lựa chọn hiệu quả về chi phí và hiệu suất.

Đối với các doanh nghiệp yêu cầu chuyên môn sâu trong một lĩnh vực cụ thể, các mô hình chuyên biệt—dù là LLM theo miền hay SLM—cung cấp độ chính xác vô song. Ví dụ, một mô hình được tùy chỉnh cho Giám đốc Tiếp thị (CMO) so với một mô hình cho Giám đốc Tài chính (CFO) cung cấp những hiểu biết rất phù hợp và liên quan trong lĩnh vực đào tạo của nó.

Khi bối cảnh AI phát triển, sự nổi lên của SLMs nhấn mạnh nhu cầu ngày càng cao về độ chính xác, hiệu quả và khả năng mở rộng—các phẩm chất có thể định nghĩa lại tương lai của các hệ thống thông minh.

SLMs có phải là một lựa chọn tốt hơn không?

Hiệp hội Nhà khoa học Dữ liệu (ADaSci) ước tính rằng việc phát triển một SLM với 7 tỷ tham số để phục vụ một triệu người dùng chỉ cần 55,1 MWh (megawatt giờ) điện.

Ngược lại, việc đào tạo GPT-3, với 175 tỷ tham số, đã tiêu tốn một lượng điện khổng lồ 1,287 MWh, chưa tính đến năng lượng được sử dụng khi mô hình đang hoạt động.

Điều này có nghĩa là một SLM chỉ sử dụng khoảng 5% năng lượng cần thiết của một LLM.

Các LLM, do yêu cầu tính toán khổng lồ, thường được chạy trên các máy chủ đám mây, điều này thường có nghĩa là các công ty mất kiểm soát dữ liệu của họ và gặp phải thời gian phản hồi chậm hơn khi thông tin di chuyển qua internet.

Yếu hơn thì lại tốt hơn - Bài báo tuyệt vời từ @GoogleDeepMind

**Vấn đề**🔍:

Đào tạo các mô hình ngôn ngữ (LMs) trên dữ liệu tổng hợp chất lượng cao từ các LMs mạnh là điều phổ biến để cải thiện lý luận, nhưng có thể không tối ưu về tính toán dưới ngân sách suy diễn cố định.

**Những hiểu biết chính từ bài báo này… pic.twitter.com/PIbhSN3zVV

— Rohan Paul (@rohanpaul_ai) Ngày 28 tháng 9 năm 2024

Khi các doanh nghiệp ngày càng áp dụng AI, rõ ràng rằng không có một kích cỡ nào phù hợp cho tất cả.

Các công ty sẽ ưu tiên hiệu quả, tiết kiệm chi phí và giảm thiểu chuyển dữ liệu lên đám mây bằng cách chọn mô hình phù hợp nhất cho từng dự án—dù đó là một LLM đa mục đích hay một mô hình nhỏ hơn, chuyên biệt hơn.

Trong bối cảnh đang phát triển này, hiệu quả và độ chính xác sẽ là điều tối quan trọng.

McMillan đã nói:

“Khi bạn nghĩ về việc đào tạo các mô hình AI, chúng phải được xây dựng trên nền tảng của dữ liệu tuyệt vời.”

Ông đã thêm:

“Đó là điều mà chúng tôi đang hướng tới, cung cấp bộ dữ liệu đáng tin cậy và sau đó cung cấp khả năng và khả năng phân tích để khách hàng, và khách hàng của họ, có thể tin tưởng vào các đầu ra.”

Các LLM nhỏ hơn, theo miền cung cấp một lựa chọn hấp dẫn, cho phép các doanh nghiệp khai thác sức mạnh của AI mà không gặp phải chi phí tài nguyên nặng nề và độ phức tạp của các mô hình lớn hơn.

Khi AI trở thành trung tâm trong việc ra quyết định kinh doanh, việc chọn mô hình phù hợp cho từng nhiệm vụ sẽ rất quan trọng, đảm bảo cả kết quả đáng tin cậy và có thể mở rộng.