Hướng dẫn thực hành Kuzco của a16z: Từ chiến đấu đơn lẻ đến triển khai cụm

Bài viết bởi: J1N, Techub News

Giới thiệu: Epoch Một đến Hai

Kuzco là một mạng lưới khai thác sức mạnh LLM (Mô hình ngôn ngữ lớn) chuyên dụng, năm nay đã được chọn vào chương trình Tăng tốc Crypto Startup Accelerator (CSX) của a16z, được khởi động vào ngày 9 tháng 9 tại New York, các dự án được chọn sẽ nhận được ít nhất 500.000 USD đầu tư từ a16z và sẽ nhận được sự hướng dẫn và hỗ trợ từ đội ngũ vận hành của a16z. Hiện tại chương trình tăng tốc này đã kết thúc.

Ngày 16 tháng 11, Kuzco thông báo rằng kế hoạch khuyến khích giai đoạn một (Epoch One) sẽ kết thúc vào ngày 18 tháng 11 năm 2024, tất cả các hoạt động sẽ tạm dừng, dữ liệu chụp nhanh sẽ được lưu trữ vĩnh viễn, và bảng xếp hạng điểm cuối cùng sẽ được công bố trên bảng xếp hạng mới.

Theo thông tin chính thức, Epoch One sẽ ra mắt vào ngày 6 tháng 3 năm 2024, số lượng thiết bị đạt đỉnh vượt quá 8000 chiếc, mạng này đã chạy mô hình Llama-3 AI lớn với thông số 8B do Meta phát hành, tổng cộng thực hiện hơn 1 nghìn tỷ tokens.

Và thông báo rằng trong những tuần tới sẽ công bố thông tin huy động vốn và lộ trình phát triển dự án, cũng như kế hoạch khuyến khích giai đoạn hai (Epoch Two) sẽ bắt đầu vào ngày 9 tháng 12, Epoch Two sẽ mang lại một số tính năng mới, như thông lượng và độ tin cậy cao hơn của phần cứng NVIDIA; khuyến khích người dùng kết nối thiết bị sức mạnh hàng đầu như A100 và H100; hỗ trợ nhiều mô hình sinh ảnh và mô hình ngôn ngữ đa phương thức VLM.

Hiện tại còn nửa tháng chuẩn bị trước khi Epoch Two bắt đầu, bài viết này sẽ thảo luận về:

• Chia sẻ thực hành và kết quả khai thác cá nhân, từ máy đơn đến triển khai cụm.

• Trình bày về quá trình huy động vốn thông qua nghiên cứu và thực hành, cũng như xây dựng máy móc có tiêu chuẩn cao.

• Thảo luận về sự tương thích giữa cấu hình phần cứng và yêu cầu dự án, đồng thời giải đáp những câu hỏi thường gặp của nhà đầu tư.

Tổng kết Epoch One: Chiến đấu đơn lẻ

Cấu hình

Danh sách cấu hình của tác giả bao gồm các card đồ họa RTX 2060, 2070S, 3080, 4060, 4060Ti, cũng như 4 cái 4070S và 2 thiết bị Apple M2, M3. Những thiết bị này được phân bổ trên một vài máy tính để bàn, laptop và một máy khai thác chuyên dụng.

Chi phí

Cần lưu ý rằng những card đồ họa này thực chất là những card mà tác giả đã mua hàng năm theo nhu cầu trò chơi, không phải mua riêng cho khai thác. Do đó, khi tính toán chi phí, không tính đến chi phí mua phần cứng, chỉ thống kê chi phí điện thực tế của máy khai thác. Ở đây lấy máy khai thác được lắp ráp trong bài viết đầu tiên (hướng dẫn thực hành Kuzco của a16z: làm thế nào để khai thác sức mạnh AI một cách hiệu quả?) làm ví dụ.

Cấu hình của máy khai thác này:

• Bo mạch chủ: z490 (sẽ thay thế bằng bo mạch công nghiệp sau)

• CPU: thế hệ 10 I9

• Card đồ họa: 2060, 2070s, 3080, 4060ti, 4070s

Khai thác bằng tay

Hình dưới đây là lượng điện tiêu thụ của máy khai thác trong tháng 10 và tháng 11, tổng cộng là 564 độ, đạt được điểm (KZO Point) khoảng 600 triệu điểm. Tất cả các máy cộng lại khoảng 1.1 tỷ điểm. Chi phí điện cụ thể cần được tính toán theo tình hình giá điện của từng người, đây chỉ là tham khảo.

Hình bên phải, tổng cộng đạt được 1 tỷ điểm

Chuẩn bị cho Epoch Two: Triển khai cụm

Dựa trên những chia sẻ trong bài viết đầu tiên và kinh nghiệm phong phú trong việc lắp ráp, điều chỉnh và triển khai môi trường, tác giả đã thành công thu hút được một số hỗ trợ tài chính và đã đầu tư toàn bộ vào việc lắp ráp máy khai thác hiệu suất cao để nâng cao quy mô sức mạnh và hiệu quả vận hành.

Từ khai thác đơn lẻ đến triển khai cụm

Cấu hình và logic lựa chọn máy móc có tiêu chuẩn cao

Kết hợp kinh nghiệm thực tiễn trong Epoch One, tác giả đã tối ưu hóa toàn diện bo mạch chủ, CPU, card đồ họa, nguồn điện, nền tảng và cấu hình mạng, chọn được sự kết hợp phần cứng phù hợp hơn, không chỉ nâng cao tính ổn định, an toàn và hiệu quả hoạt động tổng thể, mà còn chú trọng hơn đến tính thanh khoản của thị trường hàng đã qua sử dụng trong lựa chọn phần cứng. Chiến lược này có thể hiệu quả giảm thiểu chi phí đầu tư thực tế, cung cấp cho những người tham gia sau này lựa chọn có giá trị sử dụng cao hơn.

Bo mạch chủ

Tác giả chọn bo mạch công nghiệp thay vì bo mạch B85 thông thường, chủ yếu dựa trên những cân nhắc tổng hợp về hiệu suất, độ ổn định và giá trị sử dụng.

Về hiệu suất, việc chạy mô hình Llama-3 của Kuzco cần kích hoạt nhiều tiến trình Docker, và việc chạy song song những tiến trình này sẽ chiếm nhiều tài nguyên CPU, yêu cầu hiệu suất CPU cao, trong khi CPU tương thích với B85 không thể đáp ứng yêu cầu này.

Ngoài ra, bo mạch công nghiệp có lợi thế rõ ràng trong việc chạy ổn định lâu dài, khả năng chịu nhiệt cao và bảo hành từ nhà sản xuất, đồng thời có tính thanh khoản cao hơn trên thị trường hàng đã qua sử dụng, vì vậy đây chắc chắn là lựa chọn tối ưu.

Card đồ họa

Tác giả chọn sử dụng 4070S làm card đồ họa chính, chủ yếu dựa trên những điểm sau:

Lợi thế về hiệu suất tính toán AI: So với các card thế hệ 30, hiệu suất của card thế hệ 40 trong tính toán AI được cải thiện nhiều hơn so với sự cải thiện hiệu suất trong trò chơi. Nguyên nhân chính nằm ở việc sức mạnh AI chủ yếu phụ thuộc vào số lượng lõi CUDA của card, trong khi số lượng lõi CUDA của card thế hệ 40 vượt trội hơn hẳn so với card thế hệ 30.

Ưu thế về tỷ lệ hiệu suất: Tác giả đã tiến hành thử nghiệm chi tiết trên nhiều loại GPU, tính toán mức tiêu thụ trung bình của mỗi Tokens.

• 4060Ti (160W): 0.125 Tokens/W

• 3080 (330W): 0.22 Tokens/W

• 4090 (450W): 0.26 Tokens/W

• 4070S (220W): 0.38 Tokens/W

Từ kết quả thử nghiệm cho thấy, 4070S thể hiện tốt nhất về sự cân bằng giữa hiệu suất và công suất, tỷ lệ hiệu suất cao hơn trực tiếp giảm thiểu chi phí điện, khiến nó trở thành lựa chọn có giá trị sử dụng cao nhất.

Giá và tính thanh khoản của thị trường hàng đã qua sử dụng: Là một card đồ họa trung - cao cấp, 4070S có tính thanh khoản và khả năng giữ giá cao trên thị trường hàng đã qua sử dụng, giảm thiểu chi phí sở hữu thiết bị, đồng thời cung cấp tính linh hoạt cho việc nâng cấp phần cứng sau này.

CPU

Như đã đề cập trước đó, Llama-3 của Kuzco khi chạy cần kích hoạt nhiều Docker, điều này chiếm dụng tài nguyên CPU rất đáng kể, đặc biệt là trong trường hợp chạy nhiều card, tỷ lệ sử dụng CPU có thể lên tới 80%-90%. Do đó, khả năng xử lý đa nhân và đa luồng trở nên cực kỳ quan trọng. CPU hiệu suất cao, đa luồng và ổn định không chỉ có thể hỗ trợ hiệu quả cho việc chạy đa nhiệm, mà còn đảm bảo tính ổn định và hiệu quả cho toàn bộ quá trình khai thác.

i5 thế hệ 13 có thể đạt đến 70%+ tỷ lệ sử dụng khi chạy full load card đồ họa.

Môi trường mạng

Định tuyến mềm cho hộp vuông trong hình

Môi trường mạng cũng rất quan trọng trong khai thác, ngay cả khi được cấu hình với card đồ họa hiệu suất cao, nếu mạng không được tối ưu, hiệu suất cũng sẽ bị ảnh hưởng nghiêm trọng. Theo kết quả thực nghiệm của tác giả, tốc độ mạng không đủ có thể dẫn đến hiệu suất giảm xuống còn 30%, và các nút mạng chất lượng thấp có thể khiến không thể kết nối với mạng Kuzco, cả hai vấn đề này đều không thể chấp nhận trong khai thác. Để giải quyết những vấn đề này, tác giả đã áp dụng giải pháp định tuyến mềm, phương pháp này không chỉ dễ cấu hình mà sau khi hoàn thành cài đặt gần như không cần can thiệp thủ công để hoạt động hiệu quả, lý thuyết có thể hỗ trợ kết nối vô hạn thiết bị. Còn về cách thức hoạt động cụ thể, tác giả khuyên độc giả tự tìm kiếm tài liệu liên quan theo nhu cầu.

Nguồn điện

Nguồn điện hạt nhân 2000W Classic Great Wall

Khi chọn nguồn điện, cần đặc biệt chú ý đến vấn đề công suất tối đa, đó cũng là lý do tại sao ngay cả khi 7 card 4070S có công suất định mức chỉ 1540W, tác giả vẫn chọn sử dụng hai nguồn điện 2000W, tổng công suất đạt 4000W. Điều này không phải là lãng phí tài nguyên, mà là do xem xét đến tính ổn định và an toàn của thiết bị khi hoạt động.

Card đồ họa trong quá trình hoạt động có thể xuất hiện công suất tối đa, tức là trong một số khoảnh khắc công suất thực tế của nó có thể đạt tới 1.5 lần công suất định mức hoặc thậm chí hơn, sau đó lại quay về mức bình thường. Nếu công suất nguồn không đủ để đáp ứng công suất tối đa này, có thể kích hoạt cơ chế dừng khẩn cấp của nguồn điện, thậm chí dẫn đến hỏng hóc card đồ họa. Điều này là mối đe dọa chết người đối với việc hoạt động bình thường của máy khai thác.

Hiệu suất tiêu thụ của 4070s

Lấy 4070S làm ví dụ, mặc dù công suất định mức của nó là 220W, nhưng công suất tối đa có thể vượt quá 400W. Công suất tối đa của 7 card đồ họa có thể đạt tổng cộng hơn 3000W, vì vậy cấu hình hai nguồn điện 2000W là để đảm bảo máy chạy ổn định. Đối với người dùng cấu hình nhiều card 4090 đặc biệt cần lưu ý, công suất định mức của một card 4090 là 450W, trong khi công suất tối đa có thể lên tới 770W. Trong trường hợp nhiều card, chỉ dựa vào hai nguồn điện có thể không đủ đáp ứng nhu cầu, lúc này thường cần ba nguồn điện để đảm bảo hệ thống ổn định.

Hiệu suất tiêu thụ của 4090

Bổ sung

Về cài đặt BIOS, tính tương thích phần cứng và các vấn đề quản lý từ xa, tác giả ở đây không đi sâu quá nhiều. Những nội dung này đã có rất nhiều hướng dẫn miễn phí trên mạng để tham khảo, chỉ cần thực hiện theo hướng dẫn là có thể giải quyết hầu hết các vấn đề. Khuyên độc giả tham khảo và xử lý theo nhu cầu và cấu hình phần cứng của bản thân, đơn giản và hiệu quả.

Rủi ro và lợi nhuận

Trả lời những câu hỏi mà mọi người quan tâm nhất: Mỗi ngày có thể khai thác được bao nhiêu tiền? Nói thẳng ra, câu hỏi này không có câu trả lời rõ ràng, vì rủi ro và lợi nhuận luôn đi đôi với nhau. Tôi có thể chia sẻ một quan điểm rõ ràng: Dù là trong thế giới tiền mã hóa hay ngành công nghiệp truyền thống, bất kỳ dự án nào có thể tính toán chính xác lợi nhuận hàng ngày, thì khả năng bạn gia nhập đã không còn kiếm được nhiều tiền. Trừ khi bạn sở hữu một số tài nguyên độc quyền, chẳng hạn như chi phí điện rất thấp hoặc thiết bị khai thác rất rẻ, thì lúc đó bạn mới có thể chiếm ưu thế về lợi nhuận. Tuy nhiên, những tài nguyên như vậy không phải ai cũng có.

Tác giả chọn thiết bị có tính thanh khoản tốt, chính là để giảm thiểu rủi ro đầu tư và áp lực chi phí. Lấy ví dụ khai thác Kuzco, chi phí chủ yếu tập trung vào khấu hao phần cứng và chi phí điện, do đó tổn thất lớn nhất của bạn cũng chỉ giới hạn trong những chi phí cố định này. Nếu không tham gia với điều kiện chi phí thấp, thì bất kỳ quyết định đầu tư nào cũng đều trở nên vô nghĩa. Cần nhấn mạnh rằng, đặc điểm của khai thác đầu tiên quyết định rằng không có dự đoán lợi nhuận rõ ràng, nhưng chính điều này cũng là tiềm năng của khai thác đầu tiên.

Từ đánh giá chủ quan, lĩnh vực này có triển vọng thị trường rất lớn: Một mặt, Kuzco đã nhận được sự hỗ trợ đầu tư từ a16z; mặt khác, nhu cầu về mô hình ngôn ngữ lớn (LLM) đang mở rộng nhanh chóng. Hãy nghĩ xem, gần như không ai không sử dụng LLM cả? Như ChatGPT của OpenAI, Llama của Meta, và XAI của Elon Musk, những nền tảng này đã lần lượt nhận được những khoản đầu tư khổng lồ, rõ ràng cho thấy tiềm năng tăng trưởng của ngành này.

Đối với người bình thường, tham gia trực tiếp vào ngành AI không phải là điều dễ dàng. Một mặt, công nghệ AI có rào cản cao; mặt khác, việc đào tạo mô hình AI cần tiêu tốn một lượng lớn tài nguyên và kinh phí, hầu hết mọi người khó có thể chịu đựng được chi phí như vậy. Tuy nhiên, thông qua Kuzco tham gia vào mạng lưới sức mạnh AI, người bình thường có thể dễ dàng tham gia lĩnh vực tăng trưởng cao này với chi phí có thể kiểm soát, đóng góp một phần sức mạnh cho AI, đồng thời nhận được lợi nhuận.

Ngoài ra, giá Bitcoin hiện đang chuẩn bị vượt mốc 100.000 USD, từ 16.000 USD vào năm 2022 tăng lên mức cao hiện tại, tiềm ẩn rủi ro điều chỉnh lớn. Nếu chọn mua trực tiếp token của dự án AI, bạn cũng sẽ phải đối mặt với rủi ro biến động cao tương tự. Ngược lại, tham gia mạng lưới sức mạnh AI là một lựa chọn ổn định hơn: không chỉ chi phí rõ ràng và có thể kiểm soát, mà còn có thể tham gia vào ngành công nghiệp AI với rủi ro tương đối thấp. Đây là một trong những cách thực tế cho người bình thường gia nhập lĩnh vực AI trong bối cảnh hiện tại.