Autor: J1N, Techub News

Wprowadzenie: Epoch Jeden do Dwa

Kuzco to sieć dedykowana wydobyciu mocy obliczeniowej modeli językowych LLM, w tym roku została wybrana do programu przyspieszenia Crypto Startup Accelerator (CSX) uruchomionego przez a16z 9 września w Nowym Jorku. Projekty wybrane do tego programu mogą uzyskać co najmniej 500 000 USD od a16z oraz wsparcie i doradztwo zespołu operacyjnego a16z. Obecnie program przyspieszenia dobiegł końca.

16 listopada Kuzco ogłosiło, że pierwszy etap (Epoch One) planu motywacyjnego zakończy się 18 listopada 2024 roku, wszystkie operacje zostaną wstrzymane, a zrzut danych zostanie na stałe zapisany, a ostateczny ranking punktów zostanie ogłoszony na nowej liście rankingowej.

Oficjalne informacje ujawniają, że Epoch One został uruchomiony 6 marca 2024 roku, a liczba urządzeń szczytowych przekroczyła 8000. W tej sieci działa model językowy Llama-3 o specyfikacji 8B wydany przez Meta, wykonując więcej niż 10 bilionów inferencji tokens.

Ogłoszono również, że w nadchodzących tygodniach zostaną ogłoszone informacje o finansowaniu i roadmapa rozwoju projektu, a drugi etap (Epoch Dwa) planu motywacyjnego rozpocznie się 9 grudnia. Epoch Dwa przyniesie nowe funkcje, takie jak wyższa przepustowość i niezawodność sprzętu NVIDIA; zachęcanie użytkowników do podłączenia najlepszych urządzeń obliczeniowych, takich jak A100 i H100; wsparcie dla większej ilości generacji obrazów i multimodalnych modeli językowych VLM.

Obecnie pozostało pół miesiąca na przygotowania do rozpoczęcia Epoch Dwa, w tym artykule omówimy:

  • Podziel się osobistymi doświadczeniami i osiągnięciami w wydobyciu, przechodząc od działania pojedynczego do działania klastra.

  • Prezentacja procesu pozyskiwania finansowania poprzez badania i praktykę oraz budowy wysokiej klasy maszyn.

  • Omówienie zgodności konfiguracji sprzętowej z wymaganiami projektu oraz odpowiedzi na najczęstsze pytania inwestorów.

Przegląd Epoch One: działania pojedyncze

Konfiguracja

Moja lista konfiguracji obejmuje karty graficzne RTX 2060, 2070S, 3080, 4060, 4060Ti, oraz 4 karty 4070S i 2 urządzenia Apple M2, M3. Te urządzenia są rozmieszczone w kilku komputerach stacjonarnych, laptopach oraz jednej dedykowanej koparce.

Koszt

Warto wspomnieć, że te karty graficzne były wcześniej zakupione przez autora na podstawie potrzeb związanych z grami, a nie specjalnie do wydobycia. Dlatego w obliczeniach kosztów nie uwzględniono wydatków na zakup sprzętu, a jedynie rzeczywiste koszty energii elektrycznej koparki. Tutaj jako przykład podano koparkę z pierwszego artykułu (a16z „Uczniowie” Przewodnik po praktycznym wdrożeniu Kuzco: jak efektywnie wydobywać moc obliczeniową AI?).

Konfiguracja tej koparki:

  • Płyta główna: z490 (później zmiana na przemysłową)

  • CPU: 10. generacji I9

  • Karta graficzna: 2060, 2070s, 3080, 4060ti, 4070s

Koparka ręczna

Na poniższym zdjęciu przedstawiono zużycie energii przez tę koparkę w październiku i listopadzie, które wyniosło 564 kWh, a uzyskane punkty (KZO Point) wynoszą około 600 milionów. Łącznie wszystkie maszyny uzyskały około 1,1 miliarda punktów. Konkretne koszty energii elektrycznej muszą być obliczone w zależności od lokalnych stawek, tutaj podano tylko jako odniesienie.

Na najbardziej prawej stronie, uzyskano 1 miliard punktów

Przygotowania do Epoch Dwa: wdrożenie klastra

Na podstawie udostępnionych informacji w pierwszym artykule, a także bogatego doświadczenia w zakresie montażu, konfiguracji i wdrażania sprzętu, autor z powodzeniem uzyskał pewne wsparcie finansowe, które całkowicie przeznaczył na montaż wysokowydajnych koparek w celu dalszego zwiększenia skali mocy obliczeniowej i efektywności operacyjnej.

Od pojedynczego górnika do wdrożenia klastrów

Logika konfiguracji i wyboru wysokiej klasy maszyn

Na podstawie moich praktycznych doświadczeń z Epoch One, przeprowadziłem kompleksową optymalizację płyty głównej, CPU, karty graficznej, zasilacza, platformy oraz konfiguracji sieci, wybierając lepiej dopasowane połączenie sprzętowe, które nie tylko poprawiło ogólną stabilność, bezpieczeństwo i wydajność działania, ale również zwróciło większą uwagę na płynność rynku wtórnego w zakresie wyboru sprzętu. Ta strategia może efektywnie obniżyć rzeczywiste koszty inwestycyjne, oferując uczestnikom lepsze opcje stosunku jakości do ceny.

Płyta główna

Autor wybrał płytę przemysłową zamiast mainstreamowej B85, głównie z uwagi na wydajność, stabilność i stosunek jakości do ceny.

Jeśli chodzi o wydajność, uruchomienie modelu Llama-3 w Kuzco wymaga uruchomienia wielu procesów Docker, a równoległe uruchamianie tych procesów zajmuje dużo zasobów CPU, co stawia wysokie wymagania na wydajność CPU, a CPU kompatybilne z B85 nie spełnia tych wymagań.

Dodatkowo, płyty przemysłowe mają wyraźne zalety w długoterminowej stabilności, odporności na wysokie temperatury i gwarancji producenta, a także mają lepszą płynność na rynku wtórnym, dlatego są bez wątpienia najlepszym wyborem.

Karta graficzna

Autor wybrał użycie 4070S jako głównej karty graficznej, opierając się na poniższych punktach:

Zaleta wydajności obliczeniowej AI: w porównaniu do kart graficznych serii 30, wydajność kart graficznych serii 40 w obliczeniach AI wzrasta znacznie bardziej niż w wydajności w grach. Głównym powodem jest to, że moc obliczeniowa AI w dużej mierze zależy od liczby rdzeni CUDA w kartach graficznych, a karty graficzne serii 40 mają znacznie więcej rdzeni CUDA niż karty serii 30.

Zaleta efektywności energetycznej: autor przeprowadził szczegółowe testy wielu modeli GPU, obliczając średnie zużycie energii na każdy token

  • 4060Ti (160W): 0.125 Tokens/W

  • 3080 (330W): 0.22 Tokens/W

  • 4090 (450W): 0.26 Tokens/W

  • 4070S (220W): 0.38 Tokens/W

Z wyników testów wynika, że 4070S najlepiej równoważy wydajność i zużycie energii, a jego wyższy wskaźnik efektywności energetycznej bezpośrednio obniża koszty energii, co czyni go najbardziej opłacalnym wyborem.

Ceny i płynność na rynku wtórnym: jako karta graficzna z wyższej półki, 4070S ma wysoką płynność i wartość na rynku wtórnym, co dodatkowo obniża koszty posiadania sprzętu, a jednocześnie zapewnia elastyczność w przyszłych aktualizacjach sprzętowych.

CPU

Jak już wcześniej wspomniano, Llama-3 w Kuzco wymaga uruchomienia wielu procesów Docker, co znacząco zajmuje zasoby CPU, zwłaszcza w przypadku uruchamiania wielu kart, gdzie wykorzystanie CPU może wynosić od 80% do 90%. Z tego powodu zdolność do przetwarzania wielordzeniowego i wielowątkowego staje się niezwykle ważna. Wydajne, wielowątkowe i stabilne CPU mogą nie tylko efektywnie wspierać wielozadaniowość, ale także zapewnić stabilność i wydajność całego procesu wydobycia.

13. generacja i5 przy pełnym obciążeniu może osiągnąć 70%+ wykorzystania karty graficznej

Środowisko sieciowe

Soft router to kwadratowy box na obrazku

Środowisko sieciowe jest równie ważne w kopaniu, nawet jeśli skonfigurowano wysokowydajną kartę graficzną, jeśli sieć nie jest zoptymalizowana, moc obliczeniowa może być poważnie ograniczona. Zgodnie z moimi pomiarami, niewystarczająca prędkość internetu może spowodować spadek mocy obliczeniowej do 30%, a niskiej jakości węzły sieciowe mogą całkowicie uniemożliwić połączenie z siecią Kuzco, co jest nieakceptowalne w kontekście wydobycia. Aby rozwiązać te problemy, zastosowałem rozwiązanie z soft routerem, które jest nie tylko łatwe do skonfigurowania, ale po zakończeniu ustawień działa efektywnie bez niemal żadnej interwencji. Teoretycznie może również obsługiwać nieskończoną liczbę podłączonych urządzeń. Co do konkretnych metod działania, sugeruję czytelnikom zapoznanie się z odpowiednimi materiałami według własnych potrzeb.

Zasilacz

Klasyczny zasilacz 2000W

Przy wyborze zasilacza szczególnie należy zwrócić uwagę na problem szczytowego zużycia energii, dlatego nawet jeśli 7 kart 4070S ma nominalne zużycie energii wynoszące tylko 1540W, autor wciąż wybiera użycie dwóch zasilaczy 2000W, co daje łączną moc 4000W. To nie jest marnotrawienie zasobów, lecz dbałość o stabilność i bezpieczeństwo działania urządzenia.

Karty graficzne podczas pracy mogą osiągnąć szczytowe zużycie energii, co oznacza, że w niektórych momentach ich rzeczywiste zużycie energii może osiągnąć 1,5 razy lub więcej niż nominalna moc, a następnie wrócić do normalnego poziomu. Jeżeli moc zasilacza nie jest wystarczająca, aby poradzić sobie z tym szczytem, może to uruchomić mechanizm awaryjnego wyłączenia zasilacza, a nawet uszkodzić kartę graficzną. To stanowi śmiertelne zagrożenie dla prawidłowego funkcjonowania koparki.

Wydajność energetyczna 4070s

Biorąc 4070S jako przykład, mimo że jego nominalne zużycie energii wynosi 220W, szczytowe zużycie energii może przekroczyć 400W. Szczytowe zużycie energii 7 kart graficznych może osiągnąć 3000W lub więcej, dlatego zastosowanie dwóch zasilaczy 2000W jest konieczne, aby zapewnić stabilne działanie maszyny. Użytkownicy konfigurujący wiele kart 4090 powinni szczególnie zwrócić uwagę na to, że nominalne zużycie energii jednej 4090 wynosi 450W, a szczytowe zużycie energii może sięgać 770W. W przypadku wielu kart, poleganie na dwóch zasilaczach może być niewystarczające, w takim przypadku zazwyczaj potrzebne są trzy zasilacze, aby zapewnić stabilność systemu.

Wydajność energetyczna 4090

Uzupełnienie

Co do ustawień BIOS, kompatybilności sprzętowej oraz zarządzania zdalnego, autor nie rozwija tego tematu zbytnio. W internecie jest już wiele darmowych samouczków, które mogą być pomocne, a wykonując kroki według tych samouczków można rozwiązać większość problemów. Sugeruję, aby według własnych konfiguracji sprzętowych i potrzeb poszukać i zająć się tym w sposób ukierunkowany, co jest proste i efektywne.

Ryzyko i zysk

Odpowiedź na najważniejsze pytanie: Ile można wykopać dziennie? Szczerze mówiąc, to pytanie nie ma jednoznacznej odpowiedzi, ponieważ ryzyko i zyski zawsze idą w parze. Mogę podzielić się jasnym punktem widzenia: niezależnie od tego, czy to w krypto, czy w tradycyjnych branżach, każdy projekt, który potrafi dokładnie obliczyć dzienne zyski, to prawdopodobnie w momencie, gdy do niego wejdziesz, nie będziesz mógł już zarobić dużych pieniędzy. Chyba że posiadasz pewne monopolistyczne zasoby, takie jak bardzo niskie koszty energii elektrycznej lub bardzo tanie sprzęty górnicze, co pozwalałoby osiągnąć przewagę w zyskach. Jednak takie zasoby nie są dostępne dla każdego.

Autor wybrał urządzenia o dobrej płynności, aby zredukować ryzyko inwestycyjne i presję kosztową. Przykładowo, w przypadku kopania Kuzco, koszty koncentrują się głównie na amortyzacji sprzętu i kosztach energii, dlatego twoje maksymalne straty ograniczają się do tych stałych kosztów. Jeśli nie uczestniczysz w niskokosztowy sposób, jakakolwiek decyzja inwestycyjna traci sens. Należy podkreślić, że charakterystyka wczesnego wydobycia oznacza, że nie ma wyraźnych oczekiwań co do zysków, ale to właśnie potencjał wczesnego wydobycia.

Z subiektywnego punktu widzenia ten rynek ma ogromny potencjał: z jednej strony, Kuzco zyskało wsparcie inwestycyjne od a16z; z drugiej strony, zapotrzebowanie na modele językowe LLM szybko rośnie. Pomyśl, nikt nie używa LLM? Takie platformy jak OpenAI ChatGPT, Meta Llama oraz XAI Elona Muska, które kolejno zbierają ogromne finansowanie, wyraźnie pokazują potencjał wzrostu tego sektora.

Dla przeciętnych ludzi bezpośrednie uczestnictwo w branży AI nie jest łatwe. Z jednej strony, technologia AI ma wysoką barierę wejścia; z drugiej strony, trening modeli AI wymaga ogromnych zasobów i funduszy, a zdecydowana większość ludzi nie jest w stanie ponieść takich kosztów. Jednak dzięki Kuzco, dołączając do sieci obliczeniowej AI, przeciętni ludzie mogą łatwo uczestniczyć w tej szybko rosnącej dziedzinie przy kontrolowanych kosztach, przyczyniając się do mocy obliczeniowej AI i jednocześnie osiągając zyski.

Dodatkowo, cena Bitcoina wkrótce przekroczy 100 000 USD, wzrastając z 16 000 USD w 2022 roku do obecnego szczytu, co wiąże się z ogromnym ryzykiem korekty. Wybierając bezpośredni zakup tokenów projektów AI, również stajemy w obliczu podobnych wysokich wahań. W porównaniu do tego, udział w sieci obliczeniowej AI jest znacznie bardziej stabilnym wyborem: koszty są jasne i kontrolowalne, a ryzyko wejścia w szybko rosnącą branżę AI jest relatywnie niskie. To jeden z praktycznych sposobów, dzięki którym przeciętni ludzie mogą wejść w dziedzinę AI w obecnym środowisku.