wstęp
Niedawny rozwój branży sztucznej inteligencji uważany jest przez niektórych za czwartą rewolucję przemysłową. Pojawienie się dużych modeli znacząco poprawiło wydajność wszystkich środowisk. The Boston Consulting Group uważa, że GPT poprawiło wydajność pracy w Stanach Zjednoczonych o około 20%. Jednocześnie zdolność generalizacji, jaką zapewniają duże modele, została okrzyknięta nowym paradygmatem projektowania oprogramowania. W przeszłości projektowanie oprogramowania dotyczyło precyzyjnych kodów, ale obecnie projektowanie oprogramowania obejmuje bardziej uogólnione struktury dużych modeli wbudowane w oprogramowanie może lepiej reprezentować i obsługiwać szerszy zakres modalnych wejść i wyjść. Technologia głębokiego uczenia się rzeczywiście przyniosła czwarty rozkwit branży AI, a trend ten rozprzestrzenił się również na branżę Crypto.
Ranking współczynnika przyjęcia GPT w różnych branżach, źródło: badanie Bain AI
W tym raporcie szczegółowo zbadamy historię rozwoju branży AI, klasyfikację technologii oraz wpływ wynalezienia technologii głębokiego uczenia się na branżę. Następnie dogłębnie analizujemy wcześniejsze i dalsze etapy łańcucha branżowego, takie jak procesory graficzne, przetwarzanie w chmurze, źródła danych i urządzenia brzegowe w głębokim uczeniu, a także stan jego rozwoju i trendy. Następnie zasadniczo szczegółowo omówiliśmy relacje między kryptowalutami a branżą sztucznej inteligencji i ustaliliśmy wzór łańcucha branżowego sztucznej inteligencji powiązanego z kryptowalutami.
Historia rozwoju branży AI
Przemysł sztucznej inteligencji powstał w latach pięćdziesiątych XX wieku, aby urzeczywistnić wizję sztucznej inteligencji, środowisko akademickie i przemysł rozwinęły wiele szkół myślenia mających na celu realizację sztucznej inteligencji w różnych epokach i na różnych poziomach dyscyplinarnych.
Porównanie gatunków AI, źródło: Gate Ventures
Relacja AI/ML/DL, źródło: Microsoft
Nowoczesna technologia sztucznej inteligencji używa głównie terminu „uczenie maszynowe”. Ideą tej technologii jest umożliwienie maszynie polegania na danych w celu iteracji zadań w celu poprawy wydajności systemu. Główne kroki obejmują dostarczenie danych do algorytmu, wykorzystanie tych danych do uczenia modelu, testowanie i wdrażanie modelu oraz wykorzystanie modelu do wykonywania zadań zautomatyzowanego przewidywania.
Obecnie istnieją trzy główne szkoły uczenia maszynowego, a mianowicie koneksjonizm, symbolizm i behawioryzm, które odpowiednio naśladują ludzki układ nerwowy, myślenie i zachowanie.
Schemat architektury sieci neuronowej, źródło: Cloudflare
Obecnie przewagę ma koneksjonizm reprezentowany przez sieci neuronowe (znany również jako głębokie uczenie się). Głównym powodem jest to, że ta architektura ma warstwę wejściową i warstwę wyjściową, ale ma wiele warstw ukrytych, gdy liczba warstw i neuronów (). parametry) ) stanie się wystarczająco duży, wtedy będzie wystarczająco dużo możliwości, aby dopasować się do złożonych zadań ogólnego przeznaczenia. Poprzez wprowadzanie danych parametry neuronu można stale regulować. Następnie po doświadczeniu wielu danych neuron osiągnie optymalny stan (parametry). To jest to, co nazywamy cudami z wielką siłą i to jest również jego „Pochodzenie”. słowo „głębokość” - wystarczająca ilość warstw i neuronów.
Można na przykład po prostu zrozumieć, że funkcja jest konstruowana. Gdy wprowadzimy X= 2, Y= 3, gdy X= 3, Y= 5. Jeśli chcesz, aby ta funkcja zajmowała się wszystkimi X, musisz ją zachować dodawanie Stopień tej funkcji i jej parametry Na przykład mogę skonstruować funkcję, która spełnia ten warunek jako Y = 2. Funkcja punktów danych, wykorzystując GPU do łamania metodą brute-force, odkryła, że Y =. Tutaj X 2 i X, X 0 reprezentują różne neurony, a 1, -3, 5 to ich parametry.
W tym momencie, jeśli wprowadzimy dużą ilość danych do sieci neuronowej, możemy dodać neurony i iterować parametry, aby dopasować je do nowych danych. To zmieści wszystkie dane.
Ewolucja technologii głębokiego uczenia się, źródło: Gate Ventures
Technologia głębokiego uczenia się oparta na sieciach neuronowych ma również wiele iteracji i ewolucji technologicznych, takich jak najwcześniejsza sieć neuronowa na powyższym obrazku, sieć neuronowa z wyprzedzeniem, RNN, CNN, GAN i ostatecznie ewoluowała do technologii Transformer używanej przez nowoczesne duże modele, takie jak GPT. Technologia transformatorowa to po prostu kierunek ewolucji sieci neuronowych, który dodaje dodatkowy konwerter (Transformer), który służy do kodowania danych we wszystkich modalnościach (takich jak audio, wideo, obrazy itp.) na odpowiednie wartości liczbowe. Następnie jest on wprowadzany do sieci neuronowej, dzięki czemu sieć neuronowa może zmieścić dowolny rodzaj danych, czyli osiągnąć multimodalność.
Rozwój sztucznej inteligencji doświadczył trzech fal technologicznych. Pierwsza fala miała miejsce w latach sześćdziesiątych XX wieku, dziesięć lat po zaproponowaniu technologii sztucznej inteligencji. Fala ta była spowodowana rozwojem technologii symboliki, która rozwiązała problem ogólnego przetwarzania języka naturalnego i człowieka-komputera pytania konwersacyjne. W tym samym czasie narodził się system ekspercki. Jest to system ekspercki DENRAL opracowany przez Uniwersytet Stanforda pod nadzorem NASA. System ten dysponuje bardzo obszerną wiedzą chemiczną i może wnioskować na podstawie pytań, aby generować te same odpowiedzi, co eksperci chemiczni ekspert chemiczny System można postrzegać jako połączenie bazy wiedzy chemicznej i systemu wnioskowania.
Po systemie eksperckim izraelsko-amerykańska naukowiec i filozof Judea Pearl zaproponowała w latach 90. XX wieku sieć Bayesa, znaną również jako sieć przekonań. W tym samym czasie Brooks zaproponował robotykę opartą na zachowaniu, co oznaczało narodziny behawioryzmu.
W 1997 roku Deep Blue „Blue” IBM pokonał międzynarodowego mistrza szachowego Kasparowa 3,5: 2,5. Zwycięstwo to zostało uznane za kamień milowy w dziedzinie sztucznej inteligencji, a technologia sztucznej inteligencji zapoczątkowała swój drugi kulminacyjny rozwój.
Trzecia fala technologii AI miała miejsce w 2006 roku. Trzej giganci głębokiego uczenia się, Yann LeCun, Geoffrey Hinton i Yoshua Bengio, zaproponowali koncepcję głębokiego uczenia się, algorytmu wykorzystującego sztuczne sieci neuronowe jako strukturę do uczenia się reprezentacji danych. Następnie algorytmy głębokiego uczenia się stopniowo ewoluowały, od RNN i GAN po Transformer i Stable Diffusion. Te dwa algorytmy wspólnie ukształtowały trzecią falę technologii, która była również okresem rozkwitu koneksjonizmu.
Wraz z eksploracją i ewolucją technologii głębokiego uczenia się stopniowo wyłoniło się wiele przełomowych wydarzeń, w tym:
● W 2011 roku komputer IBM Watson pokonał ludzi i zdobył mistrzostwo w quizie Jeopardy.
● W 2014 roku Goodfellow zaproponował GAN (Generative Adversarial Network), która uczy się, pozwalając dwóm sieciom neuronowym konkurować ze sobą w celu generowania zdjęć wyglądających realnie. W tym samym czasie Goodfellow napisał także książkę „Deep Learning”, zwaną Flower Book, która jest jedną z ważnych książek wprowadzających w dziedzinie głębokiego uczenia się.
● W 2015 roku Hinton i inni zaproponowali w magazynie Nature algorytm głębokiego uczenia się. Propozycja tej metody głębokiego uczenia się natychmiast wywołała ogromny odzew w kręgach akademickich i przemyśle.
● W 2015 r. założono OpenAI, a Musk, prezes YC Altman, anioł biznesu Peter Thiel i inni ogłosili wspólną inwestycję o wartości 1 miliarda dolarów.
● W 2016 roku AlphaGo oparta na technologii głębokiego uczenia się rywalizowała z mistrzem świata w Go i profesjonalnym graczem w Go o mocy 9 dan, Lee Sedolem, w bitwie człowiek-maszyna w Go i wygrała z łącznym wynikiem 4 do 1.
● W 2017 r. Sophia, humanoidalny robot opracowany przez firmę Hanson Robotics w Hongkongu w Chinach, jest pierwszym robotem w historii, który otrzymał obywatelstwo pierwszej klasy. Ma bogatą mimikę i zdolność rozumienia ludzkiego języka.
● W 2017 roku Google, posiadający liczne talenty i rezerwy techniczne w dziedzinie sztucznej inteligencji, opublikował artykuł „Attention is all you need” i zaproponował algorytm Transformer i zaczęły pojawiać się wielkoskalowe modele językowe.
● W 2018 roku OpenAI wypuściło GPT (Generative Pre-trained Transformer) oparty na algorytmie Transformer, który był wówczas jednym z największych modeli językowych.
● W 2018 roku zespół Google Deepmind wypuścił AlphaGo opartą na głębokim uczeniu, która potrafi przewidywać strukturę białek i jest uważana za oznakę dużego postępu w dziedzinie sztucznej inteligencji.
● W 2019 roku OpenAI wypuściło GPT-2, model z 1,5 miliardem parametrów.
● W 2020 roku GPT-3 opracowany przez OpenAI ma 175 miliardów parametrów, 100 razy więcej niż poprzednia wersja GPT-2. Model wykorzystuje 570 GB tekstu do szkolenia i może być używany w wielu zadaniach NLP (przetwarzanie języka naturalnego) (). odpowiadanie na pytania, tłumaczenie, pisanie artykułów), aby osiągnąć najnowocześniejszą wydajność.
● W 2021 roku OpenAI wypuściło GPT-4. Model ten ma 1,76 biliona parametrów, czyli 10 razy więcej niż GPT-3.
● W styczniu 2023 roku została uruchomiona aplikacja ChatGPT oparta na modelu GPT-4. W marcu ChatGPT osiągnęła 100 milionów użytkowników, stając się najszybszą aplikacją w historii, która osiągnęła 100 milionów użytkowników.
● W 2024 r. OpenAI wprowadza GPT-4 omni.
Sieć branżowa głębokiego uczenia się
Obecnie duże języki modelowe wykorzystują metody głębokiego uczenia się oparte na sieciach neuronowych. Duże modele na czele z GPT wywołały falę szaleństwa związanego ze sztuczną inteligencją. Na ten tor napłynęła duża liczba graczy. Odkryliśmy również, że zapotrzebowanie rynku na dane i moc obliczeniową eksplodowało. Dlatego też w tej części raportu. badamy głównie głębokość przemysłowego łańcucha algorytmów uczenia się, w branży sztucznej inteligencji zdominowanej przez algorytmy głębokiego uczenia się, jakie są jego elementy na wyższym i niższym szczeblu łańcucha dostaw oraz jaka jest obecna sytuacja, relacje podaży i popytu oraz przyszły rozwój sektora wyższego szczebla. i poniżej.
Źródło szkolenia GPT: WaytoAI
Przede wszystkim musimy jasno powiedzieć, że szkolenie LLM (dużych modeli) w oparciu o GPT w oparciu o technologię Transformer składa się z trzech kroków.
Przed szkoleniem, ponieważ jest oparty na Transformerze, konwerter musi przekonwertować wprowadzony tekst na wartości liczbowe. Proces ten nazywa się „Tokenizacją”, a następnie te wartości liczbowe nazywane są Tokenem. Zgodnie z ogólną zasadą jedno angielskie słowo lub znak można z grubsza uznać za jeden Token, a każdy chiński znak można z grubsza uznać za dwa Tokeny. Jest to również podstawowa jednostka używana do ustalania cen GPT.
Pierwszym krokiem jest przygotowanie do treningu. Dając warstwie wejściowej wystarczającą ilość par danych, podobnie jak w przykładach (X, Y) z pierwszej części raportu, możemy znaleźć w modelu optymalne parametry każdego neuronu. Wymaga to dużej ilości danych i tego procesu jest również najbardziej pracochłonny. Jest to proces wymagający dużej mocy obliczeniowej, ponieważ neurony muszą być wielokrotnie powtarzane w celu wypróbowania różnych parametrów. Po przeszkoleniu partii danych ta sama partia danych jest zwykle używana do szkolenia dodatkowego w celu iteracji parametrów.
Drugi krok to dostrojenie. Dostrajanie polega na oddaniu do uczenia mniejszej partii danych o bardzo wysokiej jakości. Takie zmiany spowodują, że dane wyjściowe modelu będą miały wyższą jakość, ponieważ wstępne uczenie wymaga dużej ilości danych, ale wiele danych może zawierać błędy. lub niska jakość. Etap dostrajania może poprawić jakość modelu przy dobrych danych.
Trzeci krok polega na wzmocnieniu procesu uczenia się. Najpierw zostanie zbudowany zupełnie nowy model, który nazwiemy „modelem nagrody”. Cel tego modelu jest bardzo prosty, czyli sortowanie wyników wyjściowych. Dlatego wdrożenie tego modelu będzie stosunkowo proste, ponieważ biznes scenariusz jest stosunkowo pionowy. Model ten jest następnie używany do określenia, czy dane wyjściowe naszego dużego modelu są wysokiej jakości, dzięki czemu można zastosować model nagrody do automatycznej iteracji parametrów dużego modelu. (Ale czasami do oceny jakości wyjściowej modelu wymagany jest również udział człowieka)
Krótko mówiąc, w procesie uczenia dużych modeli, szkolenie wstępne stawia bardzo wysokie wymagania co do ilości danych i zużywa najwięcej mocy obliczeniowej procesora graficznego, podczas gdy dostrajanie wymaga danych wyższej jakości w celu poprawy parametrów i wzmocnienia uczenia się. Parametry można powtarzać poprzez model nagrody w celu uzyskania wyników wyższej jakości.
Im więcej parametrów jest w procesie uczenia, tym wyższy jest pułap możliwości generalizacji. Na przykład w naszym przykładzie funkcji Y = aX + b, wtedy w rzeczywistości istnieją dwa neurony X i X 0, więc parametry. Niezależnie od tego, jak się zmienia, dane, które może zmieścić, są niezwykle ograniczone, ponieważ jego istotą jest wciąż linia prosta. Jeśli jest więcej neuronów, można iterować więcej parametrów i dopasować więcej danych. Właśnie dlatego duże modele działają cuda i dlatego też popularna nazwa to duże modele. Istotą jest ogromna ilość neuronów, parametrów. a dane wymagają ogromnej mocy obliczeniowej.
Dlatego o wydajności dużych modeli decydują głównie trzy aspekty: liczba parametrów, ilość i jakość danych oraz moc obliczeniowa. Te trzy łącznie wpływają na jakość wyników i zdolność generalizacji dużych modeli. Zakładamy, że liczba parametrów wynosi p, a ilość danych n (obliczona na podstawie liczby Tokenów), następnie możemy obliczyć wymaganą ilość obliczeń korzystając z ogólnych zasad, dzięki czemu możemy oszacować przybliżoną moc obliczeniową Musimy kupić i czas szkolenia.
Moc obliczeniowa jest zazwyczaj oparta na flopie jako jednostce podstawowej, która reprezentuje operację zmiennoprzecinkową. Operacje zmiennoprzecinkowe to ogólny termin określający dodawanie, odejmowanie, mnożenie i dzielenie wartości niecałkowitych, takich jak 2,5+3,557 że może przynosić punkty dziesiętne, a FP 16 oznacza, że obsługuje precyzję dziesiętną, FP 32 jest ogólnie bardziej powszechną precyzją. Zgodnie z praktyczną zasadą, jednorazowe wstępne uczenie dużego modelu (zwykle wiele razy) wymaga około 6 np Flopsów, a 6 nazywa się stałą branżową. Wnioskowanie (wnioskowanie, czyli proces, podczas którego wprowadzamy dane i czekamy na wyjście dużego modelu) jest podzielone na dwie części, wprowadzające n żetonów i wyprowadzające n żetonów, więc w sumie wymagane jest około 2 np Flops.
Na początku chipy CPU były używane do treningu, aby zapewnić wsparcie mocy obliczeniowej, ale później zaczęto je zastępować procesorami graficznymi, takimi jak chipy A 100 i H 100 firmy Nvidia. Ponieważ procesor służy do obliczeń ogólnego przeznaczenia, ale procesor graficzny może być używany do obliczeń dedykowanych, znacznie przewyższając procesor pod względem efektywności zużycia energii. Procesory graficzne wykonują operacje zmiennoprzecinkowe głównie poprzez moduł o nazwie Tensor Core. Dlatego też ogólne chipy mają dane Flops z precyzją FP 16 / FP 32, co reprezentuje ich główną moc obliczeniową i jest również jednym z głównych wskaźników pomiarowych chipa.
Specyfikacja układu Nvidia A 100, źródło: Nvidia
Dlatego czytelnicy powinni być w stanie zrozumieć wprowadzenie chipów tych firm. Jak pokazano na powyższym rysunku, porównując modele Nvidii A 100 80 GB PCIe i SXM, widać, że PCIe i SXM są objęte Tensor Core (a). moduł dedykowany do obliczeń AI). Przy precyzji 16 PR wynoszą one odpowiednio 312 TFLOPS i 624 TFLOPS (biliony flopsów).
Zakładając, że nasze duże parametry modelu biorą za przykład GPT 3, jest to 175 miliardów parametrów i wolumen danych 180 miliardów Tokenów (około 570 GB). Wtedy podczas wstępnego szkolenia potrzeba 6 np Flops, czyli około 3,15*. 1022 Flops, jeśli mierzone w TFLOPS (biliona FLOP), wynosi około 3,15*1010 TFLOPS, co oznacza, że jednorazowe wstępne nauczenie GPT 3 zajmuje około 50480769 sekund, 841346 minut, 14022 godzin i 584 dni .
Widzimy, że tak ogromna ilość obliczeń wymaga wielu najnowocześniejszych chipów do przeprowadzenia wstępnego szkolenia. Co więcej, ilość parametrów GPT 4 jest dziesięciokrotnie większa niż w przypadku GPT 3 (1,76 biliona), co oznacza, że nawet jeśli. dane Jeśli ilość pozostanie niezmieniona, należy kupić dziesięć razy więcej żetonów, a liczba Tokenów GPT-4 wyniesie 13 bilionów, czyli dziesięciokrotnie więcej niż GPT-3. Ostatecznie GPT-4 może wymagają ponad 100 razy większej mocy obliczeniowej.
Przy szkoleniu dużego modelu również mamy problemy z przechowywaniem danych, ponieważ naszych danych takich jak numer tokenu GPT 3 jest 180 miliardów, co zajmuje około 570 GB przestrzeni dyskowej, a duży model sieci neuronowej ze 175 miliardami parametrów zajmuje około 700 GB. powierzchni magazynowej. Pojemność pamięci GPU jest zazwyczaj niewielka (jak pokazano na powyższym rysunku, A 100 ma 80 GB), więc gdy pamięć nie jest w stanie pomieścić danych, konieczne jest sprawdzenie przepustowości chipa, czyli transmisji prędkość danych z dysku twardego do pamięci. Jednocześnie, ponieważ nie będziemy używać tylko jednego chipa, musimy zastosować metodę wspólnego uczenia się, aby wspólnie trenować duży model na wielu chipach GPU, co wiąże się z szybkością transmisji GPU pomiędzy chipami. Dlatego w wielu przypadkach czynnikiem lub kosztem ograniczającym praktykę uczenia ostatecznego modelu niekoniecznie jest moc obliczeniowa chipa, ale częściej przepustowość chipa. Ponieważ transmisja danych jest powolna, uruchomienie modelu zajmie więcej czasu i zwiększy koszty energii.
Specyfikacja chipa H 100 SXM, źródło: Nvidia
W tej chwili czytelnicy mogą z grubsza w pełni zrozumieć specyfikację chipa, gdzie FP 16 reprezentuje precyzję. Ponieważ komponent Tensor Core jest używany głównie do szkolenia AI LLM, wystarczy spojrzeć na moc obliczeniową tego komponentu. Rdzeń Tensor FP 64 reprezentuje H 100 SXM zdolny do przetwarzania 67 TFLOPS na sekundę z precyzją 64. Pamięć GPU oznacza, że pamięć chipa wynosi tylko 64 GB, co zupełnie nie jest w stanie sprostać wymaganiom przechowywania danych dużych modeli. Dlatego przepustowość pamięci GPU oznacza, że prędkość transmisji danych w H 100 SXM wynosi 3,35 TB/s.
Łańcuch wartości AI, źródło: Nasdaq
Widzieliśmy, że wzrost liczby danych i parametrów neuronów spowodował dużą lukę w wymaganiach dotyczących mocy obliczeniowej i pamięci masowej. Te trzy główne elementy zainkubowały cały łańcuch przemysłowy. Powyższy rysunek wykorzystamy do przedstawienia roli i funkcji każdej części łańcucha branżowego.
Dostawca sprzętu GPU
Rankingi układów GPU AI, źródło: Lambda
Sprzęt taki jak GPU jest obecnie głównym chipem do szkolenia i wnioskowania. Jeśli chodzi o głównych projektantów chipów GPU, Nvidia zajmuje obecnie absolutną wiodącą pozycję GPU do gier); branża wykorzystuje głównie H 100, A 100 itp. do komercjalizacji dużych modeli.
Na liście niemal dominują żetony Nvidii, a wszystkie chipy pochodzą od Nvidii. Google ma również własny układ AI o nazwie TPU, ale TPU jest używany głównie przez Google Cloud do zapewniania wsparcia mocy obliczeniowej firmom z branży B. Firmy samodzielnie kupujące zazwyczaj nadal kupują procesory graficzne Nvidia.
Statystyki zakupów procesorów graficznych H 100 według firmy, źródło: Omdia
Wiele firm rozpoczęło badania i rozwój LLM, w tym ponad sto dużych modeli w Chinach, a łącznie wydano ponad 200 dużych modeli językowych na całym świecie. Wielu gigantów internetowych uczestniczy w tym boomie sztucznej inteligencji. Firmy te albo same kupują duże modele, albo wypożyczają je za pośrednictwem firm działających w chmurze. W 2023 roku najbardziej zaawansowany chip Nvidii H 100 został subskrybowany przez wiele firm zaraz po jego premierze. Globalny popyt na chipy H 100 znacznie przewyższa podaż, ponieważ obecnie tylko Nvidia dostarcza chipy z najwyższej półki, a jej cykl wysyłkowy osiągnął zdumiewające 52 tygodnie.
W obliczu monopolu Nvidii na prowadzenie stanął Google, jako jeden z absolutnych liderów sztucznej inteligencji, Intel, Qualcomm, Microsoft i Amazon wspólnie utworzyły CUDA Alliance, mając nadzieję na wspólne opracowanie procesorów graficznych, aby pozbyć się absolutnego wpływu Nvidii na rynek Sieć branżowa głębokiego uczenia się.
Bardzo duże firmy technologiczne/dostawcy usług w chmurze/laboratoria krajowe często kupują tysiące lub dziesiątki tysięcy chipów H 100 do budowy HPC (centrów obliczeniowych o wysokiej wydajności). Na przykład klaster CoreWeave firmy Tesla zakupił dziesięć tysięcy sztuk H 100 80 GB średnia cena zakupu wynosi 44 000 USD (koszt Nvidii to około 1/10), a całkowity koszt to 440 mln USD. Tencent kupił 50 000 sztuk, a do końca 2023 r. Meta kupiła 150 000 sztuk; Sprzedawca procesorów graficznych, firma Nvidia, zamówiła ponad 500 000 układów H100.
Mapa drogowa produktów GPU Nvidia, źródło: Techwire
Jeśli chodzi o dostawę chipów Nvidii, powyższy plan iteracji produktu został opublikowany. Oczekuje się, że wydajność H 200 będzie dwukrotnie większa niż w przypadku H 100, podczas gdy B 100. ukaże się pod koniec 2024 lub na początku 2025 roku. Obecny rozwój procesorów graficznych w dalszym ciągu spełnia prawo Moore'a, przy czym wydajność podwaja się co 2 lata, a ceny spadają o połowę.
dostawca usług w chmurze
Typy GPU Cloud, Źródło: Salesforce Ventures
Po zakupie wystarczającej liczby procesorów graficznych do zbudowania HPC dostawcy usług w chmurze mogą zapewnić elastyczną moc obliczeniową i zarządzane rozwiązania szkoleniowe firmom zajmującym się sztuczną inteligencją dysponującymi ograniczonymi funduszami. Jak pokazano na powyższym rysunku, obecny rynek dzieli się głównie na trzy typy dostawców mocy obliczeniowej w chmurze. Pierwszy typ to ekspansja na bardzo dużą skalę platform mocy obliczeniowej w chmurze (AWS, Google, Azure) reprezentowanych przez tradycyjnych dostawców usług w chmurze. . Druga kategoria to platformy mocy obliczeniowej w chmurze w ścieżce pionowej, które są przeznaczone głównie dla AI lub obliczeń o wysokiej wydajności. Zapewniają one bardziej profesjonalne usługi, więc nadal jest pewna przestrzeń rynkowa w konkurencji z gigantami tego typu wschodzące firmy świadczące usługi w chmurze w branży pionowej to CoreWeave (otrzymała 11 dolarów w finansowaniu serii C o wartości 19 miliardów dolarów), Crusoe, Lambda (otrzymała 260 milionów dolarów w finansowaniu serii C o wartości ponad 1,5 miliarda dolarów) itp. Trzeci rodzaj dostawców usług w chmurze to nowi gracze na rynku, głównie dostawcy usług wnioskowania jako usługi. Tacy dostawcy usług wynajmują procesory graficzne od dostawców usług w chmurze. Ci dostawcy usług wdrażają głównie wstępnie przeszkolone modele dla klientów i na nich bazują dostrajania lub rozumowania, reprezentatywne firmy na tego typu rynku to Together.ai (ostatnia wycena na 1,25 miliarda dolarów), Fireworks.ai (inwestycja pod przewodnictwem Benchmarku, finansowanie serii A na kwotę 25 milionów dolarów) itp.
Dostawca źródła danych szkoleniowych
Jak wspomniano wcześniej w części 2, szkolenie na dużych modelach składa się głównie z trzech etapów, a mianowicie szkolenia wstępnego, dostrajania i uczenia się przez wzmacnianie. Wstępne szkolenie wymaga dużej ilości danych, a dostrajanie wymaga danych wysokiej jakości. Dlatego firmy zajmujące się danymi, takie jak Google (które mają dużą ilość danych) i Reddit (które mają wysokiej jakości dane odpowiedzi) otrzymały szerokie rozpowszechnienie. uwagę rynku.
Aby nie konkurować z dużymi modelami ogólnego przeznaczenia, takimi jak GPT, niektórzy programiści decydują się na rozwój w podzielonych dziedzinach. Dlatego wymagania dotyczące danych są specyficzne dla danej branży, takiej jak finanse, medycyna, chemia, fizyka, biologia, itp. Rozpoznawanie obrazu itp. Są to modele dla określonych dziedzin i wymagają danych w określonych dziedzinach. Dlatego istnieją firmy, które dostarczają dane dla tych dużych modeli. Możemy je również nazwać firmami etykietującymi dane, co oznacza oznaczanie danych po zebraniu danych w celu zapewnienia lepszej jakości określonego typu danych.
Dla firm opracowujących modele duże ilości danych, dane wysokiej jakości i konkretne dane to trzy główne wymagania dotyczące danych.
Główne firmy zajmujące się etykietowaniem danych, źródło: Venture Radar
Badanie przeprowadzone przez firmę Microsoft wykazało, że w przypadku SLM (model małego języka), jeśli jakość danych jest znacznie lepsza niż w przypadku dużych modeli językowych, wówczas ich wydajność niekoniecznie będzie gorsza niż w modelach LLM. I tak naprawdę GPT nie ma oczywistych zalet pod względem oryginalności i danych. Do jego sukcesu przyczyniła się głównie odwaga w obstawianiu w tym kierunku. Sequoia America przyznała także, że GPT niekoniecznie musi utrzymać przewagę konkurencyjną w przyszłości, gdyż obecnie na tym obszarze nie ma głębokiej fosy, a główne ograniczenie wynika z ograniczenia pozyskiwania mocy obliczeniowej.
Jeśli chodzi o ilość danych, to zgodnie z przewidywaniami EpochAI, przy obecnym wzroście skali modelu, wszystkie dane niskiej i wysokiej jakości zostaną wyczerpane w 2030 roku. Dlatego też branża bada obecnie syntetyczne dane sztucznej inteligencji, tak aby można było generować nieograniczoną ilość danych, a wtedy wąskim gardłem jest już tylko moc obliczeniowa. Ten kierunek jest jeszcze w fazie eksploracyjnej i zasługuje na uwagę deweloperów.
Dostawca baz danych
Mamy dane, ale dane muszą być również przechowywane, zwykle w bazie danych, aby ułatwić dodawanie, usuwanie, modyfikację i odzyskiwanie danych. W tradycyjnym biznesie internetowym mogliśmy słyszeć o MySQL, a w kliencie Ethereum Reth słyszeliśmy o Redis. Są to lokalne bazy danych, w których przechowujemy dane biznesowe lub dane na blockchainie. Istnieją różne adaptacje baz danych dla różnych typów danych lub firm.
W przypadku zadań związanych z wnioskowaniem dotyczącym danych AI i głębokiego uczenia się baza danych używana obecnie w branży nazywana jest „bazą danych wektorowych”. Wektorowe bazy danych zaprojektowano z myślą o wydajnym przechowywaniu, zarządzaniu i indeksowaniu ogromnych ilości wielowymiarowych danych wektorowych. Ponieważ nasze dane to nie tylko wartości liczbowe lub tekst, ale ogromne dane nieustrukturyzowane, takie jak obrazy i dźwięki, wektorowe bazy danych mogą przechowywać te nieustrukturyzowane dane w postaci „wektorów”, a wektorowe bazy danych nadają się do przechowywania i przetwarzania wektorów.
Klasyfikacja bazy danych wektorów, Źródło: Yingjun Wu
Obecnie głównymi graczami są Chroma (pozyskała finansowanie 18 mln USD), Zilliz (ostatnia runda finansowania wyniosła 60 mln USD), Pinecone, Weaviate itp. Oczekujemy, że wraz ze wzrostem zapotrzebowania na ilość danych oraz eksplozją dużych modeli i aplikacji w różnych działach, zapotrzebowanie na Vector Database znacznie wzrośnie. A ponieważ w tej dziedzinie istnieją silne bariery techniczne, przy inwestowaniu większa uwaga będzie zwracana na spółki, które są dojrzałe i mają klientów.
urządzenie brzegowe
Podczas budowania GPU HPC (High Performance Computing Cluster) zwykle zużywa się dużą ilość energii, co generuje dużą ilość energii cieplnej. W środowisku o wysokiej temperaturze chip ogranicza prędkość działania, aby obniżyć temperaturę to jest to, co powszechnie nazywamy „redukcją częstotliwości”, co wymaga zastosowania niektórych urządzeń chłodzących, aby zapewnić dalsze działanie HPC.
Dlatego też zaangażowane są tu dwa kierunki łańcucha przemysłowego, a mianowicie zaopatrzenie w energię (zwykle wykorzystującą energię elektryczną) i system chłodzenia.
Obecnie po stronie dostaw energii wykorzystuje się głównie energię elektryczną, a centra danych i sieci pomocnicze odpowiadają obecnie za 2% -3% światowego zużycia energii elektrycznej. BCG przewiduje, że wraz ze wzrostem parametrów głębokiego uczenia się dużych modeli i iteracją chipów moc potrzebna do uczenia dużych modeli potroi się do 2030 roku. Obecnie krajowi i zagraniczni producenci technologii aktywnie inwestują w spółki energetyczne. Główne kierunki energetyczne inwestycji to energetyka geotermalna, energia wodorowa, magazynowanie akumulatorów oraz energetyka jądrowa.
Jeśli chodzi o chłodzenie klastrów HPC, obecnie główną metodą jest chłodzenie powietrzem, ale wiele VC intensywnie inwestuje w systemy chłodzenia cieczą, aby utrzymać płynne działanie HPC. Na przykład Jetcool twierdzi, że jego system chłodzenia cieczą może zmniejszyć całkowite zużycie energii klastra H 100 o 15%. Obecnie chłodzenie cieczą dzieli się głównie na trzy kierunki eksploracji: chłodzenie cieczą w formacie zimnym, chłodzenie cieczą zanurzeniową i chłodzenie cieczą w sprayu. Firmy z tego obszaru to m.in.: Huawei, Green Revolution Cooling, SGI, itp.
aplikacja
Obecny rozwój zastosowań AI jest podobny do rozwoju branży blockchain. Jako branżę innowacyjną zaproponowano Transformer w 2017 r., a OpenAI potwierdziło skuteczność dużego modelu dopiero w 2023 r. Dlatego obecnie wiele firm Fomo jest zatłoczonych na ścieżce badawczo-rozwojowej dużych modeli, co oznacza, że infrastruktura jest bardzo zatłoczona, ale rozwój aplikacji nie nadąża.
50 najlepszych aktywnych użytkowników miesięcznie, źródło: A16Z
Obecnie większość aktywnych aplikacji AI w ciągu pierwszych dziesięciu miesięcy to aplikacje typu wyszukującego. Rzeczywiste aplikacje AI, które się pojawiły, są nadal bardzo ograniczone. Typy aplikacji są stosunkowo pojedyncze i nie ma aplikacji społecznościowych ani innych typów które pomyślnie się pojawiły.
Ustaliliśmy również, że wskaźnik retencji aplikacji AI opartych na dużych modelach jest znacznie niższy niż w przypadku istniejących tradycyjnych aplikacji internetowych. Pod względem liczby aktywnych użytkowników mediana tradycyjnego oprogramowania internetowego wynosi 51%, przy czym najwyższą jest Whatsapp, który charakteryzuje się dużą lepkością użytkownika. Jednak po stronie aplikacji AI najwyższy DAU/MAU ma charakter.ai, który wynosi zaledwie 41%, a DAU stanowi medianę wynoszącą 14% całkowitej liczby użytkowników. Jeśli chodzi o wskaźnik utrzymania użytkowników, najlepszym tradycyjnym oprogramowaniem internetowym są YouTube, Instagram i Tiktok. Mediana wskaźnika zatrzymania w pierwszej dziesiątce wynosi 63%. Dla porównania wskaźnik utrzymania ChatGPT wynosi tylko 56%.
Krajobraz zastosowań AI, Źródło: Sequoia
Według raportu Sequoia America dzieli aplikacje na trzy kategorie z punktu widzenia ról, a mianowicie dla profesjonalnych konsumentów, przedsiębiorstw i zwykłych konsumentów.
1. Zorientowany na konsumenta: zwykle używany do poprawy produktywności, np. pracownicy tekstowi używający GPT do zadawania pytań i odpowiedzi, zautomatyzowanego modelowania renderowania 3D, edycji oprogramowania, automatycznych agentów i używania aplikacji typu Voice do rozmów głosowych, towarzystwa, ćwiczeń językowych itp. .
2. Dla przedsiębiorstw: zwykle branża marketingowa, prawnicza, projektowa medyczna i inne.
Chociaż wiele osób krytykuje obecnie, że infrastruktura to znacznie więcej niż aplikacje, tak naprawdę wierzymy, że współczesny świat został znacznie przekształcony przez technologię sztucznej inteligencji, ale korzysta z systemów rekomendacji, w tym TikTok, Toutiao i Soda w ramach ByteDance Music itp. podobnie jak konta wideo Xiaohongshu i WeChat, technologia rekomendacji reklamowych itp. są spersonalizowanymi rekomendacjami dla osób fizycznych i wszystkie są algorytmami uczenia maszynowego. Dlatego obecne dynamicznie rozwijające się głębokie uczenie się nie w pełni reprezentuje branżę sztucznej inteligencji. Istnieje wiele potencjalnych technologii, które mają możliwość realizacji ogólnej sztucznej inteligencji i również rozwijają się równolegle, a niektóre z tych technologii są szeroko stosowane w różnych gałęziach przemysłu. .
Jaki rodzaj relacji rozwija się pomiędzy Crypto x AI? Jakie inne projekty są godne uwagi w łańcuchu wartości branży Crypto? Wyjaśnimy to po kolei w „Gate Ventures: AI x Crypto od wejścia do mastera (część 2)”.
Zastrzeżenie:
Powyższa treść ma charakter wyłącznie informacyjny i nie należy jej traktować jako porady. Przed dokonaniem inwestycji zawsze zasięgnij profesjonalnej porady.
O firmie Gate Ventures
Gate Ventures, spółka Gate.io zajmująca się kapitałem wysokiego ryzyka, koncentruje się na inwestycjach w zdecentralizowaną infrastrukturę, ekosystemy i aplikacje, które zmienią świat w erze Web 3.0. Gate Ventures współpracuje ze światowymi liderami branży, aby zapewnić zespołom i start-upom innowacyjne myślenie i możliwości, które pozwolą na nowo zdefiniować interakcję społeczeństwa i finansów.
Oficjalna strona internetowa: https://ventures.gate.io/
Twitter: https://x.com/gate_ventures
Średni: https://medium.com/gate_ventures