введение
Недавнее развитие индустрии искусственного интеллекта некоторые считают четвертой промышленной революцией. Появление крупных моделей значительно повысило эффективность всех сфер жизни. Boston Consulting Group считает, что GPT повысила эффективность работы в США. примерно на 20%. В то же время способность к обобщению, обеспечиваемая большими моделями, была провозглашена новой парадигмой проектирования программного обеспечения. В прошлом проектирование программного обеспечения сводилось к точным кодам, но теперь проектирование программного обеспечения связано с более обобщенными структурами больших моделей, встроенными в программное обеспечение. может лучше представлять и поддерживать более широкий диапазон модальных входов и выходов. Технология глубокого обучения действительно привела к четвертому буму в индустрии искусственного интеллекта, и эта тенденция распространилась и на криптоиндустрию.
Рейтинг внедрения GPT в различных отраслях, Источник: Исследование Bain AI.
В этом отчете мы подробно рассмотрим историю развития отрасли искусственного интеллекта, классификацию технологий и влияние изобретения технологии глубокого обучения на отрасль. Затем мы глубоко анализируем восходящие и нисходящие звенья отраслевой цепочки, такие как графические процессоры, облачные вычисления, источники данных и периферийные устройства в глубоком обучении, а также состояние и тенденции их развития. После этого мы по существу подробно обсудили отношения между Crypto и индустрией искусственного интеллекта и разобрались в структуре отраслевой цепочки искусственного интеллекта, связанной с криптовалютой.
История развития индустрии искусственного интеллекта
Индустрия искусственного интеллекта зародилась в 1950-х годах. Чтобы реализовать концепцию искусственного интеллекта, научные круги и промышленность разработали множество школ мысли для реализации искусственного интеллекта в разные эпохи и с разным дисциплинарным образованием.
Сравнение жанров ИИ, источник: Gate Ventures.
Взаимосвязь AI/ML/DL, источник: Microsoft.
Современная технология искусственного интеллекта в основном использует термин «машинное обучение». Идея этой технологии состоит в том, чтобы позволить машине полагаться на данные для выполнения задач для повышения производительности системы. Основные шаги — передать данные в алгоритм, использовать эти данные для обучения модели, протестировать и развернуть модель, а также использовать модель для выполнения задач автоматического прогнозирования.
В настоящее время существуют три основные школы машинного обучения, а именно коннекционизм, символизм и бихевиоризм, которые имитируют соответственно нервную систему, мышление и поведение человека.
Схема архитектуры нейронной сети, источник: Cloudflare.
В настоящее время преимущество имеет коннекционизм, представленный нейронными сетями (также известный как глубокое обучение). Основная причина заключается в том, что эта архитектура имеет входной слой и выходной слой, но имеет несколько скрытых слоев. параметры) ) становится достаточно большим, то появляется достаточно возможностей для решения сложных задач общего назначения. Посредством ввода данных параметры нейрона можно постоянно корректировать. Затем, получив несколько данных, нейрон достигнет оптимального состояния (параметров). Это то, что мы называем чудесами с большой силой, и в этом также заключается его происхождение. слово "глубина" - достаточно слоев и нейронов.
Например, можно просто понять, что создается функция: когда мы вводим X= 2, Y= 3; когда X= 3, Y= 5. Если вы хотите, чтобы эта функция работала со всеми X, то вам нужно оставить ее. добавление степени этой функции и ее параметров. Например, я могу построить функцию, которая удовлетворяет этому условию как Y = 2. Функция точек данных, используя графический процессор для грубого взлома, обнаружила, что Y =. Здесь X 2 и X, X 0 представляют собой разные нейроны, а 1, -3, 5 — их параметры.
В это время, если мы вводим в нейронную сеть большой объем данных, мы можем добавлять нейроны и перебирать параметры в соответствии с новыми данными. Это будет соответствовать всем данным.
Эволюция технологий глубокого обучения, источник: Gate Ventures.
Технология глубокого обучения, основанная на нейронных сетях, также претерпела множество технологических итераций и эволюций, таких как самая ранняя нейронная сеть на рисунке выше, нейронная сеть прямого распространения, RNN, CNN, GAN и, наконец, превратилась в технологию Transformer, используемую современными большими моделями, такими как GPT, технология Transformer — это всего лишь направление развития нейронных сетей. Она добавляет дополнительный преобразователь (Transformer), который используется для кодирования данных во всех модальностях (например, аудио, видео, изображения и т. д.) в соответствующие числовые значения. Затем они вводятся в нейронную сеть, чтобы нейронная сеть могла соответствовать любому типу данных, то есть добиться мультимодальности.
Развитие ИИ пережило три технологические волны. Первая волна пришлась на 1960-е годы, через десять лет после того, как была предложена технология ИИ. Эта волна была вызвана развитием технологии символизма, которая решила проблему общей обработки естественного языка и взаимодействия человека и компьютера. Разговорные вопросы. В то же время родилась экспертная система. Это экспертная система DENRAL, созданная Стэнфордским университетом под руководством НАСА. Эта система обладает очень глубокими знаниями в области химии и может делать выводы с помощью вопросов, давая те же ответы, что и эксперты-химики. эксперт-химик. Систему можно рассматривать как комбинацию базы химических знаний и системы вывода.
После экспертной системы израильско-американский ученый и философ Джудея Перл в 1990-х годах предложил байесовскую сеть, которая также известна как сеть убеждений. В то же время Брукс предложил робототехнику, основанную на поведении, что положило начало бихевиоризму.
В 1997 году IBM Deep Blue «Blue» победила чемпиона по шахматам Каспарова со счетом 3,5:2,5. Эта победа была признана важной вехой в развитии искусственного интеллекта, а технология искусственного интеллекта положила начало второй кульминации развития.
Третья волна технологий искусственного интеллекта произошла в 2006 году. Три гиганта глубокого обучения, Ян ЛеКун, Джеффри Хинтон и Йошуа Бенджио, предложили концепцию глубокого обучения — алгоритм, который использует искусственные нейронные сети в качестве основы для изучения представлений данных. Впоследствии алгоритмы глубокого обучения постепенно развивались: от RNN и GAN до Transformer и Stable Diffusion. Эти два алгоритма совместно сформировали третью волну технологий, которая также стала периодом расцвета коннекционизма.
Вместе с исследованием и развитием технологий глубокого обучения постепенно возникло множество знаковых событий, в том числе:
● В 2011 году Watson от IBM победил людей и выиграл чемпионат в викторине Jeopardy.
● В 2014 году Гудфеллоу предложил GAN (генеративно-состязательную сеть), которая учится, позволяя двум нейронным сетям конкурировать друг с другом, и может генерировать фотографии, которые выглядят реальными. В то же время Гудфеллоу также написал книгу «Глубокое обучение» под названием «Цветочная книга», которая является одной из важных вводных книг в области глубокого обучения.
● В 2015 году Хинтон и другие предложили алгоритм глубокого обучения в журнале Nature. Предложение этого метода глубокого обучения сразу же вызвало огромный резонанс в академических кругах и промышленности.
● В 2015 году была основана OpenAI, и Маск, президент YC Альтман, бизнес-ангел Питер Тиль и другие объявили о совместных инвестициях в размере 1 миллиарда долларов США.
● В 2016 году AlphaGo, основанная на технологии глубокого обучения, соревновалась с чемпионом мира по го и профессиональным игроком в го с 9 даном Ли Седолем в человеко-машинном бою го и победила с общим счетом 4:1.
● В 2017 году робот-гуманоид София, разработанный компанией Hanson Robotics в Гонконге, Китай, стал первым роботом в истории, получившим первоклассное гражданство. Он обладает богатой мимикой и способностью понимать человеческий язык.
● В 2017 году компания Google, обладающая огромными талантами и техническими резервами в области искусственного интеллекта, опубликовала статью «Внимание — это все, что вам нужно» и предложила алгоритм Transformer, и начали появляться крупномасштабные языковые модели.
● В 2018 году OpenAI выпустила GPT (Генераторный предварительно обученный преобразователь) на основе алгоритма Transformer, который в то время был одной из крупнейших языковых моделей.
● В 2018 году команда Google Deepmind выпустила AlphaGo на основе глубокого обучения, которая позволяет предсказывать структуру белков и рассматривается как признак большого прогресса в области искусственного интеллекта.
● В 2019 году OpenAI выпустила GPT-2 — модель с 1,5 миллиардами параметров.
● В 2020 году GPT-3, разработанный OpenAI, имеет 175 миллиардов параметров, что в 100 раз больше, чем предыдущая версия GPT-2. Модель использует 570 ГБ текста для обучения и может использоваться в нескольких задачах НЛП (обработка естественного языка). ответы на вопросы, переводы, написание статей) для достижения самых современных результатов.
● В 2021 году OpenAI выпустила GPT-4. Эта модель имеет 1,76 триллиона параметров, что в 10 раз больше, чем у GPT-3.
● В январе 2023 года было запущено приложение ChatGPT, основанное на модели GPT-4. В марте число пользователей ChatGPT достигло 100 миллионов, став самым быстрым приложением в истории, достигшим 100 миллионов пользователей.
● В 2024 году OpenAI запустит омни GPT-4.
Индустрия глубокого обучения
В настоящее время в больших модельных языках используются методы глубокого обучения на основе нейронных сетей. Большие модели, возглавляемые GPT, вызвали волну увлечения искусственным интеллектом. Мы также обнаружили, что рыночный спрос на данные и вычислительные мощности резко возрос. в основном мы исследуем глубину Промышленной цепочки алгоритмов обучения, в отрасли искусственного интеллекта, где преобладают алгоритмы глубокого обучения, каковы ее восходящие и нисходящие компоненты, какова текущая ситуация, соотношение спроса и предложения и будущее развитие восходящего потока. и ниже по течению.
Программа обучения GPT Источник: WaytoAI.
Прежде всего, нам нужно понимать, что при обучении LLM (больших моделей) на основе GPT на основе технологии Transformer необходимо выполнить три шага.
Перед обучением, поскольку он основан на Transformer, конвертеру необходимо преобразовать ввод текста в числовые значения. Этот процесс называется «Токенизация», а затем эти числовые значения называются Token. Согласно общему эмпирическому правилу, одно английское слово или символ можно примерно рассматривать как один токен, а каждый китайский иероглиф можно примерно рассматривать как два токена. Это также базовая единица, используемая для ценообразования GPT.
Первый шаг – предварительная подготовка. Предоставляя входному слою достаточное количество пар данных, аналогично примерам (X, Y) в первой части отчета, мы можем найти оптимальные параметры каждого нейрона в модели. Для этого требуется большой объем данных, и этот процесс. Это также самый трудоемкий процесс, поскольку необходимо многократно перебирать нейроны, чтобы попробовать различные параметры. После обучения пакета данных тот же пакет данных обычно используется для вторичного обучения для итерации параметров.
Второй шаг – тонкая настройка. Точная настройка заключается в предоставлении для обучения меньшего пакета данных очень высокого качества. Такие изменения сделают выходные данные модели более качественными, поскольку предварительное обучение требует большого объема данных, но многие данные могут содержать ошибки. или низкого качества. Этап тонкой настройки может улучшить качество модели с хорошими данными.
Третий шаг – усиление обучения. Во-первых, будет построена совершенно новая модель, которую мы называем «моделью вознаграждения». Цель этой модели — сортировка выходных результатов. Поэтому реализовать эту модель будет относительно просто, поскольку для бизнеса. сценарий относительно вертикальный. Затем эта модель используется для определения высокого качества результатов нашей большой модели, чтобы можно было использовать модель вознаграждения для автоматической итерации параметров большой модели. (Но иногда для оценки выходного качества модели требуется участие человека)
Короче говоря, в процессе обучения больших моделей предварительное обучение предъявляет очень высокие требования к объему данных и потребляет большую часть вычислительной мощности графического процессора, в то время как точная настройка требует более качественных данных для улучшения параметров и усиления обучения. Параметры можно повторять. через модель вознаграждения для получения более качественных результатов.
В процессе обучения, чем больше параметров, тем выше потолок ее способности к обобщению. Например, в нашем примере функции Y = aX + b, то на самом деле имеется два нейрона X и X 0, поэтому параметры. Как бы она ни менялась, данные, которые она может вместить, крайне ограничены, потому что ее суть по-прежнему остается прямой линией. Если нейронов больше, можно обработать больше параметров и разместить больше данных. Вот почему большие модели творят чудеса, и именно поэтому популярное название — большие модели. Суть в том, что огромное количество нейронов, параметров и т. д. и данные требуют огромного количества вычислительной мощности.
Таким образом, производительность больших моделей в основном определяется тремя аспектами: количеством параметров, количеством и качеством данных и вычислительной мощностью. Эти три вместе влияют на качество результатов и способность к обобщению больших моделей. Мы предполагаем, что количество параметров равно p, а количество данных равно n (рассчитывается на основе количества токенов), тогда мы можем рассчитать необходимое количество вычислений с помощью общих эмпирических правил, чтобы мы могли оценить приблизительную вычислительную мощность. нам нужно приобрести и время обучения.
Вычислительная мощность обычно основана на флопсах как базовой единице, которая представляет собой операцию с плавающей запятой — это общий термин для сложения, вычитания, умножения и деления нецелых значений, таких как 2,5 + 3,557. что он может вводить десятичные точки, а FP 16 означает, что он поддерживает десятичные дроби, FP 32 обычно является более распространенной точностью. Согласно практическому правилу, предварительное обучение большой модели один раз (обычно несколько раз) требует около 6 np флопс, и 6 называется отраслевой константой. Вывод (вывод, который представляет собой процесс, в котором мы вводим данные и ждем вывода большой модели) разделен на две части: ввод n токенов и вывод n токенов, поэтому в общей сложности требуется примерно 2 np флопа.
Вначале чипы ЦП использовались для обучения, чтобы обеспечить поддержку вычислительной мощности, но позже их начали заменять графические процессоры, такие как чипы Nvidia A 100 и H 100. Потому что ЦП существует как расчет общего назначения, но графический процессор может использоваться как специальный расчет, намного превосходящий ЦП по эффективности энергопотребления. Графические процессоры выполняют операции с плавающей запятой в основном через модуль под названием Tensor Core. Таким образом, обычные чипы имеют данные флопс с точностью FP 16/FP 32, что представляет собой его основную вычислительную мощность, а также является одним из основных показателей измерения чипа.
Спецификация чипа Nvidia A 100, Источник: Nvidia
Таким образом, читатели должны быть в состоянии понять, что представляют собой чипы этих компаний. Как показано на рисунке выше, при сравнении моделей Nvidia A 100 80 ГБ PCIe и SXM видно, что PCIe и SXM относятся к Tensor Core (a). модуль, предназначенный для вычислений ИИ). При точности FP 16 они составляют 312 терафлопс и 624 терафлопс (триллион флопов) соответственно.
Если предположить, что для параметров нашей большой модели в качестве примера взят GPT 3, то имеется 175 миллиардов параметров и объем данных 180 миллиардов токенов (приблизительно 570 ГБ). Тогда во время предварительного обучения требуется 6 np Flops, что составляет примерно 3,15*. 1022 флопа, если измерять в TFLOPS (триллион флопс), это примерно 3,15*1010 TFLOPS, что означает, что чипу модели SXM требуется примерно 50480769 секунд, 841346 минут, 14022 часа и 584 дня для однократной предварительной подготовки GPT 3. .
Мы видим, что этот огромный объем вычислений требует нескольких современных чипов для выполнения предварительного обучения. Более того, количество параметров GPT 4 в десять раз больше, чем у GPT 3 (1,76 триллиона), а это означает, что даже если. данные Если количество останется неизменным, количество фишек необходимо будет приобрести в десять раз больше, а количество токенов GPT-4 составит 13 триллионов, что в десять раз больше, чем у GPT-3. В конце концов, GPT-4 может. требуют более чем в 100 раз больше вычислительной мощности.
При обучении больших моделей у нас также возникают проблемы с хранением данных, поскольку наши данные, такие как число токенов GPT 3, составляют 180 миллиардов, что занимает примерно 570 ГБ места для хранения, а нейронная сеть большой модели со 175 миллиардами параметров занимает примерно 700 ГБ. места для хранения. Объем памяти графического процессора, как правило, невелик (как показано на рисунке выше, A 100 составляет 80 ГБ), поэтому, когда объем памяти не может вместить данные, необходимо проверить пропускную способность чипа, то есть скорость передачи данных. скорость передачи данных с жесткого диска в память. В то же время, поскольку мы не будем использовать только один чип, нам необходимо использовать метод совместного обучения для совместного обучения большой модели на нескольких чипах графического процессора, что включает в себя скорость передачи данных графического процессора между чипами. Следовательно, во многих случаях фактором или стоимостью, ограничивающей практику обучения окончательной модели, является не обязательно вычислительная мощность чипа, а чаще всего пропускная способность чипа. Поскольку передача данных происходит медленно, запуск модели займет больше времени и увеличит затраты на электроэнергию.
Спецификация чипа H 100 SXM, Источник: Nvidia
На данный момент читатели могут примерно полностью понять спецификацию чипа, где FP 16 представляет точность. Поскольку компонент Tensor Core в основном используется для обучения AI LLM, вам нужно только взглянуть на вычислительную мощность этого компонента. FP 64 Tensor Core представляет собой H 100 SXM, способный обрабатывать 67 терафлопс в секунду с точностью 64. Память графического процессора означает, что объем памяти чипа составляет всего 64 ГБ, что полностью не соответствует требованиям к хранению данных больших моделей. Таким образом, пропускная способность памяти графического процессора означает, что скорость передачи данных H 100 SXM составляет 3,35 ТБ/с.
Цепочка создания стоимости искусственного интеллекта, источник: Nasdaq.
Мы видели, что увеличение количества данных и параметров нейронов привело к большому разрыву в требованиях к вычислительной мощности и памяти. Эти три основных элемента легли в основу всей производственной цепочки. Мы будем использовать приведенный выше рисунок, чтобы представить роль и функцию каждой части отраслевой цепочки.
Поставщик аппаратного графического процессора
Рейтинг чипов AI GPU, Источник: Lambda
Аппаратное обеспечение, такое как графический процессор, в настоящее время является основным чипом для обучения и вывода. Что касается основных разработчиков чипов графического процессора, Nvidia в настоящее время занимает абсолютную лидирующую позицию. Академические круги (в основном университеты и исследовательские институты) в основном используют графические процессоры потребительского уровня (в основном RTX). игровые графические процессоры); промышленность в основном использует H 100, A 100 и т. д. для коммерциализации больших моделей.
В списке почти доминируют чипы Nvidia, и все чипы от Nvidia. У Google также есть собственный чип искусственного интеллекта под названием TPU, но TPU в основном используется Google Cloud для обеспечения поддержки вычислительной мощности компаниям B-side, как правило, по-прежнему склонны приобретать графические процессоры Nvidia.
Статистика покупок графических процессоров H 100 по компаниям. Источник: Omdia
Большое количество компаний приступили к исследованиям и разработкам LLM, в том числе более сотни крупных моделей в Китае, и в общей сложности более 200 крупных языковых моделей были выпущены по всему миру. Многие интернет-гиганты участвуют в этом буме искусственного интеллекта. Эти компании либо сами приобретают крупные модели, либо арендуют их через облачные компании. В 2023 году на самый продвинутый чип Nvidia H 100 подписались многие компании сразу после его выпуска. Мировой спрос на чипы H 100 намного превышает предложение, поскольку в настоящее время только Nvidia поставляет чипы высшего класса, а цикл ее поставок достиг поразительных 52 недель.
Учитывая монополию Nvidia, Google, как один из абсолютных лидеров в области искусственного интеллекта, взял на себя инициативу, Intel, Qualcomm, Microsoft и Amazon совместно создали альянс CUDA, надеясь совместно разрабатывать графические процессоры, чтобы избавиться от абсолютного влияния Nvidia на Индустрия глубокого обучения.
Очень крупные технологические компании/поставщики облачных услуг/национальные лаборатории часто закупают тысячи или десятки тысяч чипов H 100 для создания HPC (высокопроизводительных вычислительных центров). Например, кластер CoreWeave компании Tesla приобрел десять тысяч штук H 100 80 ГБ. , средняя цена покупки составляет 44 000 долларов США (стоимость Nvidia составляет около 1/10), а общая стоимость составляет 440 миллионов долларов США. Tencent закупила 50 000 штук, Meta купила 150 000 штук, и к концу 2023 года как единственная высокопроизводительная компания; Продавец графических процессоров компания Nvidia заказала более 500 000 чипов H100.
Дорожная карта графических процессоров Nvidia, Источник: Techwire
Что касается поставок чипов Nvidia, то вышеизложенное представляет собой план итерации продукта. На момент публикации новости о H 200 ожидается, что производительность H 200 будет вдвое выше, чем у H 100, в то время как B 100. выйдет в конце 2024 или начале 2025 года. Текущее развитие графических процессоров по-прежнему соответствует закону Мура: производительность удваивается каждые два года, а цены падают вдвое.
поставщик облачных услуг
Типы GPU-облака, Источник: Salesforce Ventures
Приобретя достаточное количество графических процессоров для создания высокопроизводительных вычислений, поставщики облачных услуг могут предоставлять эластичные вычислительные мощности и решения для управляемого обучения компаниям, занимающимся искусственным интеллектом, с ограниченными средствами. Как показано на рисунке выше, текущий рынок в основном разделен на три типа поставщиков мощностей облачных вычислений. Первый тип — это сверхмасштабное расширение платформ облачных вычислений (AWS, Google, Azure), представленных традиционными поставщиками облачных вычислений. . Вторая категория — это мощные платформы облачных вычислений на вертикальном пути, которые в основном предназначены для искусственного интеллекта или высокопроизводительных вычислений. Они предоставляют более профессиональные услуги, поэтому в конкуренции с гигантами этого типа все еще существует определенное рыночное пространство. В число новых компаний, предоставляющих облачные услуги вертикальной отрасли, входят CoreWeave (получила 11 долларов США в рамках финансирования серии C на сумму более 19 миллиардов долларов США), Crusoe, Lambda (получила 260 миллионов долларов США в рамках финансирования серии C на сумму более 1,5 миллиарда долларов США) и т. д. Третий тип поставщиков облачных услуг — это новые игроки рынка, в основном поставщики услуг, предоставляющих логические выводы. Эти поставщики услуг арендуют графические процессоры у поставщиков облачных услуг. Эти поставщики услуг в основном развертывают предварительно обученные модели для клиентов и используют их. для точной настройки или обоснования, компании-представители на этом типе рынка включают Together.ai (последняя оценка в 1,25 миллиарда долларов США), Fireworks.ai (инвестиции под руководством эталонных показателей, финансирование серии A в размере 25 миллионов долларов США) и т. д.
Поставщик источника обучающих данных
Как упоминалось ранее во второй части, обучение большой модели в основном проходит в три этапа: предварительное обучение, точная настройка и обучение с подкреплением. Предварительное обучение требует большого количества данных, а тонкая настройка требует качественных данных. Поэтому широкое распространение получили такие поисковые системы, как Google (имеющий большой объем данных) и Reddit (имеющий качественные данные ответов). внимание рынка.
Чтобы не конкурировать с большими моделями общего назначения, такими как GPT, некоторые разработчики предпочитают разрабатывать отдельные области. Поэтому требования к данным заключаются в том, что данные специфичны для отрасли, например, финансы, медицина, химия, физика, биология и т. д. и т. д. Распознавание изображений и т. д. Это модели для конкретных полей, и для них требуются данные в определенных полях. Поэтому существуют компании, которые предоставляют данные для этих больших моделей. Мы также можем называть их компаниями по маркировке данных, что означает маркировку данных после сбора данных для обеспечения лучшего качества. конкретный тип данных.
Для компаний, разрабатывающих модели, большими объемами данных, высококачественными данными и конкретными данными являются три основных требования к данным.
Крупнейшие компании по маркировке данных, источник: Venture Radar.
Исследование Microsoft показывает, что для SLM (малой языковой модели), если качество данных значительно лучше, чем у больших языковых моделей, то их производительность не обязательно будет хуже, чем у LLM. И на самом деле у GPT нет очевидных преимуществ в оригинальности и данных. В основном именно смелость в ставках в этом направлении способствовала ее успеху. Sequoia America также признала, что GPT не обязательно сохранит конкурентное преимущество в будущем, поскольку в настоящее время в этой области нет глубокого рва, а основное ограничение связано с ограничением приобретения вычислительной мощности.
Что касается объема данных, то, по прогнозу EpochAI, в соответствии с текущим ростом масштаба модели все данные низкого и высокого качества будут исчерпаны в 2030 году. Поэтому в настоящее время отрасль изучает синтетические данные искусственного интеллекта, чтобы можно было генерировать неограниченное количество данных, и тогда узким местом является только вычислительная мощность. Это направление все еще находится на стадии исследования и заслуживает внимания разработчиков.
Поставщик базы данных
У нас есть данные, но данные также необходимо хранить, обычно в базе данных, чтобы облегчить добавление, удаление, изменение и поиск данных. В традиционном интернет-бизнесе мы, возможно, слышали о MySQL, а в клиенте Ethereum Reth — о Redis. Это локальные базы данных, в которых мы храним бизнес-данные или данные в блокчейне. Существуют разные адаптации баз данных для разных типов данных или предприятий.
Для задач вывода данных искусственного интеллекта и обучения глубокому обучению база данных, используемая в настоящее время в отрасли, называется «векторной базой данных». Векторные базы данных предназначены для эффективного хранения, управления и индексации огромных объемов многомерных векторных данных. Поскольку наши данные представляют собой не просто числовые значения или текст, а массивные неструктурированные данные, такие как изображения и звуки, векторные базы данных могут хранить эти неструктурированные данные в форме «векторов», а векторные базы данных подходят для хранения и обработки этих векторов.
Классификация векторной базы данных, Источник: Yingjun Wu
В настоящее время основными игроками являются Chroma (получено финансирование в размере 18 миллионов долларов США), Zilliz (последний раунд финансирования в размере 60 миллионов долларов США), Pinecone, Weaviate и др. Мы ожидаем, что с увеличением спроса на объемы данных и взрывным ростом больших моделей и приложений в различных подразделениях спрос на базу данных Vector значительно увеличится. А поскольку в этой области существуют сильные технические барьеры, при инвестировании больше внимания будет уделяться зрелым компаниям, имеющим клиентов.
периферийное устройство
При создании GPU HPC (кластера высокопроизводительных вычислений) обычно потребляется большое количество энергии, что приводит к выработке большого количества тепловой энергии. В высокотемпературной среде чип ограничивает свою скорость работы, чтобы снизить температуру. это то, что мы обычно называем «снижением частоты», которое требует наличия некоторых охлаждающих устройств, чтобы гарантировать, что HPC продолжает работать.
Таким образом, здесь задействованы два направления производственной цепочки, а именно энергоснабжение (в основном с использованием электрической энергии) и система охлаждения.
В настоящее время в сфере энергоснабжения в основном используется электричество, а на центры обработки данных и вспомогательные сети в настоящее время приходится 2–3% мирового потребления электроэнергии. BCG прогнозирует, что с увеличением параметров глубокого обучения больших моделей и итерацией чипов мощность, необходимая для обучения больших моделей, утроится к 2030 году. В настоящее время отечественные и зарубежные производители технологий активно инвестируют в энергетические компании. Основные энергетические направления инвестиций включают геотермальную энергетику, водородную энергетику, аккумуляторные батареи и атомную энергетику.
Что касается охлаждения кластера HPC, в настоящее время основным методом является воздушное охлаждение, но многие венчурные капиталисты вкладывают значительные средства в системы жидкостного охлаждения для обеспечения бесперебойной работы HPC. Например, компания Jetcool утверждает, что ее система жидкостного охлаждения способна снизить общее энергопотребление кластера H 100 на 15%. В настоящее время жидкостное охлаждение в основном разделено на три направления исследования: жидкостное охлаждение холодного формата, погружное жидкостное охлаждение и распыляющее жидкостное охлаждение. Компании в этой области включают: Huawei, Green Revolution Cooling, SGI и др.
приложение
Текущее развитие приложений ИИ похоже на развитие индустрии блокчейнов. В качестве инновационной отрасли Transformer был предложен в 2017 году, а OpenAI подтвердила эффективность большой модели только в 2023 году. Итак, сейчас многие компании Fomo переполнены в области исследований и разработок больших моделей, то есть инфраструктура очень переполнена, но разработка приложений не поспевает.
Топ-50 активных пользователей за месяц, Источник: A16Z.
В настоящее время большинство активных приложений ИИ в первые десять месяцев представляют собой приложения поискового типа. Фактические приложения ИИ, которые появились, по-прежнему очень ограничены. Типы приложений относительно едины, и нет социальных и других типов приложений. которые успешно появились.
Мы также обнаружили, что уровень удержания приложений ИИ, основанных на больших моделях, намного ниже, чем у существующих традиционных интернет-приложений. Что касается количества активных пользователей, медиана традиционного интернет-программного обеспечения составляет 51%, при этом самым высоким показателем является WhatsApp, который имеет сильную приверженность пользователей. Но со стороны ИИ-приложений самый высокий показатель DAU/MAU у символов.ai, который составляет всего 41%, а на DAU приходится в среднем 14% от общего числа пользователей. С точки зрения уровня удержания пользователей, лучшим традиционным интернет-программным обеспечением являются Youtube, Instagram и Tiktok. Средний уровень удержания десяти лучших составляет 63%. Для сравнения, уровень удержания ChatGPT составляет всего 56%.
Ландшафт применения ИИ, Источник: Sequoia
Согласно отчету Sequoia America, она делит приложения на три категории с точки зрения ролевой ориентации, а именно для профессиональных потребителей, предприятий и обычных потребителей.
1. Ориентация на потребителя: обычно используется для повышения производительности, например, текстовые работники используют GPT для вопросов и ответов, автоматического моделирования 3D-рендеринга, редактирования программного обеспечения, автоматических агентов и использования приложений голосового типа для голосовых разговоров, общения, языковых упражнений и т. д. .
2. Для предприятий: обычно маркетинговая, юридическая, медицинская, проектная и другие отрасли.
Хотя многие люди сейчас критикуют, что инфраструктура намного больше, чем приложения, мы на самом деле считаем, что современный мир сильно изменился благодаря технологиям искусственного интеллекта, но он использует системы рекомендаций, включая TikTok, Toutiao и Soda под управлением ByteDance и т. д. а также видеоаккаунты Xiaohongshu и WeChat, технология рекламных рекомендаций и т. д. — все это индивидуальные рекомендации для отдельных лиц, и все это алгоритмы машинного обучения. Таким образом, нынешний бум глубокого обучения не полностью представляет индустрию искусственного интеллекта. Существует множество потенциальных технологий, которые имеют возможность реализовать общий искусственный интеллект и также развиваются параллельно, и некоторые из этих технологий широко используются в различных отраслях. .
Итак, какие отношения складываются между Crypto x AI? Какие еще проекты заслуживают внимания в цепочке создания стоимости криптоиндустрии? Мы объясним это одно за другим в статье «Gate Ventures: AI x Crypto от входа до мастера (Часть 2)».
Отказ от ответственности:
Вышеуказанный контент предназначен только для справки и не должен рассматриваться как совет. Прежде чем инвестировать, всегда обращайтесь за профессиональной консультацией.
О компании Gate Ventures
Gate Ventures, венчурное подразделение Gate.io, фокусируется на инвестициях в децентрализованную инфраструктуру, экосистемы и приложения, которые изменят мир в эпоху Web 3.0. Gate Ventures сотрудничает с мировыми лидерами отрасли, чтобы наделить команды и стартапы инновационным мышлением и возможностями, позволяющими по-новому взглянуть на взаимодействие общества и финансов.
Официальный сайт: https://ventures.gate.io/
Твиттер: https://x.com/gate_ventures
Средний：https://medium.com/gate_ventures
