a16z «Ученики» Руководство Kuzco: от одиночной битвы к кластерному развертыванию

Автор: J1N, Techub News

Введение: Эпоха первая и вторая

Kuzco - это сеть майнинга вычислительных мощностей LLM (большие языковые модели), в этом году был выбран для программы осеннего акселератора Crypto Startup Accelerator (CSX), запущенной a16z 9 сентября в Нью-Йорке; проекты, выбранные этой программой, могут получить инвестиции от a16z не менее 500,000 долларов и будут получать руководство и поддержку от команды a16z. В настоящее время эта программа акселератора завершена.

16 ноября Kuzco объявил, что первая фаза (Эпоха Первая) программы стимулов завершится 18 ноября 2024 года, все операции будут приостановлены, данные будут навсегда сохранены, а окончательный рейтинг очков будет опубликован в новом рейтинге.

Официально сообщается, что Эпоха Первая была запущена 6 марта 2024 года, максимальное количество устройств превысило 8000, и на этой сети работала модель Llama-3 AI большого языка, выпущенная Meta, которая обрабатывала более 1 триллиона токенов.

И объявить, что в ближайшие недели будет опубликована информация о финансировании и дорожная карта проекта, а также второй этап (Эпоха Вторая) программы стимулов, которая начнется 9 декабря. Эпоха Вторая принесет некоторые новые возможности, такие как более высокая пропускная способность и надежность оборудования NVIDIA; поощрение пользователей подключать лучшие вычислительные устройства, такие как A100 и H100; поддержка большего числа моделей генерации изображений и мультимодальных языковых моделей VLM.

В настоящее время до открытия Эпохи Второй осталось полмесяца подготовки, в этой статье будет рассмотрено:

• Поделиться личным опытом майнинга и результатами, от одиночных машин к кластерам.

• Показать полный процесс получения финансирования через исследования и практику, а также создание высококлассных машин.

• Обсудить соответствие аппаратной конфигурации и потребностям проекта, а также ответить на часто задаваемые вопросы инвесторов.

Обзор Эпохи Первой: одиночная битва

Конфигурация

Список конфигурации автора включает видеокарты серии RTX 2060, 2070S, 3080, 4060, 4060Ti, а также 4 видеокарты 4070S и 2 устройства Apple M2, M3. Эти устройства распределены между несколькими настольными и ноутбучными компьютерами, а также одной специализированной майнинговой машиной.

Стоимость

Стоит отметить, что эти видеокарты изначально были приобретены автором в соответствии с игровыми потребностями, а не специально для майнинга. Поэтому при расчете затрат не учитывались расходы на закупку оборудования, а лишь фактические затраты на электроэнергию для майнинга. Здесь приведен пример сборки, сделанной в первой статье (a16z «Ученики» Руководство Kuzco: Как эффективно заниматься майнингом вычислительных мощностей AI?).

Конфигурация этой майнинговой машины:

• Материнская плата: z490 (в дальнейшем будет заменена на промышленную плату)

• ЦП: 10-е поколение I9

• Видеокарты: 2060, 2070s, 3080, 4060ti, 4070s

Ручной майнинг

На нижнем изображении показано потребление электроэнергии этой майнинговой машины за октябрь и ноябрь, всего 564 кВт·ч, получено очков (KZO Point) примерно 600 миллионов. Все машины вместе составляют около 1.1 миллиарда очков. Конкретные затраты на электроэнергию необходимо рассчитывать в зависимости от тарифов на электроэнергию в вашем регионе, здесь только для справки.

На самом правом изображении, всего получено 1 миллиард очков

Подготовка Эпохи Второй: кластерное развертывание

Основываясь на информации, приведенной в первой статье, а также на богатом опыте участия в сборке, настройке и развертывании оборудования, автор успешно получил определенную финансовую поддержку и вложил все средства в сборку высокопроизводительных майнинговых машин для дальнейшего увеличения вычислительной мощности и операционной эффективности.

От одиночного майнинга к кластерному развертыванию

Логика выбора и конфигурации высококлассных машин

Основываясь на опыте, полученном в Эпохе Первой, я провел полную оптимизацию материнской платы, ЦП, видеокарт, блоков питания, платформы и сетевой конфигурации, выбрав более подходящую комбинацию оборудования, что не только повысило общую стабильность, безопасность и эффективность работы, но и сделало выбор оборудования более ориентированным на ликвидность вторичного рынка. Эта стратегия эффективно снижает фактические затраты, предоставляя последующим участникам более выгодные варианты.

Материнская плата

Автор выбрал промышленную материнскую плату вместо популярной B85, основываясь на综合性的 оценке производительности, стабильности и стоимости.

С точки зрения производительности, для запуска модели Llama-3 от Kuzco требуется запустить несколько процессов Docker, и параллельное выполнение этих процессов занимает много ресурсов ЦП, что требует высоких показателей производительности от ЦП, в то время как совместимый с B85 ЦП не может соответствовать этим требованиям.

Кроме того, промышленная материнская плата имеет явные преимущества в длительной стабильной работе, высоких температурах и гарантии от производителя, а также обладает большей ликвидностью на вторичном рынке, поэтому она является безусловно оптимальным выбором.

Видеокарта

Автор выбрал использовать 4070S в качестве основной видеокарты, основываясь на следующих причинах:

Преимущества вычислительной производительности AI: по сравнению с видеокартами серии 30, производительность видеокарт серии 40 в AI вычислениях значительно превышает прирост в игровых производительности. Основная причина заключается в том, что вычислительная мощность AI в основном зависит от количества CUDA ядер в видеокартах, а у видеокарт серии 40 количество CUDA ядер значительно больше, чем у видеокарт серии 30.

Преимущество соотношения эффективности: автор провел детальное тестирование нескольких GPU, вычисляя среднюю мощность на каждую токену.

• 4060Ti (160W): 0.125 Tokens/W

• 3080 (330W): 0.22 Tokens/W

• 4090 (450W): 0.26 Tokens/W

• 4070S (220W): 0.38 Tokens/W

Согласно результатам тестирования, 4070S показывает наилучший баланс между производительностью и потреблением энергии, его более высокий коэффициент эффективности напрямую снижает затраты на электроэнергию, что делает его наиболее выгодным выбором.

Цены и ликвидность на вторичном рынке: как видеокарта среднего и высокого класса, 4070S обладает высокой ликвидностью и сохранностью на вторичном рынке, что дополнительно снижает затраты на содержание оборудования и предоставляет гибкость для последующих обновлений оборудования.

ЦП

Как упоминалось ранее, для работы Llama-3 от Kuzco необходимо запустить несколько Docker, что значительно увеличивает потребление ресурсов ЦП, особенно в случае работы нескольких карт, загрузка ЦП может достигать 80%-90%. Поэтому многопоточная обработка важна. Высокопроизводительные, многопоточные и стабильные ЦП могут эффективно поддерживать выполнение нескольких задач и обеспечивать стабильность и эффективность всего процесса майнинга.

13-е поколение i5 при полной загрузке может достигать 70%+ использования видеокарты

Сетевая среда

Программный маршрутизатор изображен в виде квадратной коробки на картинке

Сетевая среда также крайне важна для майнинга. Даже если установлены высокопроизводительные видеокарты, если сеть не оптимизирована, вычислительная мощность будет серьезно затронута. Согласно тестам автора, недостаточная скорость сети может привести к снижению вычислительной мощности до 30%, а низкокачественные сетевые узлы могут напрямую привести к невозможности подключения к сети Kuzco, оба этих момента неприемлемы для майнинга. Чтобы решить эти проблемы, автор использует решение с программным маршрутизатором, которое легко настраивать и после завершения настройки практически не требует ручного вмешательства для эффективной работы, теоретически может поддерживать подключение неограниченного количества устройств. Что касается конкретного способа выполнения операций, рекомендуется читателям самостоятельно ознакомиться с соответствующими материалами в зависимости от потребностей.

Блок питания

Классический блок питания 2000W

При выборе блока питания необходимо особенно обратить внимание на проблему пикового потребления, именно поэтому, даже если номинальная мощность 7 видеокарт 4070S составляет всего 1540W, автор все равно выбрал использование двух блоков питания по 2000W, общей мощностью 4000W. Это не трата ресурсов, а забота о стабильности и безопасности работы оборудования.

В процессе работы видеокарты могут испытывать пиковую мощность, то есть в определенные моменты их фактическая мощность может достигать 1.5 раза больше номинальной, а затем возвращаться к нормальному уровню. Если мощность блока питания недостаточна для компенсации этой пиковой мощности, это может активировать механизм принудительного отключения блока питания и даже привести к повреждению видеокарты. Это представляет собой смертельную угрозу для нормальной работы майнинговой машины.

Показатели энергопотребления 4070s

Например, 4070S имеет номинальную мощность 220W, но пиковая мощность может превышать 400W. Пиковая мощность 7 видеокарт может составить более 3000W, поэтому установка двух блоков питания по 2000W необходима для обеспечения стабильной работы машины. Пользователям, использующим несколько 4090, особенно следует обратить внимание, что номинальная мощность одной 4090 составляет 450W, а пиковая мощность может достигать 770W. В случае нескольких карт, полагаться только на два блока питания может быть недостаточно, обычно требуется три блока питания для обеспечения стабильности системы.

Показатели энергопотребления 4090

Дополнение

Что касается настроек BIOS, совместимости оборудования и удаленного управления, автор не будет углубляться в эти вопросы. В интернете уже есть много бесплатных учебных материалов для справки, следуя которым можно решить большинство проблем. Рекомендуется ознакомиться с материалами и обработать их в зависимости от своей аппаратной конфигурации и потребностей, что будет просто и эффективно.

Риск и прибыль

Ответить на наиболее волнующие вопросы: сколько можно заработать в день? Честно говоря, на этот вопрос нет однозначного ответа, так как риск и прибыль всегда идут рука об руку. Я могу поделиться четким мнением: как в криптовалютной сфере, так и в традиционном бизнесе, если какой-либо проект может точно рассчитать ежедневную прибыль, то, скорее всего, вы уже не сможете заработать большие деньги. Кроме того, вам нужно иметь некоторые монопольные ресурсы, такие как очень низкие затраты на электроэнергию или очень дешевые майнинговые установки, чтобы получить преимущество в прибыли. Однако такие ресурсы есть не у всех.

Автор выбрал устройства с хорошей ликвидностью, чтобы снизить инвестиционные риски и давление с затратами. Например, в майнинге Kuzco затраты в основном сосредотачиваются на амортизации оборудования и затратах на электроэнергию, поэтому ваши максимальные потери ограничены только этими фиксированными расходами. Если вы не участвуете на основе низких затрат, любое инвестиционное решение теряет смысл. Необходимо подчеркнуть, что особенности майнинга определяют отсутствие четких ожиданий по доходам, но именно в этом и заключается потенциал майнинга.

Субъективно, этот рынок имеет огромные перспективы: с одной стороны, Kuzco получил инвестиционную поддержку от a16z; с другой стороны, спрос на большие языковые модели LLM стремительно растет. Подумайте, почти никто не может обойтись без LLM, верно? Платформы, такие как ChatGPT от OpenAI, Llama от Meta и XAI от Маска, получают один за другим огромные инвестиции, что ясно демонстрирует потенциал роста этой отрасли.

Для обычных людей прямое участие в отрасли AI не является легким делом. С одной стороны, технологии AI имеют высокий порог входа; с другой стороны, обучение моделей AI требует огромных ресурсов и затрат, большинство людей не может позволить себе такие расходы. Однако через Kuzco присоединиться к сети вычислительных мощностей AI можно при контролируемых затратах, легко участвуя в этой быстро развивающейся области, внося свою лепту в вычислительную мощность AI, а также получая доход.

Кроме того, цена биткойна в настоящее время почти достигает 100,000 долларов, увеличившись с 16,000 долларов в 2022 году до нынешнего максимума, за этим стоит огромный риск коррекции. Если вы выбираете прямую покупку токенов AI-проекта, вы также столкнетесь с аналогичным высоким риском волатильности. В отличие от этого, участие в сети вычислительных мощностей AI является более разумным выбором: здесь не только четко контролируемые затраты, но и возможность относительно низкого риска войти в быстро растущую отрасль AI. Это один из практических способов для обычных людей войти в сферу AI в текущей обстановке.