Автор: Тен Янь, Ланцюг думок Переклад: Golden Finance xiaozou
Одне з моїх великих жалю, про яке я досі турбуюся, полягає в тому, що це, безсумнівно, була найочевидніша інвестиційна можливість для кожного, хто на неї дивився, але я не вклав у неї ні копійки. Ні, я не говорю про наступного вбивцю Солани чи монету-мем собаки в смішному капелюсі.
Але... NVIDIA.
Лише за один рік ринкова капіталізація NVDA зросла з 1 трильйона доларів США до 3 трильйонів доларів США, збільшившись у 3 рази, навіть перевищивши капіталізацію біткойнів за той самий період.
Звичайно, ажіотаж щодо штучного інтелекту незамінний, але значна частина цього має підґрунтя в реальності. NVIDIA оголосила, що її дохід за 2024 фінансовий рік склав 60 мільярдів доларів США, що на 126% більше, ніж у 2023 фінансовому році, що є вражаючим показником.
Так чому я пропустив це?
Протягом двох років я зосереджувався на сфері шифрування і не дивився на зовнішній світ і не звертав уваги на сферу штучного інтелекту. Я зробив величезну помилку, яка досі переслідує мене.
Але я більше не зроблю такої помилки.
Сьогодні Crypto AI виглядає дуже схожим. Ми стоїмо на порозі вибуху інновацій. Це надто схоже на каліфорнійську золоту лихоманку середини 19 століття, щоб ігнорувати її: промисловість і міста виникли раптово, інфраструктура розвивалася шаленою швидкістю, а багатство створювали ті, хто наважувався думати й діяти.
Як і NVIDIA на початку свого існування, Crypto AI був би очевидною можливістю заднім числом.
У першій частині цієї статті я розповім, чому Crypto AI є найбільш захоплюючою можливістю для інвесторів і будівельників сьогодні.
Короткий огляд такий:
Багато людей досі вважають це фантастикою.
Crypto AI все ще перебуває на ранніх стадіях, і до піку ажіотажу може залишитися 1-2 роки.
У цій сфері є щонайменше понад 230 мільярдів доларів США для розвитку.
По суті, Crypto AI — це штучний інтелект, заснований на криптографічній інфраструктурі. Це означає, що він, швидше за все, буде слідувати траєкторії експоненціального зростання штучного інтелекту, а не ширшого крипторинку. Тому, щоб не залишитися осторонь, важливо стежити за останніми дослідженнями штучного інтелекту щодо Arxiv і спілкуватися із засновниками, які вірять, що вони створюють наступні чудові продукти та послуги.
У другій частині цієї статті я заглиблюся в чотири найперспективніші підполя Crypto AI:
Децентралізовані обчислення: навчання, висновки та ринок GPU
мережа передачі даних
ШІ, який можна перевірити
Агент ШІ працює в ланцюжку
Ця стаття є кульмінацією кількох тижнів поглиблених досліджень і розмов із засновниками та командами в просторі Crypto AI. Ця стаття не розглядає всі сфери вичерпно, натомість ви можете розглядати її як дорожню карту високого рівня, розроблену для того, щоб стимулювати вашу цікавість, підвищити рівень ваших досліджень і спрямувати ваше інвестиційне мислення.
1. Ландшафт Crypto AI
Я уявляю стек децентралізованого ШІ як екосистему з кількома рівнями: один кінець починається з децентралізованих обчислень і відкритих мереж даних, які забезпечують підтримку децентралізованого навчання моделі ШІ.
Потім використовується комбінація криптографії, криптоекономічних стимулів і мереж оцінки для перевірки кожного висновку — як вхідного, так і вихідного. Ці перевірені результати надходять до агентів штучного інтелекту, які можуть працювати автономно в ланцюжку, а також до споживчих і корпоративних програм ШІ, яким користувачі можуть справді довіряти.
Мережа оркестровки об’єднує все разом, забезпечуючи безперебійне спілкування та співпрацю в усій екосистемі.
У цьому баченні кожен, хто створює штучний інтелект, може використовувати один або кілька рівнів стека, залежно від своїх конкретних потреб. Незалежно від того, використовуєте децентралізовані обчислення для навчання моделям або використовуєте оцінювальну мережу для забезпечення високоякісного результату, стек пропонує низку варіантів.
Через притаманну блокчейну здатність комбінувати, я вважаю, що ми природним чином рухатимемося до модульного майбутнього. Кожен рівень стає вузькоспеціалізованим, з протоколами, оптимізованими для різних функцій, а не з використанням інтеграційного підходу «все в одному».
На кожному рівні стеку децентралізованого штучного інтелекту є велика кількість стартапів, більшість із яких було засновано за останні 1-3 роки. Зрозуміло, що ця галузь ще перебуває на початковій стадії.
Найповніша та найновіша карта запуску Crypto AI, яку я бачив, підтримується Кейсі та її командою на topology.vc. Це безцінний ресурс для тих, хто стежить за цією сферою.
Коли я глибше заглиблююся в підсферу Crypto AI, я постійно запитую себе: які можливості? Мене не цікавлять дрібниці — я шукаю ринки розміром у сотні мільярдів доларів.
(1) Розмір ринку
Давайте спочатку розглянемо розмір ринку. Оцінюючи нішу, я запитую себе: це створює абсолютно новий ринок чи підриває існуючий?
Візьмемо як приклад децентралізовані обчислення. Це руйнівна категорія, потенціал якої можна оцінити, подивившись на існуючий ринок хмарних обчислень, який зараз оцінюється приблизно в 680 мільярдів доларів США, а до 2032 року очікується, що він досягне 2,5 трильйона доларів.
Безпрецедентні нові ринки, такі як агенти штучного інтелекту, важче оцінити кількісно. Без історичних даних їх оцінка вимагає здогадок і оцінки проблеми, яку вони вирішують. Важливо зазначити, що інколи те, що виглядає як новий ринок, насправді є просто спробою знайти рішення проблеми.
(2) Час
Час - це все. Технологія має тенденцію вдосконалюватися та ставати дешевшою з часом, але з різною швидкістю.
Наскільки зрілою є технологія в певному сегменті? Чи готовий він до масового впровадження, чи все ще знаходиться на стадії дослідження, а практичне застосування залишилося через кілька років? Час визначає, чи заслуговує галузь на негайну увагу чи «почекати і подивитися».
Візьмемо повністю гомоморфне шифрування (FHE): його потенціал незаперечний, але на даний момент його розвиток все ще надто повільний для широкого використання. Може пройти кілька років, перш ніж ми побачимо широке впровадження. Спершу зосередившись на сферах, ближчих до масштабу, я можу витрачати свій час і енергію на сфери, які створюють імпульс і створюють можливості.
Якби я зіставив ці категорії на графік залежності масштабу від часу, це виглядало б так. Майте на увазі, що це концептуальна карта, а не жорсткий посібник. Є багато нюансів – наприклад, у верифікованому висновку різні методи (такі як zkML і opML) мають різний рівень готовності до використання.
Тим не менш, я вважаю, що штучний інтелект буде настільки великим, що навіть сфера, яка сьогодні здається «нішевою», може перетворитися на значний ринок.
Варто також зазначити, що технічний прогрес не завжди просувається прямолінійно — він часто йде стрибками. Коли це раптово спалахне, моє бачення часу та розміру ринку зміниться.
З цією структурою на місці, давайте розглянемо кожне підполе в деталях.
2. Область 1: Децентралізовані обчислення
Децентралізовані обчислення є основою децентралізованого штучного інтелекту.
Ринок GPU, децентралізоване навчання та децентралізований висновок тісно пов’язані.
Сторона пропозиції зазвичай надходить від малих і середніх центрів обробки даних і споживчих графічних процесорів.
Попит невеликий, але все ще зростає. Сьогодні це надходить від користувачів, чутливих до ціни та затримок, і менших стартапів зі штучним інтелектом.
Найбільша проблема, з якою зараз стикається ринок графічних процесорів Web3, полягає в тому, щоб вони працювали належним чином.
Координація графічних процесорів у децентралізованій мережі вимагає передових інженерних навичок і добре спроектованої надійної мережевої архітектури.
2.1 Ринок графічних процесорів/обчислювальна мережа
Кілька команд Crypto AI будують децентралізовані мережі, щоб скористатися потенційною обчислювальною потужністю в усьому світі у відповідь на дефіцит GPU, який не може задовольнити попит.
Основна ціннісна пропозиція ринку GPU має три аспекти:
Ви можете отримати доступ до обчислювальної техніки за «на 90% нижчими» цінами, ніж AWS, оскільки немає посередників, а сторона пропозиції відкрита. По суті, ці ринки дозволяють скористатися перевагами найнижчих граничних витрат на обчислення у світі.
Більша гнучкість: немає заблокованих контрактів, немає процесу KYC, немає часу очікування.
опір цензурі
Щоб вирішити проблему ринкової пропозиції, обчислювальна потужність цих ринків надходить із:
Графічні процесори корпоративного класу (такі як A100, H100) для малих і середніх центрів обробки даних, які важко знайти в попиті, або майнерів біткойнів, які шукають диверсифікації. Я також знаю про команди, які працюють над великими фінансованими державою інфраструктурними проектами, де центри обробки даних були побудовані в рамках планів розвитку технологій. Ці постачальники графічних процесорів часто мають стимули зберігати свій GPUT у мережі, що допомагає їм компенсувати амортизовану вартість графічного процесора.
Графічні процесори споживчого рівня для мільйонів геймерів і домашніх користувачів, які підключають свої комп’ютери до мережі в обмін на символічні винагороди.
З іншого боку, сьогоднішній попит на децентралізовані обчислення виникає через:
Користувачі, чутливі до ціни та затримки. Цей сегмент надає перевагу ціні над швидкістю. Подумайте про дослідників, які вивчають нові галузі, незалежних розробників штучного інтелекту та інших економних користувачів, яким не потрібна обробка в реальному часі. Через бюджетні обмеження багатьох із них можуть не влаштовувати традиційні гіпермасштабовані сервери, такі як AWS або Azure. Оскільки вони широко поширені серед населення, цільовий маркетинг має вирішальне значення для залучення цієї групи.
Невеликі стартапи зі штучним інтелектом стикаються з проблемою отримання гнучких, масштабованих обчислювальних ресурсів без підписання довгострокових контрактів із великими хмарними провайдерами. Розвиток бізнесу має вирішальне значення для залучення цього сегменту, оскільки вони активно шукають альтернативи гіпермасштабному блокуванню.
Стартапи Crypto AI, які створюють децентралізовані продукти штучного інтелекту, але не мають власної обчислювальної потужності, повинні будуть використовувати ресурси однієї з мереж.
Хмарні ігри: хоча і не керуються безпосередньо ШІ, хмарні ігри все більше вимагають ресурсів графічного процесора.
Головне пам’ятати: розробники завжди віддають перевагу вартості та надійності.
Справжнім викликом є попит, а не пропозиція.
Стартапи в цьому просторі часто вказують на розмір своїх мереж постачання GPU як на ознаку успіху. Але це вводить в оману — у кращому випадку це показник марнославства.
Справжнім обмеженням є не пропозиція, а попит. Ключовим показником для відстеження є не кількість доступних графічних процесорів, а використання та кількість фактично орендованих графічних процесорів.
Токен чудово справляється із завантажувальним постачанням, створюючи стимули, необхідні для швидкого масштабування. Однак вони принципово не вирішують проблеми попиту. Справжнє випробування полягає в тому, щоб привести продукт у достатньо хороший стан, щоб реалізувати прихований попит.
Хасіб Куреші (Стрекоза) добре сказав це з цього приводу:
Змусити обчислювальні мережі реально працювати
Всупереч поширеній думці, найбільша перешкода, з якою зараз стикається ринок розподілених GPU web3, полягає в тому, щоб вони працювали належним чином.
Це не тривіальне запитання.
Координація графічних процесорів у розподіленій мережі є дуже складною та має багато проблем — розподіл ресурсів, динамічне масштабування робочого навантаження, балансування навантаження між вузлами та графічним процесором, керування затримкою, передача даних, відмовостійкість і обробка різноманітного територіально розосередженого обладнання. Я міг би продовжувати.
Досягнення цього вимагає продуманого проектування та надійної, добре розробленої мережевої архітектури.
Щоб краще зрозуміти, подумайте про Kubernetes від Google. Він широко вважається золотим стандартом оркестровки контейнерів, автоматизації таких процесів, як балансування навантаження та масштабування в розподілених середовищах, які дуже схожі на проблеми, з якими стикаються розподілені мережі GPU. Сама Kubernetes створена на основі більш ніж десятирічного досвіду Google, і навіть тоді потрібні були роки невпинних ітерацій, щоб працювати добре.
Деякі ринки GPU-обчислень, які наразі працюють онлайн, можуть витримувати невеликі робочі навантаження, але коли вони намагаються масштабуватись, виникають проблеми. Я підозрюю, що це через те, що їхні архітектурні основи погано спроектовані.
Ще одним викликом/можливістю децентралізованих обчислювальних мереж є забезпечення надійності: перевірка того, що кожен вузол дійсно забезпечує заявлену обчислювальну потужність. Зараз це залежить від репутації мережі, а в деяких випадках постачальники хеш-потужності оцінюються на основі балів репутації. Здається, блокчейн добре підходить для надійної системи перевірки. Такі стартапи, як Gensyn і Spheron, намагаються вирішити цю проблему, використовуючи бездовірний підхід.
Багато команд web3 все ще борються з цими проблемами сьогодні, а це означає, що двері можливостей широко відкриті.
Розмір ринку децентралізованих обчислень
Наскільки великий ринок децентралізованих обчислювальних мереж?
Сьогодні це, ймовірно, лише невелика частина індустрії хмарних обчислень вартістю від 680 до 2,5 трильйонів доларів США. Однак, незважаючи на додаткове тертя для користувачів, попит завжди буде, доки вартість нижча, ніж у традиційних постачальників.
Я вважаю, що витрати залишаться низькими в короткостроковій та середньостроковій перспективі завдяки субсидіям на токени та розблокуванню пропозиції для користувачів, які не чутливі до ціни (наприклад, якщо я зможу орендувати свій ігровий ноутбук, щоб заробити додаткові гроші, або за 20 доларів США на місяць, або за 50 доларів США, я був би радий).
Але реальний потенціал зростання децентралізованих обчислювальних мереж — і справжнє розширення їх TAM — з’явиться тоді, коли:
Децентралізоване навчання моделей штучного інтелекту стає практичним.
Попит на висновки різко зростає, і існуючі центри обробки даних не можуть відповідати попиту. Це вже починає відбуватися. Дженсен Хуан сказав, що попит на висновки зросте «в мільярд разів».
Стають доступними відповідні угоди про рівень обслуговування (SLA), які усувають основну перешкоду на шляху прийняття корпоративних рішень. В даний час робота децентралізованих обчислень дозволяє користувачам відчувати різні рівні якості обслуговування (наприклад, відсоток безвідмовної роботи). Завдяки SLA ці мережі можуть забезпечувати стандартизовані показники надійності та продуктивності, що робить децентралізовані обчислення життєздатною альтернативою традиційним постачальникам хмарних обчислень.
Децентралізовані обчислення без дозволів є основоположним рівнем децентралізованої екосистеми ШІ – інфраструктури.
Незважаючи на те, що ланцюжок поставок GPU розширюється, я вважаю, що ми все ще на зорі ери людського інтелекту. Попит на обчислення буде ненаситним.
Важливо відзначити, що незабаром може настати точка перелому, яка може спровокувати переоцінку всіх діючих ринків GPU.
Інші примітки:
Ринок чистих графічних процесорів переповнений, з гострою конкуренцією між децентралізованими платформами та зростанням нових хмарних сервісів web2 AI, таких як Vast.ai і Lambda.
Невеликі вузли (наприклад, 4 x H100) не користуються великим попитом через їх обмежене використання, але бажаємо успіхів у пошуку когось, хто продає більші кластери – певний попит на них все ще є.
Чи один домінуючий гравець об’єднає всі джерела живлення хешування для децентралізованих протоколів, чи він залишиться розпорошеним на кількох ринках? Я віддаю перевагу першому, тому що консолідація загалом призводить до підвищення ефективності інфраструктури. Але на це потрібен час, а тим часом розділення та плутанина тривають.
Розробники хочуть зосередитися на розробці програм, а не на розгортанні та конфігурації. Ринки повинні абстрагуватися від цих складнощів і зробити обчислювальний доступ якомога вільнішим.
2.2 Децентралізоване навчання
Якщо закон масштабування справедливий, навчання наступного покоління передових моделей ШІ в одному центрі обробки даних одного дня стане неможливим.
Навчання моделей ШІ вимагає передачі великих обсягів даних між графічним процесором. Низька швидкість передачі даних (міжз’єднання) між розподіленими графічними процесорами часто є найбільшою перешкодою.
Дослідники досліджують декілька методів одночасно та роблять прориви (наприклад, Open DiLoCo, DisTrO). Ці досягнення накопичуватимуть і прискорять прогрес у цій галузі.
Майбутнє децентралізованого навчання може полягати в розробці невеликих спеціалізованих моделей для нішевих програм, а не передових, орієнтованих на AGI моделей.
З переходом до таких моделей, як OpenAI o1, попит на логічні висновки зросте, створюючи можливості для децентралізованих мереж висновків.
Уявіть собі це: величезна модель штучного інтелекту, що змінює світ, розроблена не в секретних елітних лабораторіях, а сформована мільйонами звичайних людей. Геймери, чиї графічні процесори зазвичай створюють театральні вибухи в Call of Duty, тепер позичають своє обладнання для чогось набагато більшого — спільної моделі штучного інтелекту з відкритим вихідним кодом без центрального воротаря.
У такому майбутньому базові моделі не обмежуються кращими лабораторіями ШІ.
Але давайте обґрунтуємо це бачення сьогоднішньою реальністю. Зараз більша частина важкої підготовки штучного інтелекту все ще зосереджена в централізованих центрах обробки даних, і це може стати нормою на деякий час.
Такі компанії, як OpenAI, розширюють свої масивні кластери. Нещодавно Ілон Маск оголосив, що xAI збирається побудувати центр обробки даних, еквівалентний 200 000 GPU H100.
Але справа не лише в необроблених графічних процесорах. Модель FLOPS Utilization (MFU) — це показник, запропонований Google у дослідницькій статті PaLM за 2022 рік, який відстежує, наскільки ефективно використовується максимальна потужність GPU. Дивно, але MFU зазвичай коливається в межах 35-40%.
Чому він такий низький? Відповідно до закону Мура, продуктивність графічного процесора раптово зросла за останні кілька років, але вдосконалення мережі, пам’яті та сховища значно відставали, утворюючи вузьке місце. Тому графічний процесор часто перебуває в придушеному стані, очікуючи даних.
Сучасне навчання ШІ залишається дуже зосередженим через одне слово – ефективність.
Тренування великих моделей залежить від наступних технік:
Паралелізм даних: виконуйте операції паралельно з розділеними наборами даних на кількох графічних процесорах, прискорюючи процес навчання.
Паралелізм моделі: розподіліть частини моделі між декількома графічними процесорами, минаючи обмеження пам’яті.
Ці методи вимагають, щоб графічні процесори постійно обмінювалися даними, і швидкість з’єднання — швидкість, з якою дані можуть передаватися між комп’ютерами в мережі — стає критичною.
Коли вартість навчання передових моделей штучного інтелекту перевищує 1 мільярд доларів, кожне підвищення ефективності має значення.
Завдяки високошвидкісним з’єднанням централізовані центри обробки даних можуть швидко передавати дані між графічними процесорами та досягати значної економії коштів під час навчання, чого не можуть зрівнятися децентралізовані налаштування.
Подолання низьких швидкостей з'єднання
Якщо ви поговорите з людьми, які працюють у сфері штучного інтелекту, багато хто скаже вам, що децентралізоване навчання просто не працює.
У децентралізованому налаштуванні кластери GPU фізично не співіснують, тому передача даних між ними відбувається набагато повільніше та стає вузьким місцем. Навчання вимагає від GPU синхронізації та обміну даними на кожному кроці. Чим далі вони один від одного, тим вища затримка. Більша затримка означає повільніше навчання та вищу вартість.
У централізованому центрі обробки даних це може зайняти кілька днів, у децентралізованому центрі обробки даних може тривати до двох тижнів, а вартість вища. Це просто неможливо.
Але це скоро зміниться.
Доброю новиною є те, що спостерігається сплеск дослідницького інтересу до розподіленого навчання. Дослідники досліджують кілька підходів одночасно, про що свідчить велика кількість досліджень і опублікованих статей. Ці досягнення накопичуватимуться та зливатимуться, щоб прискорити прогрес у цій галузі.
Це також стосується виробничих випробувань, щоб побачити, наскільки далеко ми можемо розширити межі.
Деякі методи децентралізованого навчання вже можуть працювати з меншими моделями в повільних взаємопов’язаних середовищах. Зараз передові дослідження стимулюють застосування цих методів до великих моделей.
Наприклад, стаття DiCoLo з відкритим кодом Prime Intellect демонструє практичний підхід із використанням «острівців» GPU, які виконують 500 локальних кроків перед синхронізацією, зменшуючи вимоги до пропускної здатності в 500 разів. Те, що почалося як дослідження малих моделей Google DeepMind, у листопаді розширилося до навчання моделі з 10 мільярдами параметрів і тепер повністю відкрито.
Nous Research піднімає планку зі своєю структурою DiTrO, яка використовує оптимізатор, щоб зменшити вимоги до зв’язку між графічним процесором у приголомшливі 10 000 разів під час навчання моделі параметрів 1,2B.
І імпульс продовжує наростати. У грудні Ноус оголосив про попереднє навчання моделі параметрів 15B із кривими втрат (як помилка моделі зменшується з часом) і показниками конвергенції (як швидко стабілізується продуктивність моделі), які навіть краще відповідають типовим результатам централізованого навчання. Так, краще, ніж централізація.
Паралелізм SWARM і DTFMHE — це інші різні підходи до навчання великих моделей штучного інтелекту на різних типах пристроїв, навіть із різними швидкостями та рівнями підключення.
Управління великою різноманітністю апаратного забезпечення графічних процесорів є ще одним завданням, включаючи споживчі графічні процесори з обмеженим обсягом пам’яті, характерні для децентралізованих мереж. У цьому можуть допомогти такі методи, як паралелізм моделі (розподіл шарів моделі між пристроями).
Майбутнє децентралізованого навчання
Розмір моделі поточних децентралізованих методів навчання все ще набагато нижчий, ніж у передових моделей (GPT-4, як повідомляється, має майже трильйон параметрів, що в 100 разів більше, ніж модель 10B Prime Intellect). Щоб досягти справжнього масштабу, нам потрібні прориви в архітектурі моделі, краща мережева інфраструктура та розумніший розподіл завдань між пристроями.
Ми можемо мріяти про велике. Уявіть собі світ, де децентралізоване навчання агрегує більше обчислювальної потужності GPU, ніж навіть найбільші централізовані центри обробки даних.
Pluralis Research (елітна команда, що зосереджена на децентралізованому навчанні, на яке варто звернути пильну увагу) вважає, що це не тільки можливо, але й неминуче. У той час як централізовані центри обробки даних обмежені фізичними обмеженнями, такими як наявність місця та електроенергії, децентралізовані мережі можуть використовувати справді необмежений пул глобальних ресурсів.
Навіть Дженсен Хуанг з NVIDIA визнає, що асинхронне децентралізоване навчання може розкрити справжній потенціал масштабування ШІ. Розподілені навчальні мережі також більш відмовостійкі.
Таким чином, у можливому майбутньому світі найпотужніші у світі моделі штучного інтелекту будуть навчені децентралізовано.
Це захоплююча перспектива, але я ще не зовсім у цьому переконаний. Нам потрібні вагоміші докази того, що децентралізоване навчання найбільших моделей є технічно й економічно доцільним.
Я бачу в цьому великі перспективи: найкраще в децентралізованому навчанні можуть полягати в невеликих спеціалізованих моделях з відкритим кодом, розроблених для цільових випадків використання, а не в конкуренції з дуже великими передовими моделями, керованими AGI. Деякі архітектури, особливо моделі без трансформаторів, виявилися добре підходящими для децентралізованих налаштувань.
Є ще одна частина головоломки: жетони. Щойно децентралізоване навчання стане можливим у великих масштабах, токени можуть зіграти ключову роль у стимулюванні та винагороді учасників, ефективно завантажуючи ці мережі.
Шлях до реалізації цього бачення ще довгий, але прогрес вселяє надію. Оскільки майбутні моделі масштабуються за межі одного центру обробки даних, прогрес у децентралізованому навчанні принесе користь усім, навіть великим технологічним компаніям і найкращим дослідницьким лабораторіям ШІ.
Майбутнє розподілене. Коли технологія має такий широкий потенціал, історія показує, що вона завжди працює краще та швидше, ніж хтось очікував.
2.3. Децентралізоване міркування
Зараз більша частина обчислювальної потужності ШІ зосереджена на навчанні великомасштабних моделей. Між найкращими лабораторіями штучного інтелекту триває змагання, щоб побачити, хто зможе розробити найкращі базові моделі та в кінцевому підсумку досягти AGI.
Але ось моя думка: у найближчі кілька років ці обчислювальні роботи, зосереджені на навчанні, перейдуть до висновків. Оскільки штучний інтелект все більше інтегрується в програми, які ми використовуємо щодня — від охорони здоров’я до розваг — кількість обчислювальних ресурсів, необхідних для підтримки висновків, буде приголомшувати.
Це не просто припущення. Масштабування обчислень на основі часу висновку є останнім модним словом у сфері штучного інтелекту. OpenAI нещодавно випустив попередній перегляд/міні-версію своєї останньої моделі 01 (кодове ім’я: Strawberry). Це велика зміна? Потрібен час, щоб подумати, спочатку запитайте себе, які кроки ви повинні зробити, щоб відповісти на це запитання, а потім продовжуйте крок за кроком.
Ця модель розроблена для більш складних завдань, які вимагають багато планування, таких як кросворди, і проблем, які потребують глибшого обґрунтування. Ви помітите, що це повільніше, потрібно більше часу для створення відповідей, але результати більш продумані та нюансовані. Він також набагато дорожчий в експлуатації (у 25 разів дорожчий, ніж GPT-4).
Зміна фокусу очевидна: наступний стрибок у продуктивності штучного інтелекту відбудеться не лише завдяки навчанню більших моделей, а й масштабуванню обчислювальних програм під час логічного висновку.
Якщо ви хочете дізнатися більше, деякі дослідницькі статті показують:
Масштабування обчислень висновків за допомогою повторної вибірки може призвести до значних покращень у різноманітних завданнях.
Існує також розширений експоненціальний закон для міркування.
Після того, як потужні моделі навчені, їхні завдання логічного висновку — те, що роблять моделі — можна перенести в децентралізовані обчислювальні мережі. Це має сенс, оскільки:
Висновок вимагає набагато менше ресурсів, ніж навчання. Після навчання модель можна стиснути та оптимізувати за допомогою таких методів, як квантування, скорочення або дистиляція. Їх навіть можна розбити для роботи на повсякденних споживчих пристроях. Вам не потрібен графічний процесор високого класу для підтримки висновків.
Це вже було. Exo Labs придумала, як запускати моделі Llama3 з параметрами 450B на обладнанні споживчого класу, наприклад MacBook і Mac Mini. Розподіліть висновок між кількома пристроями, щоб ефективно та економічно обробляти великі робочі навантаження.
Кращий досвід користувача. Запуск обчислень ближче до користувача зменшує затримку, що є критичним для додатків у реальному часі, таких як ігри, AR або безпілотні автомобілі. Кожна мілісекунда має значення.
Подумайте про децентралізований висновок як про CDN (мережу доставки вмісту) для штучного інтелекту: замість підключення до сусіднього сервера для швидкого обслуговування веб-сайту децентралізований логічний висновок використовує локальну обчислювальну потужність для доставки відповідей штучного інтелекту в рекордно короткий час. Застосовуючи децентралізований висновок, програми штучного інтелекту стають ефективнішими, оперативнішими та надійнішими.
Тенденція очевидна. Новий чіп M4 Pro від Apple конкурує з RTX 3070 Ti від Nvidia, яка донедавна була доменом запеклих геймерів. Наше апаратне забезпечення дедалі краще справляється із складними навантаженнями ШІ.
Додаткова вартість криптовалюти
Для успіху децентралізованих мереж висновків повинні бути переконливі економічні стимули. Вузли в мережі повинні отримати компенсацію за їхній внесок у обчислювальну потужність. Система повинна забезпечувати справедливий і ефективний розподіл винагород. Географічне розмаїття необхідне для зменшення затримки в завданнях логічного висновку та підвищення відмовостійкості.
Який найкращий спосіб побудувати децентралізовану мережу? Крипто.
Токени забезпечують потужний механізм для координації інтересів учасників, гарантуючи, що всі працюють над тією самою метою: розширення мережі та підвищення вартості токенів.
Токен також прискорює зростання мережі. Вони допомагають вирішити класичну проблему курки та яйця, яка перешкоджає розвитку більшості мереж, винагороджуючи перших користувачів і стимулюючи залучення з першого дня.
Успіх Bitcoin та Ethereum доводить це – вони накопичили найбільшу обчислювальну потужність на планеті.
Наступними будуть децентралізовані мережі висновків. Завдяки географічній різноманітності вони зменшують затримку, підвищують відмовостійкість і наближають ШІ до користувачів. Стимульовані криптографією, вони будуть масштабуватися швидше та краще, ніж традиційні мережі.
(Продовження буде, залишайтеся на зв'язку)