У сфері штучного інтелекту перетин віри та технологій спричинив гостру дискусію, що обертається навколо ефективності та майбутнього „закону розширення“. Ця стаття досліджує підйом, розбіжності та можливі наслідки цієї „гіркої релігії“, виявляючи складні стосунки між вірою та наукою. Спільнота штучного інтелекту потрапила в суперечку про своє майбутнє та про те, чи є у неї достатня масштабність для створення божих доктрин. Ця стаття є результатом роботи Маріо Габріеле, організованої та перекладеної Block unicorn. (Передісторія: xAI Ілона Маска завершила фінансування раунду C на суму 6 мільярдів доларів, до фінансування приєдналися великі гравці, такі як Nvidia, BlackRock, a16z...) (Додаткова інформація: Чи настане момент ChatGPT в фізичному AI з платформою „Jetson Thor“, яку Nvidia випустить наступного року?) Священна війна штучного інтелекту Я б краще прожив своє життя так, ніби Бог існує, і лише після смерті виявив, що Бога не існує, ніж жив би так, ніби Бога немає, і лише після смерті виявив, що Бог існує. — Блез Паскаль Релігія є цікавою справою. Можливо, тому, що її неможливо довести в жодному напрямку, або, можливо, як мені найбільше подобається казати: „Ви не можете протиставити факти почуттям.“ Характерна риса релігійної віри полягає в тому, що під час зростання віри вона розвивається з неймовірною швидкістю, що робить майже неможливим сумніватися в існуванні Бога. Коли люди навколо вас все більше вірять у це, як ви можете сумніватися в святому існуванні? Коли світ перепорядковується навколо однієї доктрини, де ще може бути місце для єресі? Коли храми та собори, закони та норми організовані відповідно до нового, непорушного євангелія, де ще може бути простір для опозиції? Коли релігії Авраама вперше з'явилися та поширилися по континентах, або коли буддизм поширився з Індії по всій Азії, величезна динаміка віри створила самопідкріплювальне коло. Зі збільшенням числа людей, які переходять у цю віру, та створенням навколо цих вірувань складних теологічних систем та ритуалів, ставало все важче ставити під сумнів ці основні припущення. У морі наївності стати єретиком нелегко. Величні церкви, складні релігійні тексти та процвітаючі монастирі слугують фізичними доказами божественного існування. Але історія релігії також показує, як легко такі структури можуть зруйнуватися. Коли християнство поширилося на Скандинавський півострів, давня північна релігія розпалася всього за кілька поколінь. Давньоєгипетська релігійна система існувала тисячі років, але врешті-решт зникла, коли виникли нові, більш стійкі вірування та з'явилися більші структури влади. Навіть усередині однієї релігії ми спостерігали драматичні розколи — реформація розірвала західне християнство, а Велика схизма призвела до розколу між західною та східною церквами. Ці розколи часто починаються з на вигляд незначних доктринальних розбіжностей, які поступово перетворюються на зовсім інші системи віри. Святе писання Бог є метафорою, що перевищує всі рівні інтелектуального мислення. Це так просто. — Джозеф Кемпбелл Простими словами, віра в Бога є релігією. Можливо, створення Бога не є чимось іншим. З моменту свого виникнення оптимістичні дослідники штучного інтелекту уявляли свою роботу як божественне творіння — тобто творіння Бога. За останні кілька років вибуховий розвиток великих мовних моделей (LLM) ще більше зміцнив віруючих у те, що ми йдемо святим шляхом. Це також підтвердило блог, написаний у 2019 році. Хоча люди поза сферою штучного інтелекту дізналися про це лише нещодавно, уроки (гіркі уроки) канадського комп'ютерного вченого Річарда Саттона стали дедалі важливішими текстами в спільноті, поступово еволюціонуючи з таємного знання в нову, всеосяжну релігійну основу. У 1,113 словах (кожна релігія потребує священного числа) Саттон підсумував технічне спостереження: „найбільшим уроком, який можна винести з 70 років досліджень штучного інтелекту, є те, що використання універсальних методів обчислень зрештою є найефективнішим і величезною перевагою.“ Прогрес моделей штучного інтелекту вигідно використовує експоненціальне збільшення обчислювальних ресурсів, підхоплюючи величезну хвилю закону Мура. Тим часом Саттон зазначив, що багато робіт у дослідженнях штучного інтелекту зосереджені на оптимізації продуктивності за допомогою спеціалізованих технологій — підвищення людських знань або вузьких інструментів. Хоча ці оптимізації можуть бути корисними в короткостроковій перспективі, на думку Саттона, вони зрештою є марною тратою часу та ресурсів, подібно до спроби налаштувати плавники серфінгової дошки або спробувати новий віск, коли настає величезна хвиля. Ось основа того, що ми називаємо „гіркою релігією“. Вона має лише одну заповідь, яку в спільноті зазвичай називають „законом розширення набору“: експоненційне зростання обчислень підштовхує продуктивність; решта — це дурість. Гірка релігія переходить від великих мовних моделей (LLM) до світової моделі, зараз швидко поширюється через біологію, хімію та втілену інтелектуальність (робототехніка та автономні транспортні засоби), які ще не були перетворені на священні храми. Однак, з поширенням вчення Саттона, визначення також починають змінюватися. Це ознака всіх активних і життєздатних релігій — суперечки, розширення, коментарі. „Закон розширення набору“ більше не означає лише обчислення розширення набору (ковчег — це не тільки корабель), тепер він стосується різних способів підвищення продуктивності трансформера та обчислень, деякі з яких містять трюки. Тепер класика охоплює спроби оптимізувати кожну частину AI стеку, від трюків, застосованих до самого ядра моделі (об'єднання моделей, змішування експертів (MoE) та видобування знань) до генерації синтетичних даних для годування цих вічно голодних богів, з безліччю експериментів у процесі. Конфліктуючі секти Нещодавно в спільноті штучного інтелекту виникло питання, яке несе в собі дух священної війни: чи залишається „гірка релігія“ вірною. Цього тижня Гарвардський університет, Стенфордський університет та Массачусетський технологічний інститут опублікували нову статтю під назвою „Закон розширення набору точності“, яка викликала цей конфлікт. У статті обговорюється кінець приросту технічної ефективності, що є серією технологій, які покращують ефективність моделей штучного інтелекту та приносять великі переваги відкритій екосистемі. Науковець-дослідник Алленовського інституту штучного інтелекту Тім Деттмерс у дописі нижче підкреслює його важливість, називаючи його „найважливішою статтею за довгий час“. Це представляє продовження діалогу, що наростає останні кілька тижнів, і виявляє помітну тенденцію: зростаюче зміцнення двох релігій. Генеральний директор OpenAI Сем Альтман і генеральний директор Anthropic Даріо Амодеї належать до однієї секти. Обидва з упевненістю стверджують, що ми досягнемо загального штучного інтелекту (AGI) приблизно через 2-3 роки. Альтман і Амодеї можуть бути сказані як дві найзалежніші особи від священності „гіркої релігії“. Всі їхні стимули схиляють до надмірних зобов'язань, створення найбільшої метушні, щоб накопичити капітал у цій грі, яка майже повністю контролюється економією масштабу. Якщо закон розширення набору не є „Альфою та Омегою“, початком і кінцем, тоді для чого вам потрібні 22 мільярди доларів? Колишній головний науковець OpenAI Ілля Сутскевер дотримується іншого набору принципів. Він разом з іншими дослідниками (включаючи багатьох з OpenAI, згідно з нещодавно витоками інформації) вважає, що розширення набору наближається до межі. Ця група вважає, що для підтримки прогресу та впровадження AGI у реальний світ необхідні нові наукові дослідження. Сутскевер обґрунтовано вказує, що постійна концепція розширення набору команди Альтмана є економічно недоцільною. Як і в штучному...

#AI