æ°æïŒJeff Amico
çŒèŻïŒæ·±æœź TechFlow
ćŒèš
ćšæ°ć ç«æ æéŽïŒFolding@home ććŸäșäžäžȘé性éçšçąăèŻ„ç 究éĄčçźè·ćŸäș 2.4 exaFLOPS çèźĄçźèœćïŒç±ć šç 200 äžć°ćżæżè èźŸć€æäŸăèżä»ŁèĄšäșćœæ¶äžçäžæć€§è¶ çș§èźĄçźæșçćäșćć€çèœćïŒäœżç§ćŠćź¶èœć€ć€§è§æšĄæšĄæ COVID èçœèŽšćšæăä»ä»Źçć·„äœæšćšäșæ仏ćŻčç æŻćć ¶ç çæșć¶ççè§ŁïŒć°€ć ¶æŻćšç«æ ćæă
Folding@home çšæ·çć šçććžïŒ2021
Folding@home ćșäșćżæżèźĄçźçæ äč ććČïŒéĄčçźéèżäŒć èźĄçźè”æșæ„è§Łćłć€§è§æšĄéźéąăèżäžȘæłæłćš 1990 ćčŽä»Łç SETI@home äžćŸć°äșćčżæłć łæłšïŒèŻ„éĄčçźæ±éäșè¶ èż 500 äžć°ćżæżè èźĄçźæș仄毻æŸć€æçćœăæ€ćïŒèżäžçćż”ć·Čèą«ćșçšäșć€äžȘéąćïŒć æŹć€©äœç©çćŠăććçç©ćŠăæ°ćŠăćŻç ćŠćæžžæăćšæŻç§æ ć”äžïŒéäœćéćąćŒșäșćäžȘéĄčçźçèœćïŒèżèżè¶ ćșäșä»ä»ŹćçŹèœć€ćźç°çèćŽăèżæšćšäșèżæ„ïŒäœżç 究èœć€ä»„æŽćŒæŸććäœçæčćŒèżèĄă
èźžć€äșșæłç„éæ仏æŻćŠćŻä»„ć°èżäžäŒć æšĄććșçšäșæ·±ćșŠćŠäč ăæąć„èŻèŻŽïŒæ仏èœćŠćšć€§äŒäžèźç»äžäžȘ性ćç„ç»çœç»ïŒćæČżæšĄćèźç»æŻäșșç±»ććČäžèźĄçźæćŻéçä»»ćĄäčäžăäžèźžć€ @home éĄčçźäžæ ·ïŒçźćçææŹè¶ ćșäșćȘææ性ćäžè æèœæżæ çèćŽăèżćŻèœäŒé»çąæȘæ„çèżć±ïŒć äžșæ仏äŸè”äșè¶æ„è¶ć°çć Źćžæ„毻æŸæ°ççȘç Žăèżäčć°æ仏ç AI çł»ç»çæ§ć¶æéäžćšć°æ°äșșæäžăæ èźșäœ ćŻčèżéĄčææŻççæłćŠäœïŒèżéœæŻäžäžȘćŒćŸć łæłšçæȘæ„ă
性ć€æ°æčèŻè é©łæ„äșć»äžćżćèźç»çæłæłïŒèź€äžșäžćœćçèźç»ææŻäžć Œćźčăç¶èïŒèżç§è§çčć·Čç»è¶æ„è¶èżæ¶ăæ°çææŻć·Čç»ćșç°ïŒèœć€ćć°èçčéŽçé俥éæ±ïŒä»èć èźžćšçœç»èżæ„äžäœłçèźŸć€äžé«æèźç»ăèżäșææŻć æŹ DiLoCo ă SWARM Parallelism ă lo-fi ććŒæçŻćąäžćșçĄæšĄćçćæŁèźç»çć€äžȘææŻăć ¶äžèźžć€ć ·æćźčéæ§ïŒćč¶æŻæćŒæèźĄçźăèżæäžäșæ°æ¶æäžäžșć»äžćżćçœç»èźŸèźĄïŒć æŹ DiPaCo ćć»äžćżćæ··ćäžćź¶æšĄćă
æ仏èżçć°ćç§ć ćŻćèŻćŒć§æçïŒäœżćŸçœç»èœć€ćšć šçèćŽć ćè°è”æșăèżäșææŻæŻææ°ć莧ćžăè·šćąæŻä»ćéąæ”ćžćșçćșçšćșæŻăäžæ©æçćżæżéĄčçźäžćïŒèżäșçœç»èœć€æ±èæäșșçèźĄçźèœćïŒéćžžæŻçźćèźŸæłçæ性äșèźç»éçŸ€ć€§ć äžȘæ°éçș§ă
èżäșèŠçŽ ć ±ćææäșæ°çæšĄćèźç»èćŒăèżç§èćŒć ćć©çšć šççèźĄçźè”æșïŒć æŹćŠæèżæ„ćšäžè”·ćŻä»„äœżçšç性éèŸčçŒèźŸć€ăèżć°éèżćŒć „æ°çç«äșæșć¶æ„éäœć€§ć€æ°èźç»ć·„äœèŽèœœçææŹăćźèżćŻä»„è§Łéæ°çèźç»ćœąćŒïŒäœżćŸæšĄććŒćććŸćäœćæšĄććïŒèäžæŻć€ç«ććäžçæčćŒăæšĄććŻä»„ä»ć€§äŒäžè·ćèźĄçźćæ°æźïŒćźæ¶ćŠäč ăäžȘäșșćŻä»„æ„æä»ä»Źæćć»șæšĄćçäžéšćăç 究äșșćäčćŻä»„éæ°ć ŹćŒćäș«æ°éąçç 究ææïŒæ ééèżèŽ§ćžćä»ä»Źçćç°æ„ćŒ„èĄ„é«æçèźĄçźéąçźă
æŹæ„ćèćŻäș性ćæšĄćèźç»çç°ç¶ćçžć łææŹăćźćéĄŸäș仄ćŸçććžćŒèźĄçźćȘćââä» SETI ć° Folding ćć° BOINCââ仄æ€äžșç”ææąçŽąæżä»Łè·ŻćŸăæ„ćèźšèźșäșć»äžćżćèźç»çććČææïŒćč¶èœŹććŻèœæć©äșć æèżäșææçææ°çȘç ŽăæćïŒćźæ»ç»äșæȘæ„çæșéäžææă
ćæČżæšĄćèźç»çç°ç¶
ćæČżæšĄćèźç»çææŹćŻčé性ććäžè èèšć·Čç»äžćŻæżćăèżäžȘè¶ćżćč¶äžæ°éČïŒäœæ čæźćźé æ ć”ïŒæ ć”æŁćšććŸæŽć äž„éïŒć äžșćæČżćźéȘ柀äžææææ©ć±ćèźŸăæźæ„éïŒOpenAI ä»ćčŽćšèźç»æčéąè±èŽčè¶ èż 30 äșżçŸć ăAnthropic éąæ”ć° 2025 ćčŽïŒæ仏ć°ćŒć§èżèĄ 100 äșżçŸć çèźç»ïŒè 1000 äșżçŸć çæšĄćäčäžäŒć€Șèżă
èżäžè¶ćżćŻŒèŽèĄäžçéäžćïŒć äžșćȘæć°æ°ć ćź¶ć Źćžèœć€æżæ ćäžçèŽčçšăèżćŒćäșæȘæ„çæ žćżæżçéźéąââæ仏æŻćŠèœæ„ćææéąć ç AI çł»ç»ç±äžäž€ćź¶ć Źćžæ§ć¶çć±éąïŒèżäčéć¶äșèżć±éćșŠïŒèżäžçčćšç 究瀟ćșäžæŸèæè§ïŒć äžșèŸć°çćźéȘ柀æ æłæżæ æ©ć±ćźéȘæéçèźĄçźè”æșăèĄäžéąćŻŒè 仏äčć€æŹĄæć°èżäžçčïŒ
Meta ç Joe SpisakïŒèŠçæŁçè§Ł [æšĄć] æ¶æçèœćïŒäœ ćż éĄ»ćšè§æšĄäžèżèĄæąçŽąïŒæèź€äžșèżæŁæŻćœćçæçł»ç»äžæçŒș怱çăćŠæäœ ççćŠæŻçââćŠæŻçæćŸć€æ°ćșçäșșæïŒäœä»ä»ŹçŒșäčèźĄçźè”æșçèźżéźïŒèżć°±æäșäžäžȘéźéąïŒć äžșä»ä»ŹæèżäșäŒć€§çæłæłïŒćŽæČĄæçæŁä»„æéæ°Žćčłćźç°èżäșæłæłçéćŸă
Together ç Max RyabininïŒćŻčæèŽ”çĄŹä»¶çéæ±ç»ç 究瀟ćș枊æ„äșćŸć€§ććă性ć€æ°ç 究äșșćæ æłćäžć€§ćç„ç»çœç»ćŒćïŒć äžșèżèĄćż èŠçćźéȘćŻčä»ä»ŹèèšææŹèżé«ăćŠææ仏继ç»éèżæ©ć€§æšĄćè§æšĄæ„ćąć ć ¶ć€§ć°ïŒæç»èœć€èżèĄç«
Google ç Francois CholletïŒæ仏ç„é性èŻèšæšĄć (LLMs) ć°æȘćźç°éçšäșșć·„æșèœ (AGI)ăäžæ€ćæ¶ïŒæ AGI ćć±çèżć±ć·Čç»ćæ»ăæ仏ćšć€§èŻèšæšĄćäžæéąäžŽçć±éæ§äžäșćčŽćéąäžŽçć±éæ§ćźć šçžćăæ仏éèŠæ°çæłæłćçȘç Žăæèź€äžșäžäžäžȘçȘç ŽćŸćŻèœæ„èȘć€éšćąéïŒèææ性ććźéȘ柀ććżäșèźç»æŽć€§ç性èŻèšæšĄćă äžäșäșșćŻčèżäșæ 濧ææçæćșŠïŒèź€äžș祏件æčèżćäșèźĄçźè”æŹæŻćșć°è§ŁćłèżäžȘéźéąăäœèżäŒŒäčäžć€Șç°ćźăäžæčéąïŒć°æŹććčŽæ«ïŒæ°äžä»Ł Nvidia èŻçç FLOP æ°éć°ć€§ćč ćąć ïŒćŻèœèŸŸć°ä»ć€© H100 ç 10 ćăèżć°äœżæŻ FLOP çä»·æ Œäžé 80-90%ăćæ ·ïŒéąèźĄć°æŹććčŽæ«ïŒæ» FLOP äŸćșć°ćąć çșŠ 20 ćïŒćæ¶æčćçœç»ćçžć łćșçĄèźŸæœăææèżäșéœć°æé«æŻçŸć çèźç»æçă
æ„æșïŒSemiAnalysis AI Cloud TCO æšĄć
äžæ€ćæ¶ïŒæ» FLOP éæ±äčć°ć€§ćč äžćïŒć äžșćźéȘ柀ćžæèżäžæ„æ©ć€§è§æšĄăćŠææç»ććčŽçèźç»èźĄçźè¶ćżäżæäžćïŒć° 2030 ćčŽćæČżèźç»ç FLOPs éąèźĄć°èŸŸć°çșŠ 2e29ăèżèĄèżç§è§æšĄçèźç»ć€§çșŠéèŠ 2000 äžäžȘ H100 çæ GPUïŒäŸæźćœćçèźç»èżèĄæ¶éŽćć©çšçăćèźŸèżäžéąćä»æć€äžȘćæČżćźéȘ柀ïŒæ»æéç FLOPS æ°éć°äŒæŻèżäžȘæ°ćçć ćïŒć äžșæŽäœäŸćșć°ćšćźä»ŹäčéŽćé ăEpochAI éąæ”ć°éŁæ¶æ仏éèŠć€§çșŠ 1 äșżäžȘ H100 çæ GPUïŒçșŠäžș 2024 ćčŽćș莧éç 50 ćăSemiAnalysis äčććșäș类䌌çéąæ”ïŒèź€äžșćæČżèźç»éæ±ć GPU äŸćșćšæ€æéŽć€§èŽćæ„ćąéżă
äș§èœç¶ć”ćŻèœäŒć ć€ç§ćć ććŸæŽć çŽ§ćŒ ăäŸćŠïŒćŠæć¶é ç¶éąć»¶èżäșéąèźĄçćș莧ćšæïŒèżç§æ ć”æŻćžžæçäșăæè ćŠææ仏æȘèœçäș§è¶łć€çèœæșæ„äžșæ°æźäžćżäŸç”ăćæè ćŠææ仏ćšć°èżäșèœæșæ„æșèżæ„ć°ç”çœæčéąéć°ć°éŸăæè ćŠæćŻčè”æŹæŻćșçæ„ç查æ„æç»ćŻŒèŽèĄäžçŒ©ćè§æšĄïŒççć çŽ ăćšæć„œçæ ć”äžïŒæ仏ćœćçæčæłćȘèœèź©ć°æ°ć Źćžç»§ç»æšćšç 究çèżć±ïŒèèżćŻèœèżäžć€ă
æŸç¶ïŒæ仏éèŠäžç§æ°çæčæłăèżç§æčæłäžéèŠäžææ©ć±æ°æźäžćżăè”æŹæŻćșćèœæșæ¶èæ„毻æŸäžäžäžȘçȘç ŽïŒèæŻé«æć©çšæ仏ç°æçćșçĄèźŸæœïŒèœć€éçéæ±çæłąćšç”掻æ©ć±ăèżć°èź©ç 究äžææŽć€ćźéȘçćŻèœïŒć äžșèźç»èżèĄäžćéèŠçĄźäżäșżäžçŸć èźĄçźéąçźçæè”ćæ„ăäžæŠæè±èżäžéć¶ïŒæ仏ćŻä»„è¶ è¶ćœćç性èŻèšæšĄć (LLM) æšĄćŒïŒæŁćŠèźžć€äșșæèź€äžșçïŒćźç°éçšäșșć·„æșèœ (AGI) æŻćż èŠçăäžșäșçè§Łèżç§æżä»ŁæčæĄćŻèœćç°çæ ·ćïŒæ仏ćŻä»„ä»èżć»çććžćŒèźĄçźćźè·”äžæ±Čćç”æă
矀äœèźĄçźïŒçźćČ
SETI@home ćš 1999 ćčŽæźćäșèżäžæŠćż”ïŒć èźžæ°çŸäžćäžè ćææ çșżç”俥ć·ïŒćŻ»æŸć€ææșæ §ăSETI ä» Arecibo æèżéæ¶éç”çŁæ°æźïŒć°ć ¶ćæè„ćčČæčæŹĄïŒćč¶éèżäșèçœćéç»çšæ·ăçšæ·ćšæ„ćžžæŽ»ćšäžćææ°æźïŒćč¶ć°ç»æćéćăçšæ·äčéŽæ éæČéïŒæčæŹĄćŻä»„çŹç«ćźĄæ žïŒä»èćźç°é«ćșŠçćč¶èĄć€çăćšć ¶ć· ćł°æ¶ć»ïŒSETI@home æ„æè¶ èż 500 äžććäžè ïŒć€çèœćè¶ èżćœæ¶æ性çè¶ çș§èźĄçźæșăćźæç»äș 2020 ćčŽ 3 æć łéïŒäœćźçæćæżć±äșéćçćżæżèźĄçźèżćšă
Folding@home ćš 2000 ćčŽć»¶ç»äșèżäžçćż”ïŒć©çšèŸčçŒèźĄçźæšĄæéżć°èšæ”·é»ç ăççććžéæŁźç ççŸç äžçèçœèŽšæć ăćżæżè ćšäžȘäșșç”èçç©șéČæ¶éŽèżèĄèçœèŽšæšĄæïŒćžźć©ç 究äșșćç 究èçœèŽšćŠäœéèŻŻæć ćč¶ćŻŒèŽçŸç ăćšć ¶ććČçäžćæ¶éŽæź”ïŒć ¶èźĄçźèœćè¶ èżäșćœæ¶æ性çè¶ çș§èźĄçźæșïŒć æŹćš 2000 ćčŽä»Łćæć COVID æéŽïŒćœæ¶ćźæäžș珏äžäžȘè¶ èżäž exaFLOPS çććžćŒèźĄçźéĄčçźăèȘæç«ä»„æ„ïŒFolding çç 究äșșćć·ČćèĄšè¶ èż 200 çŻćèĄèŻćźĄèźșæïŒæŻäžçŻéœäŸè”äșćżæżè çèźĄçźèœćă
äŒŻć ć©ćŒæŸçœç»èźĄçźćșçĄèźŸæœ (BOINC) ćš 2002 ćčŽæźćäșèżäžçćż”ïŒæäŸäșäžäžȘäŒć èźĄçźćčłć°ïŒçšäșćç§ç 究éĄčçźăćźæŻæ SETI@home ć Folding@home çć€äžȘéĄčçźïŒä»„ććšć€©äœç©çćŠăććçç©ćŠăæ°ćŠććŻç ćŠçéąćçæ°éĄčçźăć° 2024 ćčŽïŒBOINC ććșäș 30 äžȘæŁćšèżèĄçéĄčçźïŒä»„ćèż 1,000 çŻćèĄšçç§ćŠèźșæïŒćć©çšć ¶èźĄçźçœç»äș§çă
ćšç§ç éąćäčć€ïŒćżæżèźĄçźèą«çšäșèźç»ćŽæŁïŒLeelaZeroăKataGoïŒććœé è±ĄæŁïŒStockfishăLeelaChessZeroïŒçæžžæćŒæăLeelaZero éèżćżæżèźĄçźä» 2017 ćčŽć° 2021 ćčŽèżèĄèźç»ïŒäœżć ¶èœć€äžèȘć·±äžæŁè¶ èżäžćäžć±ïŒćé äșä»ć€©æćŒșçćŽæŁćŒæäčäžă类䌌ć°ïŒStockfish èȘ 2013 ćčŽä»„æ„äžçŽćšćżæżçœç»äžæç»èźç»ïŒäœżć ¶æäžșæćæŹąèżćæćŒș性çćœé è±ĄæŁćŒæäčäžă
ć łäșæ·±ćșŠćŠäč çææ
äœæŻæ仏èœćŠć°èżäžæšĄććșçšäșæ·±ćșŠćŠäč ïŒæ仏æŻćŠćŻä»„ć°äžçćć°çèŸčçŒèźŸć€èçœïŒćć»șäžäžȘäœææŹçć Źć ±èźç»é矀ïŒæ¶èŽčè 祏件ââä»èčæçŹèź°æŹć° Nvidia æžžææŸćĄââćšæ·±ćșŠćŠäč æčéąçæ§èœè¶æ„è¶ćșèČăćšèźžć€æ ć”äžïŒèżäșèźŸć€çæ§èœçèłè¶ èżäșæ°æźäžćżæŸćĄçæŻçŸć æ§èœă
ç¶èïŒèŠææć©çšèżäșè”æșćšććžćŒçŻćąäžïŒæ仏éèŠć æćç§ææă
éŠć ïŒćœćçććžćŒèźç»ææŻćèźŸèçčäčéŽććšéąçčçé俥ă
ćœćæć èżçæšĄćć·Čç»ććŸćŠæ€ćș性ïŒä»„èłäșèźç»ćż éĄ»èą«æćć°æ°ćäžȘ GPU äčéŽăèżæŻéèżć€ç§ćč¶èĄćææŻæ„ćźç°çïŒéćžžæŻćšćŻçšç GPU äčéŽæćæšĄćăæ°æźéæćæ¶æć䞀è ăèżéćžžéèŠé«ćžŠćźœćäœć»¶èżççœç»ïŒćŠćèçčć°éČçœźïŒçćŸ æ°æźć°æ„ă
äŸćŠïŒććžćŒæ°æźćč¶èĄææŻ (DDP) ć°æ°æźéćé ć°ćäžȘ GPU äžïŒæŻäžȘ GPU ćšć ¶çčćźçæ°æźçæź”äžèźç»ćźæŽçæšĄćïŒç¶ćć ±äș«ć ¶æąŻćșŠæŽæ°ïŒä»„çæćäžȘæ„éȘ€çæ°æšĄćæéăèżéèŠçžćŻčæéçé俥ćŒéïŒć äžșèçčä» ćšæŻæŹĄććäŒ æćć ±äș«æąŻćșŠæŽæ°ïŒćč¶äžéäœé俥æäœćŻä»„éšćäžèźĄçźéć ăç¶èïŒèżç§æčæłä» éçšäșèŸć°çæšĄćïŒć äžșćźèŠæ±æŻäžȘ GPU ćšć ćäžććšæŽäžȘæšĄćçæéăæżæŽ»ćŒćäŒććšç¶æăäŸćŠïŒGPT-4 ćšèźç»æ¶éèŠè¶ èż 10TB çć ćïŒèćäžȘ H100 ä» æ 80GBă
äžșäșè§ŁćłèżäžéźéąïŒæ仏èżäœżçšćç§ææŻćŻčæšĄćèżèĄæćïŒä»„äŸżćš GPU äčéŽèżèĄćé ăäŸćŠïŒćŒ éćč¶èĄææŻ (tensor parallelism) ćšćäžȘć±ć æććäžȘæéïŒäœżćŸæŻäžȘ GPU æ§èĄćż èŠçæäœćč¶ć°èŸćșäŒ éç»ć ¶ä»ç GPUăèżéäœäșæŻäžȘ GPU çć ćéæ±ïŒäœéèŠćźä»ŹäčéŽèżèĄæç»çé俥ćŸæ„ïŒć æ€éèŠé«ćžŠćźœăäœć»¶èżçèżæ„仄æé«æçă
æ”æ°Žçșżćč¶èĄææŻ (pipeline parallelism) ć°æšĄćçć±ćé ć°ćäžȘ GPU äžïŒæŻäžȘ GPU æ§èĄć ¶ć·„äœćč¶äžæ”æ°ŽçșżäžçäžäžäžȘ GPU ć ±äș«æŽæ°ăć°œçźĄèżæéçé俥éæŻćŒ éćč¶èĄæŽć°ïŒäœćŻèœäŒćșç°ăæ°æłĄăïŒäŸćŠïŒç©șéČæ¶éŽïŒïŒćšèżç§æ ć”äžïŒäœäșæ”æ°Žçșżćéąç GPU äŒçćŸ æ„èȘćéą GPU ç俥æŻïŒä»„äŸżćŒć§ć ¶ć·„äœă
äžșäșè§ŁćłèżäșææïŒćć±ćșćç§ææŻăäŸćŠïŒZeROïŒé¶ćäœäŒććšïŒæŻäžç§ć ćäŒćææŻïŒćźéèżćąć é俥ćŒéæ„ćć°ć ćäœżçšïŒä»èäœżæŽć€§çæšĄćèœć€ćšçčćźèźŸć€äžèżèĄèźç»ăZeRO éèżćš GPU äčéŽććČæšĄććæ°ăæąŻćșŠćäŒććšç¶ææ„éäœć ćéæ±ïŒäœäŸè”äș性éçé俥ïŒä»„äŸżèźŸć€èœć€è·ćććČçæ°æźăćźæŻæ”èĄææŻćŠćźć šćçæ°æźćč¶èĄ (FSDP) ć DeepSpeed çćșçĄæčæłă
èżäșææŻéćžžćšć€§æšĄćèźç»äžç»ćäœżçšïŒä»„æ性ćè”æșçć©çšæçïŒèżèą«ç§°äžș 3D ćč¶èĄăćšèżç§é çœźäžïŒćŒ éćč¶èĄææŻ (tensor parallelism) éćžžçšäșćšćäžȘæćĄćšć ć°æéćé ć°ćäžȘ GPU äžïŒć äžșćšæŻäžȘèą«ććČçć±äčéŽéèŠć€§éé俥ăç¶ćïŒæ”æ°Žçșżćč¶èĄææŻ (pipeline parallelism) èą«çšæ„ćšäžćæćĄćšäčéŽïŒäœćšæ°æźäžćżçćäžćČ汿ć ïŒćé ć±ïŒć äžșćźæéçé俥éèŸć°ăæ„çïŒæ°æźćč¶èĄææŻ (data parallelism) æćźć šćçæ°æźćč¶èĄææŻ (FSDP) èą«çšæ„ćšäžćæćĄćšćČ汿äčéŽæćæ°æźéïŒć äžșćźćŻä»„éèżćŒæ„ć ±äș«æŽæ°ć / æćçŒ©æąŻćșŠæ„éćșæŽéżççœç»ć»¶èżăMeta äœżçšèżç§ç»ćæčæłæ„èźç» Llama 3.1ïŒćŠäžéąçćŸç€șæç€șă
èżäșæčæłç»ć»äžćżćèźç»çœç»ćžŠæ„äșæ žćżææïŒèżäșçœç»äŸè”äșéèżïŒéćșŠæŽæ ąäžæłąćšæŽć€§çïŒæ¶èŽčçș§äșèçœèżæ„çèźŸć€ăćšèżç§çŻćąäžïŒé俥ææŹćŸćż«ć°±äŒè¶ èżèŸčçŒèźĄçźćžŠæ„çæ¶çïŒć äžșèźŸć€éćžžæŻç©șéČçïŒçćŸ æ°æźć°èŸŸă仄äžäžȘçźćçäŸćèŻŽæïŒććžćŒæ°æźćč¶èĄèźç»äžäžȘć ·æ 10 äșżćæ°çćçČŸćșŠæšĄćïŒæŻäžȘ GPU ćšæŻäžȘäŒćæ„éȘ€äžéèŠć ±äș« 2GB çæ°æźăä»„ć žćçäșèçœćžŠćźœïŒäŸćŠ 1 ćć äœæŻç§ïŒäžșäŸïŒćèźŸèźĄçźäžé俥äžéć ïŒäŒ èŸæąŻćșŠæŽæ°èłć°éèŠ 16 ç§ïŒćŻŒèŽæŸèçç©șéČăććŒ éćč¶èĄææŻ (tensor parallelism) èżæ ·çææŻïŒéèŠæŽć€çé俥ïŒćœç¶äŒèĄšç°ćŸæŽçłă
ć ¶æŹĄïŒćœćçèźç»ææŻçŒșäčćźčéèœćăćä»»äœććžćŒçł»ç»äžæ ·ïŒéçè§æšĄçćąć ïŒèźç»é矀ććŸæŽćźčæćçæ éăç¶èïŒèżäžéźéąćšèźç»äžæŽć äž„éïŒć äžșæ仏çźćçææŻäž»èŠæŻćæ„çïŒèżæćłç GPU ćż éĄ»ććć·„äœä»„ćźææšĄćèźç»ăæćäžäžç GPU äžćäžȘ GPU çæ éäŒćŻŒèŽæŽäžȘèźç»èżçšćæąïŒèż«äœżć ¶ä» GPU ä»ć€ŽćŒć§èźç»ăćšæäșæ ć”äžïŒGPU ćč¶äžäŒćźć šæ éïŒèæŻç±äșćç§ćć ććŸèżçŒïŒèżèćæ ąé矀äžæćäžäžć ¶ä» GPU çéćșŠăèèć°ćœä»é矀çè§æšĄïŒèżćŻèœæćłçæ°ćäžć°æ°äșżçŸć çéąć€ææŹă
Meta ćšä»ä»Źç Llama èźç»èżçšäžèŻŠç»éèż°äșèżäșéźéąïŒä»ä»Źç»ćäșè¶ èż 400 æŹĄæć€äžæïŒćčłćæŻć€©çșŠ 8 æŹĄäžæăèżäșäžæäž»èŠćœć äș祏件éźéąïŒäŸćŠ GPU æäž»æș祏件æ éăèżćŻŒèŽä»ä»Źç GPU ć©çšçä» äžș 38-43%ăOpenAI ćš GPT-4 çèźç»èżçšäžèĄšç°æŽć·źïŒä» äžș 32-36%ïŒèżäčæŻç±äșèźç»èżçšäžæ ééąçčă
æąć„èŻèŻŽïŒćæČżćźéȘ柀仏ćšćźć šäŒćççŻćąäžïŒć æŹć莚çăæć èżç祏件ăçœç»ăç”æșćć·ćŽçł»ç»ïŒèżèĄèźç»æ¶ïŒä»ç¶éŸä»„èŸŸć° 40% çć©çšçăèżäž»èŠćœć äș祏件æ éćçœç»éźéąïŒèćšèŸčçŒèźç»çŻćąäžïŒèżäșéźéąäŒæŽć äž„éïŒć äžșèźŸć€ćšć€çèœćăćžŠćźœă滶èżććŻé æ§æčéąććšäžćèĄĄăæŽäžçšèŻŽïŒć»äžćżćçœç»æćæ¶æèĄäžșè çäŸ”ćźłïŒä»ä»ŹćŻèœćșäșćç§ćć èŻćŸç ŽćæŽäœéĄčçźæćšçčćźć·„äœèŽèœœäžäœćŒăćłäœżæŻçșŻćżæżè çœç» SETI@homeïŒäčæŸćșç°èżäžććäžè çäœćŒç°è±Ąă
珏äžïŒćæČżæšĄćèźç»éèŠć€§è§æšĄçèźĄçźèœćăèœç¶ć SETI ć Folding èżæ ·çéĄčçźèŸŸć°äș什äșșć°è±Ąæ·±ć»çè§æšĄïŒäœäžćœä»ćæČżèźç»æéçèźĄçźèœćçžæŻïŒćźä»Źçžćœąè§ç»ăGPT-4 ćšäžäžȘç± 20,000 äžȘ A100 ç»æçé矀äžèźç»ïŒć ¶ćł°ćŒććéäžșćçČŸćșŠç 6.28 ExaFLOPSăèżæŻ Folding@home ćšć ¶ćł°ćŒæ¶çèźĄçźèœćć€ćșäžćăLlama 405b äœżçš 16,000 äžȘ H100 èżèĄèźç»ïŒćł°ćŒććéäžș 15.8 ExaFLOPSïŒæŻ Folding ćł°ćŒç 7 ćăéçć€äžȘćźéȘćź€èźĄćæć»șè¶ èż 100,000 äžȘ H100 çé矀ïŒèżäžć·źè·ćȘäŒèżäžæ„æ©ć€§ïŒæŻäžȘé矀çèźĄçźèœćé«èŸŸæäșșç 99 ExaFLOPSă
èżćŸæéçïŒć äžș @home éĄčçźæŻćżæżè 驱ćšçăèŽĄçźè æè” äșä»ä»Źçć ććć€çćšćšæïŒćč¶æżæ äșçžć łææŹăèżèȘç¶éć¶äșćźä»ŹçžćŻčäșćäžéĄčçźçè§æšĄă
æèżçèżć±
èœç¶èżäșéźéąćšććČäžäžçŽć°æ°çć»äžćżćèźç»ć·„äœïŒäœćźä»ŹäŒŒäčäžćäžćŻéŸè¶ăæ°çèźç»ææŻć·Čç»ćșç°ïŒèœć€ćć°èçčéŽçé俥éæ±ïŒä»èćšäșèçœèżæ„çèźŸć€äžèżèĄé«æèźç»ăèżäșææŻćŸć€æșèȘ性ććźéȘ柀ïŒćźä»ŹćžæäžșæšĄćèźç»ćąć æŽć€§çè§æšĄïŒć æ€éèŠè·šæ°æźäžćżçé«æé俥ææŻăæ仏èżçć°äșćźčéèźç»æčæłćć ćŻæżć±çł»ç»çèżć±ïŒèżäșæčæłćŻä»„æŻææŽć€§è§æšĄçèźç»ćšèŸčçŒçŻćąäžèżèĄă
é«æé俥ææŻ
DiLoCo æŻè°·æèżæçç 究ïŒćźéèżćšèźŸć€éŽäŒ éæŽæ°çæšĄćç¶æäčćèżèĄæŹć°äŒćïŒä»èćć°äșé俥ćŒéăä»ä»ŹçæčæłïŒćșäșæ©æçèéŠćŠäč ç 究ïŒæŸç€șćșäžäŒ ç»ćæ„èźç»çžćœçææïŒćæ¶èçčäčéŽçé俥ééäœäș 500 ćăæ€ćïŒèŻ„æčæłć·Čèą«ć ¶ä»ç 究è ć€ć¶ïŒćč¶æ©ć±èłèźç»æŽć€§æšĄćïŒè¶ èż 10 äșżäžȘćæ°ïŒăćźèżæ©ć±ć°ćŒæ„èźç»ïŒèżæćłçèçčćŻä»„ćšäžćæ¶éŽć ±äș«æąŻćșŠæŽæ°ïŒèäžæŻäžæŹĄæ§ć ±äș«æææŽæ°ăèżæŽć„œć°éćșäșć€çèœććçœç»éćșŠććŒçèŸčçŒçĄŹä»¶ă
ć ¶ä»æ°æźćč¶èĄæčæłïŒćŠ lo-fi ć DisTrOïŒæšćšèżäžæ„ćć°é俥ææŹăLo-fi æćșäșćźć šæŹć°ćŸźè°çæčæłïŒèżæćłçèçčçŹç«èźç»ïŒćȘćšæćäŒ éæéăèżç§æčæłćšćŸźè°è¶ èż 10 äșżćæ°çèŻèšæšĄćæ¶ïŒæ§èœäžćșćçžćœïŒćæ¶ćźć šæ¶é€äșé俥ćŒéăćšäžä»œćæ„æ„ćäžïŒDisTrO 棰称éçšäșäžç§æ°ćçććžćŒäŒććšïŒä»ä»Źèź€äžșćŻä»„ć°é俥éæ±éäœćć°äșäžȘæ°éçș§ïŒć°œçźĄèŻ„æčæłć°ćŸ çĄźèź€ă
æ°çæšĄććč¶èĄæčæłäčć·Čç»ćșç°ïŒèżäœżćŸćźç°æŽć€§çè§æšĄæäžșćŻèœăDiPaCoïŒćæ ·æ„èȘè°·æïŒć°æšĄćććäžșć€äžȘæšĄćïŒæŻäžȘæšĄćć ć«äžćçäžćź¶æšĄćïŒä»„äŸżäșçčćźä»»ćĄçèźç»ăç¶ćïŒèźç»æ°æźéèżăè·ŻćŸăèżèĄćçïŒèżäșè·ŻćŸæŻæŻäžȘæ°æźæ ·æŹćŻčćșçäžćź¶ćșćăç»ćźäžäžȘćçïŒæŻäžȘć·„äœè ć äčćŻä»„çŹç«èźç»çčćźçè·ŻćŸïŒé€äșć ±äș«æšĄćæéçé俥ïŒèżéšćç± DiLoCo ć€çăèżç§æ¶æć°ćäșżćæ°æšĄćçèźç»æ¶éŽćć°äșè¶ èżäžćă
SWARM ćč¶èĄæ§ććŒæçŻćąäžćșçĄæšĄćçć»äžćżćèźç» (DTFMHE) äčæćșäșæšĄććč¶èĄçæčæłïŒä»„ćšćŒæçŻćąäžćźç°ć€§æšĄćèźç»ăSWARM ćç°ïŒéçæšĄćè§æšĄçćąć ïŒçźĄéćč¶èĄæ§é俥çșŠæćć°ïŒèżäœżćŸćšèŸäœççœç»ćžŠćźœćæŽé«ç滶èżäžææèźç»æŽć€§æšĄćæäžșćŻèœăäžșäșćšćŒæçŻćąäžćșçšèżäžçćż”ïŒä»ä»ŹćšèçčäčéŽäœżçšäžŽæ¶ă知éèżæ„ăïŒèżäș知éćŻä»„ćšæŻæŹĄèżä»Łäžćźæ¶æŽæ°ăèżć èźžèçčć°ć ¶èŸćșćéć°ä»»äœäžäžäžȘ知éé¶æź”çćŻčçèçčăèżæćłçïŒćŠææäžȘćŻčçèçčæŻć ¶ä»èçčæŽćż«ïŒæè ä»»äœćäžè æćŒèżæ„ïŒèŸćșćŻä»„ćšæéæ°è·Żç±ïŒä»„äżèŻèźç»çæç»èżèĄïŒćȘèŠæŻäžȘé¶æź”èłć°æäžäžȘ掻è·ćäžè ăä»ä»Źäœżçšèżç§æčæłćšäœææŹçćŒæ GPU äžèźç»äžäžȘè¶ èż 10 äșżćæ°çæšĄćïŒćč¶äžäșèżéćșŠèŸæ ąïŒćŠäžćŸæç€șïŒă
DTFMHE ćæ ·æćșäșäžç§æ°éąçè°ćșŠçźæłïŒä»„ć知éćč¶èĄćæ°æźćč¶èĄïŒä»„ćš 3 äžȘ性æŽČçèźŸć€äžèźç»ć€§ćæšĄćăć°œçźĄä»ä»Źççœç»éćșŠæŻæ ć Deepspeed æ ą 100 ćïŒäœä»ä»ŹçæčæłéćșŠä» æŻćšæ°æźäžćżäœżçšæ ć Deepspeed æ ą 1.7-3.5 ćăäž SWARM 类䌌ïŒDTFMHE æŸç€șćșéçæšĄćè§æšĄćąć€§ïŒé俥ææŹćŻä»„ææéèïŒćłäœżćšć°çććžççœç»äžäčćæ ·éçšăèżäœżćŸæ仏èœć€éèżćç§ææŻć æèçčäčéŽèŸćŒ±çèżæ„ïŒć æŹćąć éèć±ç性ć°ćæŻäžȘ知éé¶æź”ćąć æŽć€ć±ă
æ éćźčé
äžèż°èźžć€æ°æźćč¶èĄæčæłé»èź€ć ·æćźčéèœćïŒć äžșæŻäžȘèçčéœćšć ćäžććšæŽäžȘæšĄćăèżç§ćäœéćžžæćłçïŒćłäœżć ¶ä»èçčćșç°æ éïŒèçčä»ç¶ćŻä»„çŹç«ć·„äœăèżćŻčäșć»äžćżćèźç»éćžžéèŠïŒć äžșèçčéćžžæŻäžćŻé çăćŒæçïŒçèłćŻèœććšæ¶æèĄäžșăç¶èïŒćŠćæèż°ïŒçșŻæ°æźćč¶èĄæčæłä» éçšäșèŸć°çæšĄćïŒć æ€æšĄć性ć°ćć°çœç»äžæć°èçčć ććźčéçć¶çșŠă
äžșäșè§Łćłäžèż°éźéąïŒäžäșäșșæćșäșéçšäșæšĄććč¶èĄïŒææ··ććč¶èĄïŒèźç»çćźčéææŻăSWARM éèżäŒć éæ©ć»¶èżèŸäœççšłćźćŻčçèçčæ„ćșćŻčćŻčçèçčæ éïŒćč¶ćšćçæ éæ¶éæ°è·Żç±çźĄéé¶æź”çä»»ćĄăć ¶ä»æčæłïŒćŠ OobleckïŒéçšç±»äŒŒçæčæłïŒéèżćć»șć€äžȘă知éæšĄæżăæ„æäŸćäœïŒä»„ćșćŻčéšćèçčæ éăć°œçźĄćšæ°æźäžćżèżèĄäșæ”èŻïŒOobleck çæčæłæäŸäșćŒș性çćŻé æ§äżèŻïŒèżäșäżèŻćæ ·éçšäșć»äžćżćçŻćąă
æ仏èżçć°äșäžäșæ°çæšĄćæ¶æïŒćŠć»äžćżćæ··ćäžćź¶æšĄć (Decentralized Mixture of Experts, DMoE)ïŒïŒçšäșæŻæć»äžćżćçŻćąäžçćźčéèźç»ăäžäŒ ç»çäžćź¶æ··ćæšĄć类䌌ïŒDMoE ç±ć€äžȘçŹç«çăäžćź¶ăçœç»ç»æïŒèżäșçœç»ććžćšäžç»ć·„äœè èçčäžăDMoE äœżçšććžćŒććžèĄšä»„ć»äžćżćæčćŒè·èžȘćæŽććŒæ„æŽæ°ăèŻ„æșć¶ïŒćš SWARM äžäčäœżçšïŒćŻčèçčæ éć ·æèŻć„œçæ”æćïŒć äžșćŠææäșèçčć€±èŽ„ææȘèœćæ¶ććșïŒćźćŻä»„ć°æäșäžćź¶æé€ćšćčłćèźĄçźäčć€ă
è§æšĄć
æćïŒćæŻçčćžć仄ć€Șćæéçšçć ćŻæżć±çł»ç»ćŻä»„ćžźć©ćźç°æéçè§æšĄăèżäž€äžȘçœç»éèżćèŽĄçźè æŻä»äžç§ćŻä»„éçéçšćąéżèćąćŒçæŹć°è”äș§æ„äŒć èźĄçźăèżäžȘèźŸèźĄéèżç»äșæ©æèŽĄçźè äž°ćć„ć±æ„æżć±ä»ä»ŹïŒćœçœç»èŸŸć°æć°ćŻèĄè§æšĄćïŒèżäșć„ć±ćŻä»„éæ„ćć°ă
祟ćźïŒèżç§æșć¶ććšćç§é·é±ïŒéèŠéżć ăć ¶äžæäž»èŠçé·é±æŻïŒèżćșŠæżć±äŸç»èæȘèœćžŠæ„çžćșçéæ±ăæ€ć€ïŒćŠæćșçĄçœç»äžć€ć»äžćżćïŒèżćŻèœćŒćç知éźéąăç¶èïŒćœèźŸèźĄćŸćœæ¶ïŒć»äžćżćæżć±çł»ç»ćŻä»„ćšèŸéżæ¶éŽć ćźç°ćŻè§çè§æšĄă
äŸćŠïŒæŻçčćžćčŽç”ćæ¶èçșŠäžș 150 ć€ȘçŠæ¶ (TWh)ïŒèżæŻçźćææäžçæ性 AI èźç»é矀çç”ćæ¶èé«ćș䞀äžȘæ°éçș§äčć€ïŒ100,000 äžȘ H100 ć šèŽè·èżèĄäžćčŽïŒăäœäžșćèïŒOpenAI ç GPT-4 ćš 20,000 äžȘ A100 äžèżèĄäșèźç»ïŒMeta çæè° Llama 405B æšĄććš 16,000 äžȘ H100 äžèżèĄäșèźç»ăćæ ·ïŒćšć ¶é«ćł°æïŒä»„ć€Șćçç”ćæ¶è性çșŠäžș 70 TWhïŒćæŁćšæ°çŸäžäžȘ GPU äčéŽăćłäœżèèć°æȘæ„ć ćčŽ AI æ°æźäžćżçćż«éćąéżïŒćèżäșæżć±èźĄçźçœç»ä»ć°ć€æŹĄè¶ è¶ć ¶è§æšĄă
ćœç¶ïŒćč¶éææèźĄçźéœæŻćŻæżæąçïŒèźç»çžćŻčäșæçżæçŹçčçéæ±ïŒéèŠèèăć°œçźĄćŠæ€ïŒèżäșçœç»ć±ç€șäșéèżèżäșæșć¶ćŻä»„ćźç°çè§æšĄă
æȘæ„çéè·Ż
ć°èżäșéšćèçł»ćšäžè”·ïŒæ仏ćŻä»„çć°ćèżçæ°éè·ŻçćŒç«Żă
ćŸćż«ïŒæ°çèźç»ææŻć°äœżæ仏èœć€è¶ ćșæ°æźäžćżçéć¶ïŒć äžșèźŸć€äžćéèŠć ±ćæŸçœźæèœćæ„äœçšăèżć°éèŠæ¶éŽïŒć äžșæ仏ćœćçć»äžćżćèźç»æčæłä»ć€äșèŸć°è§æšĄïŒäž»èŠćš 10 äșżć° 20 äșżäžȘćæ°çèćŽć ïŒæŻć GPT-4 èżæ ·çæšĄćć°ćŸć€ăæ仏éèŠèżäžæ„ççȘç ŽïŒä»„ćšäžçșçČć łéźć±æ§ïŒćŠé俥æçććźčéèœćïŒçæ ć”äžæćèżäșæčæłçè§æšĄăæè ïŒæ仏éèŠæ°çæšĄćæ¶æïŒèżäșæ¶æäžä»ć€©ç性ććäœæšĄćææäžćââćŻèœæŽć°ăæŽæšĄććïŒćšèŸčçŒèźŸć€äžèżèĄïŒèéćšäșç«Ż
æ èźșćŠäœïŒćŻä»„ćçć°éąæćšèżäžȘæčćäžäŒæèżäžæ„çèżć±ăæ仏ćœćæčæłçææŹæŻäžćŻæç»çïŒèżäžșćæ°æäŸäșćŒșççćžćșćšćăæ仏ć·Čç»çć°èżäžè¶ćżïŒć Apple èżæ ·çć¶é ćæŁćšæć»șæŽćŒș性çèŸčçŒèźŸć€ïŒä»„äŸżćšæŹć°èżèĄæŽć€çć·„äœèŽèœœïŒèäžæŻäŸè”äșç«Żăæ仏èżçć°ćŻčćŒæșè§ŁćłæčæĄçæŻæäžæćąć ââçèłćšć Meta èżæ ·çć Źćžć éšïŒä»„äżèżæŽć»äžćżćçç 究äžćŒćăèżäșè¶ćżéçæ¶éŽçæšç§»ćȘäŒć éă
äžæ€ćæ¶ïŒæ仏èżéèŠæ°ççœç»ćșçĄèźŸæœæ„èżæ„èŸčçŒèźŸć€ïŒä»„äŸżèœć€èżæ ·äœżçšćźä»ŹăèżäșèźŸć€ć æŹçŹèź°æŹç”èăæžžæć°ćŒæșïŒæç»çèłćŻèœæŻæ„æé«æ§èœæŸćĄć性ć ćçææșăèżć°äœżæ仏èœć€æć»șäžäžȘăć šçé矀ăïŒäœææŹăć§ç»ćšçșżçèźĄçźèœćïŒćŻä»„ćč¶èĄć€çèźç»ä»»ćĄăèżäčæŻäžäžȘć ·ææææ§çéźéąïŒéèŠćšć€äžȘéąćććŸèżć±ă
æ仏éèŠæŽć„œçè°ćșŠææŻæ„ćšćŒæçŻćąäžèżèĄèźç»ăçźćæČĄæä»»äœæčæłćŻä»„èȘćšćč¶èĄćæšĄć仄蟟ć°äŒćïŒçčć«æŻćšèźŸć€ćŻä»„éæ¶æćŒæèżæ„çæ ć”äžăèżæŻäŒćèźç»çć łéźäžäžæ„ïŒćæ¶äżçćșäșèŸčçŒçœç»çè§æšĄäŒćżă
æ仏èżćż 饻ćșćŻčć»äžćżćçœç»çäžèŹć€ææ§ăäžșäșæ性ćè§æšĄïŒçœç»ćșèŻ„æć»șäžșćŒæŸćèźźââäžć„æ ććæ什ïŒè§ćźćäžè äčéŽçäșćšïŒć°±ć TCP/IP èæŻçšäșæșćšćŠäč èźĄçźăèżć°äœżä»»äœé”ćŸȘçčćźè§èçèźŸć€èœć€èżæ„ć°çœç»ïŒæ èźșæ„æè ćäœçœźăćźèżçĄźäżçœç»äżæäžç«ïŒć èźžçšæ·èźç»ä»ä»ŹćæŹąçæšĄćă
èœç¶èżćźç°äșè§æšĄæ性ćïŒäœćźäčéèŠäžäžȘæșć¶æ„éȘèŻææèźç»ä»»ćĄçæŁçĄźæ§ïŒèäžäŸè”äșćäžćźäœăèżäžçčèłć łéèŠïŒć äžșććšćșæçäœćŒèŻ±ć ââäŸćŠïŒćŁ°ç§°èȘć·±ćźæäșæäžȘèźç»ä»»ćĄä»„è·ćŸæ„é ŹïŒäœćźé äžćč¶æČĄæćć°ăèèć°äžćèźŸć€é枞仄äžćæčćŒæ§èĄæșćšćŠäč æäœïŒèżäœżćŸäœżçšæ ćć€ć¶ææŻććŸéŸä»„éȘèŻæŁçĄźæ§ïŒć æ€èżć°€ć ¶ć ·ææææ§ăæŁçĄźè§ŁćłèżäžȘéźéąéèŠćšćŻç ćŠćć ¶ä»ćŠç§äžèżèĄæ·±ć „ç 究ă
ćčžèżçæŻïŒæ仏ćšææèżäșæčéąéœç»§ç»çć°èżć±ăäžèżć»ć ćčŽçžæŻïŒèżäșææ䌌äčäžćäžćŻéŸè¶ăäžæșäŒçžæŻïŒćźä»ŹäčæŸćŸçžćœćŸźć°ăGoogle ćšä»ä»Źç DiPaCo èźșæäžćŻčæ€èżèĄäșæäœłæ»ç»ïŒæćșć»äžćżćèźç»ææœćæç ŽçèŽćéŠæșć¶ïŒ
ććžćŒèźç»æșćšćŠäč æšĄćçèżć±ćŻèœäżèżćșçĄèźŸæœççźćć»șèźŸïŒæç»ćŻŒèŽèźĄçźè”æșçæŽćčżæłćŻçšăçźćïŒćșçĄèźŸæœæŻćŽç»èźç»ć€§ććäœæšĄćçæ ćæčæłèèźŸèźĄçïŒćæ¶æșćšćŠäč æšĄćçæ¶æäčæšćšć©çšćœćçćșçĄèźŸæœćèźç»æčæłăèżç§ćéŠćŸȘçŻćŻèœäœżç€Ÿćșé·ć „äžäžȘèŻŻćŻŒæ§çć±éšæć°ćŒïŒćłèźĄçźè”æșçéć¶è¶ èżäșćźé éèŠă
äčèźžæ什äșșć Žć„çæŻïŒç 究çćŻčè§Łćłèżäșéźéąççæ æ„çé«æ¶šăæä»Źćš Gensyn çćąéæŁćšæć»șäžèż°çœç»ćșçĄèźŸæœăć Hivemind ć BigScience èżæ ·çćąéćšćźè·”äžćșçšäșèźžć€èżäșææŻăć PetalsăsahajBERT ć Bloom èżæ ·çéĄčçźć±ç€șäșèżäșææŻçèœćïŒä»„ććŻčćșäș瀟ćșçæșćšćŠäč æ„çćąéżçć Žè¶Łăèżæèźžć€ć ¶ä»äșșäčćšæšćšç 究èżć±ïŒçźæ æŻć»șç«äžäžȘæŽćŒæŸăæŽćäœçæšĄćèźç»çæçł»ç»ăćŠææšćŻčèżéĄčć·„äœæć Žè¶ŁïŒèŻ·äžæ仏è系仄ćäžć ¶äžă