ę°ęļ¼Jeff Amico
ē¼čÆļ¼ę·±ę½® TechFlow
å¼čØ
åØę°å ē«ę ęé“ļ¼Folding@home åå¾äŗäøäøŖé大éēØē¢ćčÆ„ē ē©¶é”¹ē®č·å¾äŗ 2.4 exaFLOPS ēč®”ē®č½åļ¼ē±å Øē 200 äøå°åæęæč č®¾å¤ęä¾ćčæ代č”Øäŗå½ę¶äøēäøęå¤§č¶ ēŗ§č®”ē®ęŗēåäŗåå¤ēč½åļ¼ä½æē§å¦å®¶č½å¤å¤§č§ęØ”ęØ”ę COVID čē½č“ØåØęćä»ä»¬ēå·„ä½ęØåØäŗę们åƹē ęÆåå ¶ē ēęŗå¶ēēč§£ļ¼å°¤å ¶ęÆåØē«ę åęć
Folding@home ēØę·ēå Øēååøļ¼2021
Folding@home åŗäŗåæęæč®”ē®ēę ä¹ åå²ļ¼é”¹ē®éčæä¼å č®”ē®čµęŗę„č§£å³å¤§č§ęØ”é®é¢ćčæäøŖę³ę³åØ 1990 幓代ē SETI@home äøå¾å°äŗå¹æę³å ³ę³Øļ¼čƄ锹ē®ę±éäŗč¶ čæ 500 äøå°åæęæč č®”ē®ęŗ仄åÆ»ę¾å¤ęēå½ćę¤åļ¼čæäøēåæµå·²č¢«åŗēØäŗå¤äøŖé¢åļ¼å ę¬å¤©ä½ē©ēå¦ćååēē©å¦ćę°å¦ćåÆē å¦åęøøęćåØęÆē§ę åµäøļ¼éä½åéå¢å¼ŗäŗåäøŖ锹ē®ēč½åļ¼čæčæč¶ åŗäŗä»ä»¬åē¬č½å¤å®ē°ēčå“ćčæęØåØäŗčæę„ļ¼ä½æē ē©¶č½å¤ä»„ę“å¼ę¾ååä½ēę¹å¼čæč”ć
č®øå¤äŗŗę³ē„éę们ęÆå¦åÆ仄å°čæäøä¼å ęØ”ååŗēØäŗę·±åŗ¦å¦ä¹ ćę¢å„čÆčÆ“ļ¼ę们č½å¦åØ大ä¼äøč®ē»äøäøŖ大åē„ē»ē½ē»ļ¼åę²æęØ”åč®ē»ęÆäŗŗē±»åå²äøč®”ē®ęåÆéēä»»å”ä¹äøćäøč®øå¤ @home 锹ē®äøę ·ļ¼ē®åēęę¬č¶ åŗäŗåŖęę大åäøč ęč½ęæę ēčå“ćčæåÆč½ä¼é»ē¢ęŖę„ēčæå±ļ¼å äøŗę们ä¾čµäŗč¶ę„č¶å°ēå ¬åøę„åÆ»ę¾ę°ēēŖē “ćčæä¹å°ę们ē AI ē³»ē»ēę§å¶ęéäøåØå°ę°äŗŗęäøćę č®ŗä½ åƹčæ锹ęęÆēēę³å¦ä½ļ¼čæé½ęÆäøäøŖå¼å¾å ³ę³ØēęŖę„ć
大å¤ę°ę¹čÆč 驳ę„äŗå»äøåæåč®ē»ēę³ę³ļ¼č®¤äøŗäøå½åēč®ē»ęęÆäøå ¼å®¹ćē¶čļ¼čæē§č§ē¹å·²ē»č¶ę„č¶čæę¶ćę°ēęęÆå·²ē»åŗē°ļ¼č½å¤åå°čē¹é“ēéäæ”éę±ļ¼ä»čå č®øåØē½ē»čæę„äøä½³ēč®¾å¤äøé«ęč®ē»ćčæäŗęęÆå ę¬ DiLoCo ć SWARM Parallelism ć lo-fi åå¼ęēÆå¢äøåŗē”ęØ”åēåę£č®ē»ēå¤äøŖęęÆćå ¶äøč®øå¤å ·ę容éę§ļ¼å¹¶ęÆęå¼ęč®”ē®ćčæęäøäŗę°ę¶ęäøäøŗå»äøåæåē½ē»č®¾č®”ļ¼å ę¬ DiPaCo åå»äøåæåę··åäø家ęØ”åć
ę们čæēå°åē§å åÆåčÆå¼å§ęēļ¼ä½æå¾ē½ē»č½å¤åØå Øēčå“å åč°čµęŗćčæäŗęęÆęÆęę°å蓧åøćč·Øå¢ęÆä»åé¢ęµåøåŗēåŗēØåŗęÆćäøę©ęēåæęæ锹ē®äøåļ¼čæäŗē½ē»č½å¤ę±čęäŗŗēč®”ē®č½åļ¼éåøøęÆē®åč®¾ę³ēę大äŗč®ē»éē¾¤å¤§å äøŖę°éēŗ§ć
čæäŗč¦ē“ å ±åęęäŗę°ēęØ”åč®ē»čå¼ćčæē§čå¼å åå©ēØå Øēēč®”ē®čµęŗļ¼å ę¬å¦ęčæę„åØäøčµ·åÆ仄ä½æēØē大éč¾¹ē¼č®¾å¤ćčæå°éčæå¼å „ę°ēē«äŗęŗå¶ę„éä½å¤§å¤ę°č®ē»å·„ä½č“č½½ēęę¬ćå®čæåÆä»„č§£éę°ēč®ē»å½¢å¼ļ¼ä½æå¾ęØ”åå¼ååå¾åä½åęØ”ååļ¼čäøęÆå¤ē«ååäøēę¹å¼ćęØ”ååÆ仄ä»å¤§ä¼äøč·åč®”ē®åę°ę®ļ¼å®ę¶å¦ä¹ ćäøŖäŗŗåÆ仄ę„ęä»ä»¬ęåå»ŗęØ”åēäøéØåćē ē©¶äŗŗåä¹åÆ仄éę°å ¬å¼åäŗ«ę°é¢ēē ē©¶ęęļ¼ę ééčæ蓧åøåä»ä»¬ēåē°ę„å¼„č”„é«ęēč®”ē®é¢ē®ć
ę¬ę„åčåÆäŗ大åęØ”åč®ē»ēē°ē¶åēøå ³ęę¬ćå®å锾äŗ仄å¾ēååøå¼č®”ē®åŖåāāä» SETI å° Folding åå° BOINCāā仄ę¤äøŗēµęę¢ē“¢ęæ代č·Æå¾ćę„åč®Øč®ŗäŗå»äøåæåč®ē»ēåå²ęęļ¼å¹¶č½¬ååÆč½ęå©äŗå ęčæäŗęęēęę°ēŖē “ćęåļ¼å®ę»ē»äŗęŖę„ēęŗéäøęęć
åę²æęØ”åč®ē»ēē°ē¶
åę²æęØ”åč®ē»ēęę¬åƹé大ååäøč ččØå·²ē»äøåÆęæåćčæäøŖč¶åæ并äøę°é²ļ¼ä½ę ¹ę®å®é ę åµļ¼ę åµę£åØåå¾ę“å äø„éļ¼å äøŗåę²æå®éŖ室äøęęęę©å±åč®¾ćę®ę„éļ¼OpenAI ä»å¹“åØč®ē»ę¹é¢č±č“¹č¶ čæ 30 äŗæē¾å ćAnthropic é¢ęµå° 2025 幓ļ¼ę们å°å¼å§čæč” 100 äŗæē¾å ēč®ē»ļ¼č 1000 äŗæē¾å ēęØ”åä¹äøä¼å¤Ŗčæć
čæäøč¶åæåƼč“č”äøēéäøåļ¼å äøŗåŖęå°ę°å å®¶å ¬åøč½å¤ęæę åäøēč“¹ēØćčæå¼åäŗęŖę„ēę øåæęæēé®é¢āāę们ęÆå¦č½ę„åęęé¢å ē AI ē³»ē»ē±äøäø¤å®¶å ¬åøę§å¶ēå±é¢ļ¼čæä¹éå¶äŗčæå±éåŗ¦ļ¼čæäøē¹åØē ē©¶ē¤¾åŗäøę¾čęč§ļ¼å äøŗč¾å°ēå®éŖ室ę ę³ęæę ę©å±å®éŖęéēč®”ē®čµęŗćč”äøé¢åƼč 们ä¹å¤ę¬”ęå°čæäøē¹ļ¼
Meta ē Joe Spisakļ¼č¦ēę£ēč§£ [ęØ”å] ę¶ęēč½åļ¼ä½ åæ é”»åØč§ęØ”äøčæč”ę¢ē“¢ļ¼ę认äøŗčæę£ęÆå½åēęē³»ē»äøęē¼ŗ失ēćå¦ęä½ ēēå¦ęÆēāāå¦ęÆēęå¾å¤ę°åŗēäŗŗęļ¼ä½ä»ä»¬ē¼ŗä¹č®”ē®čµęŗēč®æé®ļ¼čæå°±ęäŗäøäøŖé®é¢ļ¼å äøŗä»ä»¬ęčæäŗä¼å¤§ēę³ę³ļ¼å“ę²”ęēę£ä»„ęéę°“å¹³å®ē°čæäŗę³ę³ēéå¾ć
Together ē Max Ryabininļ¼åƹę蓵ē”¬ä»¶ēéę±ē»ē ē©¶ē¤¾åŗåø¦ę„äŗå¾å¤§ååć大å¤ę°ē ē©¶äŗŗåę ę³åäø大åē„ē»ē½ē»å¼åļ¼å äøŗčæč”åæ č¦ēå®éŖåƹä»ä»¬ččØęę¬čæé«ćå¦ęę们ē»§ē»éčæę©å¤§ęØ”åč§ęØ”ę„å¢å å ¶å¤§å°ļ¼ęē»č½å¤čæč”ē«
Google ē Francois Cholletļ¼ę们ē„é大čÆčØęØ”å (LLMs) å°ęŖå®ē°éēØäŗŗå·„ęŗč½ (AGI)ćäøę¤åę¶ļ¼ę AGI åå±ēčæå±å·²ē»åę»ćę们åØ大čÆčØęØ”åäøęé¢äø“ēå±éę§äøäŗ幓åé¢äø“ēå±éę§å®å Øēøåćę们éč¦ę°ēę³ę³åēŖē “ćę认äøŗäøäøäøŖēŖē “å¾åÆč½ę„čŖå¤éØå¢éļ¼čęę大åå®éŖ室ååæäŗč®ē»ę“大ē大čÆčØęØ”åć äøäŗäŗŗåƹčæäŗę åæ§ęęēęåŗ¦ļ¼č®¤äøŗē”¬ä»¶ę¹čæåäŗč®”ē®čµę¬ęÆåŗå°č§£å³čæäøŖé®é¢ćä½čæä¼¼ä¹äøå¤Ŗē°å®ćäøę¹é¢ļ¼å°ę¬å幓ę«ļ¼ę°äø代 Nvidia čÆēē FLOP ę°éå°å¤§å¹ å¢å ļ¼åÆč½č¾¾å°ä»å¤© H100 ē 10 åćčæå°ä½æęÆ FLOP ēä»·ę ¼äøé 80-90%ćåę ·ļ¼é¢č®”å°ę¬å幓ę«ļ¼ę» FLOP ä¾åŗå°å¢å ēŗ¦ 20 åļ¼åę¶ę¹åē½ē»åēøå ³åŗē”č®¾ę½ćęęčæäŗé½å°ęé«ęÆē¾å ēč®ē»ęēć
ę„ęŗļ¼SemiAnalysis AI Cloud TCO ęØ”å
äøę¤åę¶ļ¼ę» FLOP éę±ä¹å°å¤§å¹ äøåļ¼å äøŗå®éŖ室åøęčæäøę„ę©å¤§č§ęØ”ćå¦ęęē»å幓ēč®ē»č®”ē®č¶åæäæęäøåļ¼å° 2030 幓åę²æč®ē»ē FLOPs é¢č®”å°č¾¾å°ēŗ¦ 2e29ćčæč”čæē§č§ęØ”ēč®ē»å¤§ēŗ¦éč¦ 2000 äøäøŖ H100 ēę GPUļ¼ä¾ę®å½åēč®ē»čæč”ę¶é“åå©ēØēćåč®¾čæäøé¢åä»ęå¤äøŖåę²æå®éŖ室ļ¼ę»ęéē FLOPS ę°éå°ä¼ęÆčæäøŖę°åēå åļ¼å äøŗę“ä½ä¾åŗå°åØå®ä»¬ä¹é“åé ćEpochAI é¢ęµå°é£ę¶ę们éč¦å¤§ēŗ¦ 1 äŗæäøŖ H100 ēę GPUļ¼ēŗ¦äøŗ 2024 幓åŗ蓧éē 50 åćSemiAnalysis ä¹ååŗäŗē±»ä¼¼ēé¢ęµļ¼č®¤äøŗåę²æč®ē»éę±å GPU ä¾åŗåØę¤ęé“大č“åę„å¢éæć
äŗ§č½ē¶åµåÆč½ä¼å å¤ē§åå åå¾ę“å ē“§å¼ ćä¾å¦ļ¼å¦ęå¶é ē¶é¢å»¶čæäŗé¢č®”ēåŗ蓧åØęļ¼čæē§ę åµęÆåøøęēäŗćęč å¦ęę们ęŖč½ēäŗ§č¶³å¤ēč½ęŗę„äøŗę°ę®äøåæä¾ēµćåęč å¦ęę们åØå°čæäŗč½ęŗę„ęŗčæę„å°ēµē½ę¹é¢éå°å°é¾ćęč å¦ęåƹčµę¬ęÆåŗēę„ēå®”ę„ęē»åƼč“č”äøē¼©åč§ęØ”ļ¼ēēå ē“ ćåØę儽ēę åµäøļ¼ę们å½åēę¹ę³åŖč½č®©å°ę°å ¬åøē»§ē»ęØåØē ē©¶ēčæå±ļ¼ččæåÆč½čæäøå¤ć
ę¾ē¶ļ¼ę们éč¦äøē§ę°ēę¹ę³ćčæē§ę¹ę³äøéč¦äøęę©å±ę°ę®äøåæćčµę¬ęÆåŗåč½ęŗę¶čę„åÆ»ę¾äøäøäøŖēŖē “ļ¼čęÆé«ęå©ēØę们ē°ęēåŗē”č®¾ę½ļ¼č½å¤éēéę±ēę³¢åØēµę“»ę©å±ćčæå°č®©ē ē©¶äøęę“å¤å®éŖēåÆč½ļ¼å äøŗč®ē»čæč”äøåéč¦ē”®äæäŗæäøē¾å č®”ē®é¢ē®ēęčµåę„ćäøę¦ęč±čæäøéå¶ļ¼ę们åÆä»„č¶ č¶å½åē大čÆčØęØ”å (LLM) ęØ”å¼ļ¼ę£å¦č®øå¤äŗŗę认äøŗēļ¼å®ē°éēØäŗŗå·„ęŗč½ (AGI) ęÆåæ č¦ēćäøŗäŗēč§£čæē§ęæ代ę¹ę”åÆč½åē°ēę ·åļ¼ę们åÆ仄ä»čæå»ēååøå¼č®”ē®å®č·µäøę±²åēµęć
ē¾¤ä½č®”ē®ļ¼ē®å²
SETI@home åØ 1999 幓ę®åäŗčæäøę¦åæµļ¼å č®øę°ē¾äøåäøč åęę ēŗæēµäæ”å·ļ¼åÆ»ę¾å¤ęęŗę §ćSETI ä» Arecibo ęčæéę¶éēµē£ę°ę®ļ¼å°å ¶åęč„å¹²ę¹ę¬”ļ¼å¹¶éčæäŗčē½åéē»ēØę·ćēØę·åØę„åøøę“»åØäøåęę°ę®ļ¼å¹¶å°ē»ęåéåćēØę·ä¹é“ę éę²éļ¼ę¹ę¬”åÆ仄ē¬ē«å®”ę øļ¼ä»čå®ē°é«åŗ¦ē并č”å¤ēćåØå ¶å· å³°ę¶å»ļ¼SETI@home ę„ęč¶ čæ 500 äøååäøč ļ¼å¤ēč½åč¶ čæå½ę¶ę大ēč¶ ēŗ§č®”ē®ęŗćå®ęē»äŗ 2020 幓 3 ęå ³éļ¼ä½å®ēęåęæå±äŗéåēåæęæč®”ē®čæåØć
Folding@home åØ 2000 幓延ē»äŗčæäøēåæµļ¼å©ēØč¾¹ē¼č®”ē®ęØ”ęéæå°čØęµ·é»ē ćēēååøéę£®ē ēē¾ē äøēčē½č“Øęå ćåæęæč åØäøŖäŗŗēµčēē©ŗé²ę¶é“čæč”čē½č“ØęØ”ęļ¼åø®å©ē ē©¶äŗŗåē ē©¶čē½č“Øå¦ä½éčÆÆęå 并åƼč“ē¾ē ćåØå ¶åå²ēäøåę¶é“ꮵļ¼å ¶č®”ē®č½åč¶ čæäŗå½ę¶ę大ēč¶ ēŗ§č®”ē®ęŗļ¼å ę¬åØ 2000 幓代åęå COVID ęé“ļ¼å½ę¶å®ęäøŗē¬¬äøäøŖč¶ čæäø exaFLOPS ēååøå¼č®”ē®é”¹ē®ćčŖęē«ä»„ę„ļ¼Folding ēē ē©¶äŗŗåå·²åč”Øč¶ čæ 200 ēÆåč”čÆå®”č®ŗęļ¼ęÆäøēÆé½ä¾čµäŗåæęæč ēč®”ē®č½åć
ä¼Æå å©å¼ę¾ē½ē»č®”ē®åŗē”č®¾ę½ (BOINC) åØ 2002 幓ę®åäŗčæäøēåæµļ¼ęä¾äŗäøäøŖä¼å č®”ē®å¹³å°ļ¼ēØäŗåē§ē ē©¶é”¹ē®ćå®ęÆę SETI@home å Folding@home ēå¤äøŖ锹ē®ļ¼ä»„ååØ天ä½ē©ēå¦ćååēē©å¦ćę°å¦ååÆē å¦ēé¢åēę°é”¹ē®ćå° 2024 幓ļ¼BOINC ååŗäŗ 30 äøŖę£åØčæč”ē锹ē®ļ¼ä»„åčæ 1,000 ēÆåč”Øēē§å¦č®ŗęļ¼åå©ēØå ¶č®”ē®ē½ē»äŗ§ēć
åØē§ē é¢åä¹å¤ļ¼åæęæč®”ē®č¢«ēØäŗč®ē»å“ę£ļ¼LeelaZeroćKataGoļ¼åå½é č±”ę£ļ¼StockfishćLeelaChessZeroļ¼ēęøøęå¼ęćLeelaZero éčæåæęæč®”ē®ä» 2017 å¹“å° 2021 幓čæč”č®ē»ļ¼ä½æå ¶č½å¤äøčŖå·±äøę£č¶ čæäøåäøå±ļ¼åé äŗä»å¤©ęå¼ŗēå“ę£å¼ęä¹äøćē±»ä¼¼å°ļ¼Stockfish čŖ 2013 幓仄ę„äøē“åØåæęæē½ē»äøęē»č®ē»ļ¼ä½æå ¶ęäøŗęåę¬¢čæåęå¼ŗ大ēå½é č±”ę£å¼ęä¹äøć
å ³äŗę·±åŗ¦å¦ä¹ ēęę
ä½ęÆę们č½å¦å°čæäøęØ”ååŗēØäŗę·±åŗ¦å¦ä¹ ļ¼ę们ęÆå¦åÆ仄å°äøēåå°ēč¾¹ē¼č®¾å¤čē½ļ¼åå»ŗäøäøŖä½ęę¬ēå ¬å ±č®ē»éē¾¤ļ¼ę¶č“¹č ē”¬ä»¶āāä»č¹ęē¬č®°ę¬å° Nvidia ęøøęę¾å”āāåØę·±åŗ¦å¦ä¹ ę¹é¢ēę§č½č¶ę„č¶åŗč²ćåØč®øå¤ę åµäøļ¼čæäŗč®¾å¤ēę§č½ēč³č¶ čæäŗę°ę®äøåæę¾å”ēęÆē¾å ę§č½ć
ē¶čļ¼č¦ęęå©ēØčæäŗčµęŗåØååøå¼ēÆå¢äøļ¼ę们éč¦å ęåē§ęęć
é¦å ļ¼å½åēååøå¼č®ē»ęęÆåč®¾čē¹ä¹é“ååØé¢ē¹ēéäæ”ć
å½åęå čæēęØ”åå·²ē»åå¾å¦ę¤åŗ大ļ¼ä»„č³äŗč®ē»åæ é”»č¢«ęåå°ę°åäøŖ GPU ä¹é“ćčæęÆéčæå¤ē§å¹¶č”åęęÆę„å®ē°ēļ¼éåøøęÆåØåÆēØē GPU ä¹é“ęåęØ”åćę°ę®éęåę¶ęåäø¤č ćčæéåøøéč¦é«åø¦å®½åä½å»¶čæēē½ē»ļ¼å¦åčē¹å°é²ē½®ļ¼ēå¾ ę°ę®å°ę„ć
ä¾å¦ļ¼ååøå¼ę°ę®å¹¶č”ęęÆ (DDP) å°ę°ę®éåé å°åäøŖ GPU äøļ¼ęÆäøŖ GPU åØå ¶ē¹å®ēę°ę®ēꮵäøč®ē»å®ę“ēęØ”åļ¼ē¶åå ±äŗ«å ¶ę¢Æåŗ¦ę“ę°ļ¼ä»„ēęåäøŖę„éŖ¤ēę°ęØ”åęéćčæéč¦ēøåƹęéēéäæ”å¼éļ¼å äøŗčē¹ä» åØęÆꬔååä¼ ęåå ±äŗ«ę¢Æåŗ¦ę“ę°ļ¼å¹¶äøéä½éäæ”ęä½åÆ仄éØåäøč®”ē®éå ćē¶čļ¼čæē§ę¹ę³ä» éēØäŗč¾å°ēęØ”åļ¼å äøŗå®č¦ę±ęÆäøŖ GPU åØå åäøååØę“äøŖęØ”åēęéćęæę“»å¼åä¼ååØē¶ęćä¾å¦ļ¼GPT-4 åØč®ē»ę¶éč¦č¶ čæ 10TB ēå åļ¼čåäøŖ H100 ä» ę 80GBć
äøŗäŗč§£å³čæäøé®é¢ļ¼ę们čæä½æēØåē§ęęÆåƹęØ”åčæč”ęåļ¼ä»„ä¾æåØ GPU ä¹é“čæč”åé ćä¾å¦ļ¼å¼ é并č”ęęÆ (tensor parallelism) åØåäøŖå±å ęååäøŖęéļ¼ä½æå¾ęÆäøŖ GPU ę§č”åæ č¦ēęä½å¹¶å°č¾åŗä¼ éē»å ¶ä»ē GPUćčæéä½äŗęÆäøŖ GPU ēå åéę±ļ¼ä½éč¦å®ä»¬ä¹é“čæč”ęē»ēéäæ”å¾ę„ļ¼å ę¤éč¦é«åø¦å®½ćä½å»¶čæēčæę„仄ęé«ęēć
ęµę°“ēŗæ并č”ęęÆ (pipeline parallelism) å°ęØ”åēå±åé å°åäøŖ GPU äøļ¼ęÆäøŖ GPU ę§č”å ¶å·„ä½å¹¶äøęµę°“ēŗæäøēäøäøäøŖ GPU å ±äŗ«ę“ę°ćå°½ē®”čæęéēéäæ”éęÆå¼ é并č”ę“å°ļ¼ä½åÆč½ä¼åŗē°ćę°ę³”ćļ¼ä¾å¦ļ¼ē©ŗé²ę¶é“ļ¼ļ¼åØčæē§ę åµäøļ¼ä½äŗęµę°“ēŗæåé¢ē GPU ä¼ēå¾ ę„čŖåé¢ GPU ēäæ”ęÆļ¼ä»„ä¾æå¼å§å ¶å·„ä½ć
äøŗäŗč§£å³čæäŗęęļ¼åå±åŗåē§ęęÆćä¾å¦ļ¼ZeROļ¼é¶åä½ä¼ååØļ¼ęÆäøē§å åä¼åęęÆļ¼å®éčæå¢å éäæ”å¼éę„åå°å åä½æēØļ¼ä»čä½æę“大ēęØ”åč½å¤åØē¹å®č®¾å¤äøčæč”č®ē»ćZeRO éčæåØ GPU ä¹é“åå²ęØ”ååę°ćę¢Æåŗ¦åä¼ååØē¶ęę„éä½å åéę±ļ¼ä½ä¾čµäŗ大éēéäæ”ļ¼ä»„ä¾æč®¾å¤č½å¤č·ååå²ēę°ę®ćå®ęÆęµč”ęęÆå¦å®å Øåēę°ę®å¹¶č” (FSDP) å DeepSpeed ēåŗē”ę¹ę³ć
čæäŗęęÆéåøøåØ大ęØ”åč®ē»äøē»åä½æēØļ¼ä»„ę大åčµęŗēå©ēØęēļ¼čæč¢«ē§°äøŗ 3D 并č”ćåØčæē§é ē½®äøļ¼å¼ é并č”ęęÆ (tensor parallelism) éåøøēØäŗåØåäøŖęå”åØå å°ęéåé å°åäøŖ GPU äøļ¼å äøŗåØęÆäøŖč¢«åå²ēå±ä¹é“éč¦å¤§ééäæ”ćē¶åļ¼ęµę°“ēŗæ并č”ęęÆ (pipeline parallelism) č¢«ēØę„åØäøåęå”åØä¹é“ļ¼ä½åØę°ę®äøåæēåäøå²å±æå ļ¼åé å±ļ¼å äøŗå®ęéēéäæ”éč¾å°ćę„ēļ¼ę°ę®å¹¶č”ęęÆ (data parallelism) ęå®å Øåēę°ę®å¹¶č”ęęÆ (FSDP) č¢«ēØę„åØäøåęå”åØå²å±æä¹é“ęåę°ę®éļ¼å äøŗå®åÆ仄éčæå¼ę„å ±äŗ«ę“ę°å / ęåē¼©ę¢Æåŗ¦ę„éåŗę“éæēē½ē»å»¶čæćMeta ä½æēØčæē§ē»åę¹ę³ę„č®ē» Llama 3.1ļ¼å¦äøé¢ēå¾ē¤ŗęē¤ŗć
čæäŗę¹ę³ē»å»äøåæåč®ē»ē½ē»åø¦ę„äŗę øåæęęļ¼čæäŗē½ē»ä¾čµäŗéčæļ¼éåŗ¦ę“ę ¢äøę³¢åØę“大ēļ¼ę¶č“¹ēŗ§äŗčē½čæę„ēč®¾å¤ćåØčæē§ēÆå¢äøļ¼éäæ”ęę¬å¾åæ«å°±ä¼č¶ čæč¾¹ē¼č®”ē®åø¦ę„ēę¶ēļ¼å äøŗč®¾å¤éåøøęÆē©ŗé²ēļ¼ēå¾ ę°ę®å°č¾¾ć仄äøäøŖē®åēä¾åčÆ“ęļ¼ååøå¼ę°ę®å¹¶č”č®ē»äøäøŖå ·ę 10 äŗæåę°ēåē²¾åŗ¦ęØ”åļ¼ęÆäøŖ GPU åØęÆäøŖä¼åę„éŖ¤äøéč¦å ±äŗ« 2GB ēę°ę®ć仄å øåēäŗčē½åø¦å®½ļ¼ä¾å¦ 1 åå ä½ęÆē§ļ¼äøŗä¾ļ¼åč®¾č®”ē®äøéäæ”äøéå ļ¼ä¼ č¾ę¢Æåŗ¦ę“ę°č³å°éč¦ 16 ē§ļ¼åƼč“ę¾čēē©ŗé²ćåå¼ é并č”ęęÆ (tensor parallelism) čæę ·ēęęÆļ¼éč¦ę“å¤ēéäæ”ļ¼å½ē¶ä¼č”Øē°å¾ę“ē³ć
å ¶ę¬”ļ¼å½åēč®ē»ęęÆē¼ŗä¹å®¹éč½åćåä»»ä½ååøå¼ē³»ē»äøę ·ļ¼éēč§ęØ”ēå¢å ļ¼č®ē»éē¾¤åå¾ę“容ęåēę éćē¶čļ¼čæäøé®é¢åØč®ē»äøę“å äø„éļ¼å äøŗę们ē®åēęęÆäø»č¦ęÆåę„ēļ¼čæęå³ē GPU åæ é”»ååå·„ä½ä»„å®ęęØ”åč®ē»ćęåäøäøē GPU äøåäøŖ GPU ēę éä¼åƼč“ę“äøŖč®ē»čæēØåę¢ļ¼čæ«ä½æå ¶ä» GPU ä»å¤“å¼å§č®ē»ćåØęäŗę åµäøļ¼GPU 并äøä¼å®å Øę éļ¼čęÆē±äŗåē§åå åå¾čæē¼ļ¼čæčåę ¢éē¾¤äøęåäøäøå ¶ä» GPU ēéåŗ¦ćččå°å½ä»éē¾¤ēč§ęØ”ļ¼čæåÆč½ęå³ēę°åäøå°ę°äŗæē¾å ēé¢å¤ęę¬ć
Meta åØä»ä»¬ē Llama č®ē»čæēØäøčƦē»éčæ°äŗčæäŗé®é¢ļ¼ä»ä»¬ē»åäŗč¶ čæ 400 ꬔęå¤äøęļ¼å¹³åęÆ天ēŗ¦ 8 ꬔäøęćčæäŗäøęäø»č¦å½å äŗē”¬ä»¶é®é¢ļ¼ä¾å¦ GPU ęäø»ęŗē”¬ä»¶ę éćčæåƼč“ä»ä»¬ē GPU å©ēØēä» äøŗ 38-43%ćOpenAI åØ GPT-4 ēč®ē»čæēØäøč”Øē°ę“å·®ļ¼ä» äøŗ 32-36%ļ¼čæä¹ęÆē±äŗč®ē»čæēØäøę éé¢ē¹ć
ę¢å„čÆčÆ“ļ¼åę²æå®éŖ室们åØå®å Øä¼åēēÆå¢äøļ¼å ę¬åč“Øēćęå čæēē”¬ä»¶ćē½ē»ćēµęŗåå·å“ē³»ē»ļ¼čæč”č®ē»ę¶ļ¼ä»ē¶é¾ä»„č¾¾å° 40% ēå©ēØēćčæäø»č¦å½å äŗē”¬ä»¶ę éåē½ē»é®é¢ļ¼čåØč¾¹ē¼č®ē»ēÆå¢äøļ¼čæäŗé®é¢ä¼ę“å äø„éļ¼å äøŗč®¾å¤åØå¤ēč½åćåø¦å®½ć延čæååÆé ę§ę¹é¢ååØäøåč””ćę“äøēØčÆ“ļ¼å»äøåæåē½ē»ęåę¶ęč”äøŗč ē侵害ļ¼ä»ä»¬åÆč½åŗäŗåē§åå čÆå¾ē “åę“ä½é”¹ē®ęåØē¹å®å·„ä½č“č½½äøä½å¼ćå³ä½æęÆēŗÆåæęæč ē½ē» SETI@homeļ¼ä¹ę¾åŗē°čæäøååäøč ēä½å¼ē°č±”ć
ē¬¬äøļ¼åę²æęØ”åč®ē»éč¦å¤§č§ęØ”ēč®”ē®č½åćč½ē¶å SETI å Folding čæę ·ē锹ē®č¾¾å°äŗ令äŗŗå°č±”ę·±å»ēč§ęØ”ļ¼ä½äøå½ä»åę²æč®ē»ęéēč®”ē®č½åēøęÆļ¼å®ä»¬ēøå½¢č§ē»ćGPT-4 åØäøäøŖē± 20,000 äøŖ A100 ē»ęēéē¾¤äøč®ē»ļ¼å ¶å³°å¼ååéäøŗåē²¾åŗ¦ē 6.28 ExaFLOPSćčæęÆ Folding@home åØå ¶å³°å¼ę¶ēč®”ē®č½åå¤åŗäøåćLlama 405b ä½æēØ 16,000 äøŖ H100 čæč”č®ē»ļ¼å³°å¼ååéäøŗ 15.8 ExaFLOPSļ¼ęÆ Folding å³°å¼ē 7 åćéēå¤äøŖå®éŖå®¤č®”åęå»ŗč¶ čæ 100,000 äøŖ H100 ēéē¾¤ļ¼čæäøå·®č·åŖä¼čæäøę„ę©å¤§ļ¼ęÆäøŖéē¾¤ēč®”ē®č½åé«č¾¾ęäŗŗē 99 ExaFLOPSć
čæå¾ęéēļ¼å äøŗ @home 锹ē®ęÆåæęæč 驱åØēćč“”ē®č ęčµ äŗä»ä»¬ēå ååå¤ēåØåØęļ¼å¹¶ęæę äŗēøå ³ęę¬ćčæčŖē¶éå¶äŗå®ä»¬ēøåƹäŗåäø锹ē®ēč§ęØ”ć
ęčæēčæå±
č½ē¶čæäŗé®é¢åØåå²äøäøē“å°ę°ēå»äøåæåč®ē»å·„ä½ļ¼ä½å®ä»¬ä¼¼ä¹äøåäøåÆé¾č¶ćę°ēč®ē»ęęÆå·²ē»åŗē°ļ¼č½å¤åå°čē¹é“ēéäæ”éę±ļ¼ä»čåØäŗčē½čæę„ēč®¾å¤äøčæč”é«ęč®ē»ćčæäŗęęÆå¾å¤ęŗčŖ大åå®éŖ室ļ¼å®ä»¬åøęäøŗęØ”åč®ē»å¢å ę“大ēč§ęØ”ļ¼å ę¤éč¦č·Øę°ę®äøåæēé«ęéäæ”ęęÆćę们čæēå°äŗ容éč®ē»ę¹ę³åå åÆęæå±ē³»ē»ēčæå±ļ¼čæäŗę¹ę³åÆ仄ęÆęę“大č§ęØ”ēč®ē»åØč¾¹ē¼ēÆå¢äøčæč”ć
é«ęéäæ”ęęÆ
DiLoCo ęÆč°·ęčæęēē ē©¶ļ¼å®éčæåØč®¾å¤é“ä¼ éę“ę°ēęØ”åē¶ęä¹åčæč”ę¬å°ä¼åļ¼ä»čåå°äŗéäæ”å¼éćä»ä»¬ēę¹ę³ļ¼åŗäŗę©ęēčé¦å¦ä¹ ē ē©¶ļ¼ę¾ē¤ŗåŗäøä¼ ē»åę„č®ē»ēøå½ēęęļ¼åę¶čē¹ä¹é“ēéäæ”ééä½äŗ 500 åćę¤åļ¼čÆ„ę¹ę³å·²č¢«å ¶ä»ē ē©¶č å¤å¶ļ¼å¹¶ę©å±č³č®ē»ę“大ęØ”åļ¼č¶ čæ 10 äŗæäøŖåę°ļ¼ćå®čæę©å±å°å¼ę„č®ē»ļ¼čæęå³ēčē¹åÆ仄åØäøåę¶é“å ±äŗ«ę¢Æåŗ¦ę“ę°ļ¼čäøęÆäøꬔę§å ±äŗ«ęęę“ę°ćčæę“儽å°éåŗäŗå¤ēč½ååē½ē»éåŗ¦åå¼ēč¾¹ē¼ē”¬ä»¶ć
å ¶ä»ę°ę®å¹¶č”ę¹ę³ļ¼å¦ lo-fi å DisTrOļ¼ęØåØčæäøę„åå°éäæ”ęę¬ćLo-fi ęåŗäŗå®å Øę¬å°å¾®č°ēę¹ę³ļ¼čæęå³ēčē¹ē¬ē«č®ē»ļ¼åŖåØęåä¼ éęéćčæē§ę¹ę³åØå¾®č°č¶ čæ 10 äŗæåę°ēčÆčØęØ”åę¶ļ¼ę§č½äøåŗåēøå½ļ¼åę¶å®å Øę¶é¤äŗéäæ”å¼éćåØäø份åę„ę„åäøļ¼DisTrO 声ē§°éēØäŗäøē§ę°åēååøå¼ä¼ååØļ¼ä»ä»¬č®¤äøŗåÆ仄å°éäæ”éę±éä½åå°äŗäøŖę°éēŗ§ļ¼å°½ē®”čÆ„ę¹ę³å°å¾ ē”®č®¤ć
ę°ēęØ”å并č”ę¹ę³ä¹å·²ē»åŗē°ļ¼čæä½æå¾å®ē°ę“大ēč§ęØ”ęäøŗåÆč½ćDiPaCoļ¼åę ·ę„čŖč°·ęļ¼å°ęØ”åååäøŗå¤äøŖęØ”åļ¼ęÆäøŖęØ”åå å«äøåēäø家ęØ”åļ¼ä»„ä¾æäŗē¹å®ä»»å”ēč®ē»ćē¶åļ¼č®ē»ę°ę®éčæćč·Æå¾ćčæč”åēļ¼čæäŗč·Æå¾ęÆęÆäøŖę°ę®ę ·ę¬åƹåŗēäø家åŗåćē»å®äøäøŖåēļ¼ęÆäøŖå·„ä½č å ä¹åÆ仄ē¬ē«č®ē»ē¹å®ēč·Æå¾ļ¼é¤äŗå ±äŗ«ęØ”åęéēéäæ”ļ¼čæéØåē± DiLoCo å¤ēćčæē§ę¶ęå°åäŗæåę°ęØ”åēč®ē»ę¶é“åå°äŗč¶ čæäøåć
SWARM 并č”ę§åå¼ęēÆå¢äøåŗē”ęØ”åēå»äøåæåč®ē» (DTFMHE) ä¹ęåŗäŗęØ”å并č”ēę¹ę³ļ¼ä»„åØå¼ęēÆå¢äøå®ē°å¤§ęØ”åč®ē»ćSWARM åē°ļ¼éēęØ”åč§ęØ”ēå¢å ļ¼ē®”é并č”ę§éäæ”ēŗ¦ęåå°ļ¼čæä½æå¾åØč¾ä½ēē½ē»åø¦å®½åę“é«ē延čæäøęęč®ē»ę“大ęØ”åęäøŗåÆč½ćäøŗäŗåØå¼ęēÆå¢äøåŗēØčæäøēåæµļ¼ä»ä»¬åØčē¹ä¹é“ä½æēØäø“ę¶ćē®”éčæę„ćļ¼čæäŗē®”éåÆ仄åØęÆꬔčæ代äøå®ę¶ę“ę°ćčæå č®øčē¹å°å ¶č¾åŗåéå°ä»»ä½äøäøäøŖē®”éé¶ę®µēåƹēčē¹ćčæęå³ēļ¼å¦ęęäøŖåƹēčē¹ęÆå ¶ä»čē¹ę“åæ«ļ¼ęč ä»»ä½åäøč ęå¼čæę„ļ¼č¾åŗåÆ仄åØęéę°č·Æē±ļ¼ä»„äæčÆč®ē»ēęē»čæč”ļ¼åŖč¦ęÆäøŖé¶ę®µč³å°ęäøäøŖę“»č·åäøč ćä»ä»¬ä½æēØčæē§ę¹ę³åØä½ęę¬ēå¼ę GPU äøč®ē»äøäøŖč¶ čæ 10 äŗæåę°ēęØ”åļ¼å¹¶äøäŗčæéåŗ¦č¾ę ¢ļ¼å¦äøå¾ęē¤ŗļ¼ć
DTFMHE åę ·ęåŗäŗäøē§ę°é¢ēč°åŗ¦ē®ę³ļ¼ä»„åē®”é并č”åę°ę®å¹¶č”ļ¼ä»„åØ 3 äøŖå¤§ę“²ēč®¾å¤äøč®ē»å¤§åęØ”åćå°½ē®”ä»ä»¬ēē½ē»éåŗ¦ęÆę å Deepspeed ę ¢ 100 åļ¼ä½ä»ä»¬ēę¹ę³éåŗ¦ä» ęÆåØę°ę®äøåæä½æēØę å Deepspeed ę ¢ 1.7-3.5 åćäø SWARM ē±»ä¼¼ļ¼DTFMHE ę¾ē¤ŗåŗéēęØ”åč§ęØ”å¢å¤§ļ¼éäæ”ęę¬åÆ仄ęęéčļ¼å³ä½æåØå°ēååøēē½ē»äøä¹åę ·éēØćčæä½æå¾ę们č½å¤éčæåē§ęęÆå ęčē¹ä¹é“č¾å¼±ēčæę„ļ¼å ę¬å¢å éčå±ē大å°åęÆäøŖē®”éé¶ę®µå¢å ę“å¤å±ć
ę é容é
äøčæ°č®øå¤ę°ę®å¹¶č”ę¹ę³é»č®¤å ·ę容éč½åļ¼å äøŗęÆäøŖčē¹é½åØå åäøååØę“äøŖęØ”åćčæē§åä½éåøøęå³ēļ¼å³ä½æå ¶ä»čē¹åŗē°ę éļ¼čē¹ä»ē¶åÆ仄ē¬ē«å·„ä½ćčæåƹäŗå»äøåæåč®ē»éåøøéč¦ļ¼å äøŗčē¹éåøøęÆäøåÆé ēćå¼ęēļ¼ēč³åÆč½ååØę¶ęč”äøŗćē¶čļ¼å¦åęčæ°ļ¼ēŗÆę°ę®å¹¶č”ę¹ę³ä» éēØäŗč¾å°ēęØ”åļ¼å ę¤ęØ”å大å°åå°ē½ē»äøęå°čē¹å å容éēå¶ēŗ¦ć
äøŗäŗč§£å³äøčæ°é®é¢ļ¼äøäŗäŗŗęåŗäŗéēØäŗęØ”å并č”ļ¼ęę··å并č”ļ¼č®ē»ē容éęęÆćSWARM éčæä¼å éę©å»¶čæč¾ä½ēēسå®åƹēčē¹ę„åŗåƹåƹēčē¹ę éļ¼å¹¶åØåēę éę¶éę°č·Æē±ē®”éé¶ę®µēä»»å”ćå ¶ä»ę¹ę³ļ¼å¦ Oobleckļ¼éēØē±»ä¼¼ēę¹ę³ļ¼éčæåå»ŗå¤äøŖćē®”éęØ”ęæćę„ęä¾åä½ļ¼ä»„åŗåƹéØåčē¹ę éćå°½ē®”åØę°ę®äøåæčæč”äŗęµčÆļ¼Oobleck ēę¹ę³ęä¾äŗå¼ŗ大ēåÆé ę§äæčÆļ¼čæäŗäæčÆåę ·éēØäŗå»äøåæåēÆå¢ć
ę们čæēå°äŗäøäŗę°ēęØ”åę¶ęļ¼å¦å»äøåæåę··åäø家ęØ”å (Decentralized Mixture of Experts, DMoE)ļ¼ļ¼ēØäŗęÆęå»äøåæåēÆå¢äøē容éč®ē»ćäøä¼ ē»ēäøå®¶ę··åęØ”åē±»ä¼¼ļ¼DMoE ē±å¤äøŖē¬ē«ēćäø家ćē½ē»ē»ęļ¼čæäŗē½ē»ååøåØäøē»å·„ä½č čē¹äøćDMoE ä½æēØååøå¼ååøč”Ø仄å»äøåæåę¹å¼č·čøŖåę“åå¼ę„ę“ę°ćčÆ„ęŗå¶ļ¼åØ SWARM äøä¹ä½æēØļ¼åƹčē¹ę éå ·ęčÆ儽ēęµęåļ¼å äøŗå¦ęęäŗčē¹å¤±č“„ęęŖč½åę¶ååŗļ¼å®åÆ仄å°ęäŗäø家ęé¤åØå¹³åč®”ē®ä¹å¤ć
č§ęØ”å
ęåļ¼åęÆē¹åøå仄å¤ŖåęéēØēå åÆęæå±ē³»ē»åÆ仄åø®å©å®ē°ęéēč§ęØ”ćčæäø¤äøŖē½ē»éčæåč“”ē®č ęÆä»äøē§åÆ仄éēéēØå¢éæčå¢å¼ēę¬å°čµäŗ§ę„ä¼å č®”ē®ćčæäøŖč®¾č®”éčæē»äŗę©ęč“”ē®č äø°åå„å±ę„ęæå±ä»ä»¬ļ¼å½ē½ē»č¾¾å°ęå°åÆč”č§ęØ”åļ¼čæäŗå„å±åÆ仄éę„åå°ć
ē”®å®ļ¼čæē§ęŗå¶ååØåē§é·é±ļ¼éč¦éæå ćå ¶äøęäø»č¦ēé·é±ęÆļ¼čæåŗ¦ęæå±ä¾ē»čęŖč½åø¦ę„ēøåŗēéę±ćę¤å¤ļ¼å¦ęåŗē”ē½ē»äøå¤å»äøåæåļ¼čæåÆč½å¼åēē®”é®é¢ćē¶čļ¼å½č®¾č®”å¾å½ę¶ļ¼å»äøåæåęæå±ē³»ē»åÆ仄åØč¾éæę¶é“å å®ē°åÆč§ēč§ęØ”ć
ä¾å¦ļ¼ęÆē¹åø幓ēµåę¶čēŗ¦äøŗ 150 å¤Ŗē¦ę¶ (TWh)ļ¼čæęÆē®åęęäøēę大 AI č®ē»éē¾¤ēēµåę¶čé«åŗäø¤äøŖę°éēŗ§ä¹å¤ļ¼100,000 äøŖ H100 å Øč“č·čæč”äø幓ļ¼ćä½äøŗåčļ¼OpenAI ē GPT-4 åØ 20,000 äøŖ A100 äøčæč”äŗč®ē»ļ¼Meta ēęč° Llama 405B ęØ”ååØ 16,000 äøŖ H100 äøčæč”äŗč®ē»ćåę ·ļ¼åØå ¶é«å³°ęļ¼ä»„å¤Ŗåēēµåę¶č大ēŗ¦äøŗ 70 TWhļ¼åę£åØę°ē¾äøäøŖ GPU ä¹é“ćå³ä½æččå°ęŖę„å 幓 AI ę°ę®äøåæēåæ«éå¢éæļ¼åčæäŗęæå±č®”ē®ē½ē»ä»å°å¤ę¬”č¶ č¶å ¶č§ęØ”ć
å½ē¶ļ¼å¹¶éęęč®”ē®é½ęÆåÆęæę¢ēļ¼č®ē»ēøåƹäŗęēæęē¬ē¹ēéę±ļ¼éč¦ččćå°½ē®”å¦ę¤ļ¼čæäŗē½ē»å±ē¤ŗäŗéčæčæäŗęŗå¶åÆ仄å®ē°ēč§ęØ”ć
ęŖę„ēéč·Æ
å°čæäŗéØåčē³»åØäøčµ·ļ¼ę们åÆ仄ēå°åčæēę°éč·Æēå¼ē«Æć
å¾åæ«ļ¼ę°ēč®ē»ęęÆå°ä½æę们č½å¤č¶ åŗę°ę®äøåæēéå¶ļ¼å äøŗč®¾å¤äøåéč¦å ±åę¾ē½®ęč½åę„ä½ēØćčæå°éč¦ę¶é“ļ¼å äøŗę们å½åēå»äøåæåč®ē»ę¹ę³ä»å¤äŗč¾å°č§ęØ”ļ¼äø»č¦åØ 10 äŗæå° 20 äŗæäøŖåę°ēčå“å ļ¼ęÆå GPT-4 čæę ·ēęØ”åå°å¾å¤ćę们éč¦čæäøę„ēēŖē “ļ¼ä»„åØäøēŗē²å ³é®å±ę§ļ¼å¦éäæ”ęēå容éč½åļ¼ēę åµäøęåčæäŗę¹ę³ēč§ęØ”ćęč ļ¼ę们éč¦ę°ēęØ”åę¶ęļ¼čæäŗę¶ęäøä»å¤©ē大ååä½ęØ”åęęäøåāāåÆč½ę“å°ćę“ęØ”ååļ¼åØč¾¹ē¼č®¾å¤äøčæč”ļ¼čéåØäŗē«Æ
ę č®ŗå¦ä½ļ¼åÆ仄åēå°é¢ęåØčæäøŖę¹åäøä¼ęčæäøę„ēčæå±ćę们å½åę¹ę³ēęę¬ęÆäøåÆęē»ēļ¼čæäøŗåę°ęä¾äŗå¼ŗēēåøåŗåØåćę们已ē»ēå°čæäøč¶åæļ¼å Apple čæę ·ēå¶é åę£åØęå»ŗę“å¼ŗ大ēč¾¹ē¼č®¾å¤ļ¼ä»„ä¾æåØę¬å°čæč”ę“å¤ēå·„ä½č“č½½ļ¼čäøęÆä¾čµäŗē«Æćę们čæēå°åƹå¼ęŗč§£å³ę¹ę”ēęÆęäøęå¢å āāēč³åØå Meta čæę ·ēå ¬åøå éØļ¼ä»„äæčæę“å»äøåæåēē ē©¶äøå¼åćčæäŗč¶åæéēę¶é“ēęØē§»åŖä¼å éć
äøę¤åę¶ļ¼ę们čæéč¦ę°ēē½ē»åŗē”č®¾ę½ę„čæę„č¾¹ē¼č®¾å¤ļ¼ä»„ä¾æč½å¤čæę ·ä½æēØå®ä»¬ćčæäŗč®¾å¤å ę¬ē¬č®°ę¬ēµčćęøøęå°å¼ęŗļ¼ęē»ēč³åÆč½ęÆę„ęé«ę§č½ę¾å”å大å åēęęŗćčæå°ä½æę们č½å¤ęå»ŗäøäøŖćå Øēéē¾¤ćļ¼ä½ęę¬ćå§ē»åØēŗæēč®”ē®č½åļ¼åÆ仄并č”å¤ēč®ē»ä»»å”ćčæä¹ęÆäøäøŖå ·ęęęę§ēé®é¢ļ¼éč¦åØå¤äøŖé¢ååå¾čæå±ć
ę们éč¦ę“儽ēč°åŗ¦ęęÆę„åØå¼ęēÆå¢äøčæč”č®ē»ćē®åę²”ęä»»ä½ę¹ę³åÆ仄čŖåØ并č”åęØ”åä»„č¾¾å°ä¼åļ¼ē¹å«ęÆåØč®¾å¤åÆ仄éę¶ęå¼ęčæę„ēę åµäøćčæęÆä¼åč®ē»ēå ³é®äøäøę„ļ¼åę¶äæēåŗäŗč¾¹ē¼ē½ē»ēč§ęØ”ä¼åæć
ę们čæåæ é”»åŗåƹå»äøåæåē½ē»ēäøč¬å¤ęę§ćäøŗäŗę大åč§ęØ”ļ¼ē½ē»åŗčÆ„ęå»ŗäøŗå¼ę¾åč®®āāäøå„ę ååę令ļ¼č§å®åäøč ä¹é“ēäŗåØļ¼å°±å TCP/IP čęÆēØäŗęŗåØå¦ä¹ č®”ē®ćčæå°ä½æä»»ä½éµå¾Ŗē¹å®č§čēč®¾å¤č½å¤čæę„å°ē½ē»ļ¼ę č®ŗę„ęč åä½ē½®ćå®čæē”®äæē½ē»äæęäøē«ļ¼å č®øēØę·č®ē»ä»ä»¬åę¬¢ēęØ”åć
č½ē¶čæå®ē°äŗč§ęØ”ę大åļ¼ä½å®ä¹éč¦äøäøŖęŗå¶ę„éŖčÆęęč®ē»ä»»å”ēę£ē”®ę§ļ¼čäøä¾čµäŗåäøå®ä½ćčæäøē¹č³å ³éč¦ļ¼å äøŗååØåŗęēä½å¼čƱå āāä¾å¦ļ¼å£°ē§°čŖå·±å®ęäŗęäøŖč®ē»ä»»å”仄č·å¾ę„é ¬ļ¼ä½å®é äøå¹¶ę²”ęåå°ćččå°äøåč®¾å¤éåøø仄äøåę¹å¼ę§č”ęŗåØå¦ä¹ ęä½ļ¼čæä½æå¾ä½æēØę åå¤å¶ęęÆåå¾é¾ä»„éŖčÆę£ē”®ę§ļ¼å ę¤čæå°¤å ¶å ·ęęęę§ćę£ē”®č§£å³čæäøŖé®é¢éč¦åØåÆē å¦åå ¶ä»å¦ē§äøčæč”ę·±å „ē ē©¶ć
å¹øčæēęÆļ¼ę们åØęęčæäŗę¹é¢é½ē»§ē»ēå°čæå±ćäøčæå»å 幓ēøęÆļ¼čæäŗęęä¼¼ä¹äøåäøåÆé¾č¶ćäøęŗä¼ēøęÆļ¼å®ä»¬ä¹ę¾å¾ēøå½å¾®å°ćGoogle åØä»ä»¬ē DiPaCo č®ŗęäøåƹę¤čæč”äŗęä½³ę»ē»ļ¼ęåŗå»äøåæåč®ē»ęę½åęē “ēč“åé¦ęŗå¶ļ¼
ååøå¼č®ē»ęŗåØå¦ä¹ ęØ”åēčæå±åÆč½äæčæåŗē”č®¾ę½ēē®åå»ŗč®¾ļ¼ęē»åƼč“č®”ē®čµęŗēę“å¹æę³åÆēØćē®åļ¼åŗē”č®¾ę½ęÆå“ē»č®ē»å¤§ååä½ęØ”åēę åę¹ę³čč®¾č®”ēļ¼åę¶ęŗåØå¦ä¹ ęØ”åēę¶ęä¹ęØåØå©ēØå½åēåŗē”č®¾ę½åč®ē»ę¹ę³ćčæē§åé¦å¾ŖēÆåÆč½ä½æē¤¾åŗé·å „äøäøŖčÆÆåƼę§ēå±éØęå°å¼ļ¼å³č®”ē®čµęŗēéå¶č¶ čæäŗå®é éč¦ć
ä¹č®øę令äŗŗå “å„ēęÆļ¼ē ē©¶ēåÆ¹č§£å³čæäŗé®é¢ēēę ę„ēé«ę¶Øćę们åØ Gensyn ēå¢éę£åØęå»ŗäøčæ°ē½ē»åŗē”č®¾ę½ćå Hivemind å BigScience čæę ·ēå¢éåØå®č·µäøåŗēØäŗč®øå¤čæäŗęęÆćå PetalsćsahajBERT å Bloom čæę ·ē锹ē®å±ē¤ŗäŗčæäŗęęÆēč½åļ¼ä»„ååƹåŗäŗē¤¾åŗēęŗåØå¦ä¹ ę„ēå¢éæēå “č¶£ćčæęč®øå¤å ¶ä»äŗŗä¹åØęØåØē ē©¶čæå±ļ¼ē®ę ęÆå»ŗē«äøäøŖę“å¼ę¾ćę“åä½ēęØ”åč®ē»ēęē³»ē»ćå¦ęęØåƹčæ锹巄ä½ęå “č¶£ļ¼čÆ·äøę们čē³»ä»„åäøå ¶äøć