ä½č ļ¼Eugene Cheah
ē¼čÆļ¼J1Nļ¼Techub News
AI ē®åęę¬äøéļ¼å°ęæåååå ¬åøå©ēØä½ęę¬čµęŗčæč”åę°ēēę½®ć
å»å¹“ē±äŗ AI ē®åä¾åŗē“§å¼ ļ¼H100 ēē§čµä»·ę ¼é«č¾¾ęÆå°ę¶ 8 ē¾å ļ¼ä½ē°åØåøåŗäøē®åä¾åŗčæå©ļ¼ä»·ę ¼éå°äŗęÆå°ę¶ 2 ē¾å 仄äøćčæęÆē±äŗäøäŗå ¬åøåØę©ęē¾ē½²äŗē®åē§čµååļ¼äøŗäŗäø让čæå©ēē®åęµŖč“¹ļ¼äŗęÆå¼å§č½¬å®å ¶é¢ēēč®”ē®čµęŗļ¼čåøåŗ大å¤éę©ä½æēØå¼ęŗęØ”åļ¼åƼč“ę°ęØ”åēéę±åå°ćē°åØļ¼åøåŗäø H100 ēä¾åŗéčæč¶ éę±ļ¼å ę¤ē§ēØ H100 ęÆč“ä¹°ę“åē®ļ¼ęčµč“ä¹°ę°ē H100 å·²äøåå ·ęę¶ēć
AI ē«čµē®å²
GPU ē®ååøåŗēä»·ę ¼äøč·Æé£åļ¼H100 ęåēē§éēŗ¦äøŗęÆå°ę¶ 4.70 ē¾å ļ¼ę¶Øå°ęé«č¶ čæ 8 ē¾å ćčæęÆē±äŗ锹ē®åå§äŗŗäøŗäŗå®ē°äøäøč½®ččµļ¼å¹¶čÆ“ęęčµč ļ¼åæ é”»ęē“§ę¶é“č®ē»ä»ä»¬ē AI ęØ”åć
ChatGPT äŗ 2022 幓 11 ęęØåŗļ¼ä½æēØēęÆ A100 ē³»åē GPUćå°äŗ 2023 幓 3 ęļ¼NVIDIA ęØåŗäŗę°ē H100 ē³»å GPUļ¼åØå ¶å®£ä¼ äøęå° H100 ēę§č½ęÆ A100 å¼ŗ 3 åļ¼ä½ä»·ę ¼å“åŖęÆ A100 é« 2 åć
čæåƹ AI ååå ¬åøę„čÆ“ęÆäøäøŖå·Ø大ēåøå¼åćå äøŗ GPU ēę§č½ē“ę„å³å®äŗä»ä»¬åÆ仄å¼åē AI ęØ”åēéåŗ¦åč§ęØ”ćH100 ēå¼ŗ大ę§č½ęå³ēčæäŗå ¬åøč½å¤å¼ååŗęÆ仄åę“åæ«ćę“大ćę“é«ęē AI ęØ”åļ¼ēč³ęåÆč½čæ½čµ¶ęč¶ čæå OpenAI čæę ·ēč”äøé¢åƼč ćå½ē¶ļ¼čæäøåēåęęÆä»ä»¬ę„ęč¶³å¤ēčµę¬ę„č“ä¹°ęē§ēØ大éē H100ć
ē±äŗ H100 ēę§č½å¤§å¤§ęåļ¼åå äø AI é¢åēęæēē«äŗļ¼å¾å¤ååå ¬åøé½ęå „äŗå·Øé¢čµéę„ę¢č“ H100ļ¼ēØå®ę„å éä»ä»¬ēęØ”åč®ē»ćčæē§éę±ēęæå¢åÆ¼č“ H100 ēē§čµä»·ę ¼ę“ę¶Øļ¼ęåęÆå°ę¶ 4.70 ē¾å ļ¼ä½åę„ę¶Øå°č¶ čæ 8 ē¾å ć
čæäŗååå ¬åøä¹ę仄ęæęęÆä»é«ęēē§éļ¼ęÆå äøŗä»ä»¬ę„äŗåæ«éč®ē»ęØ”åļ¼ä»„ä¾æåØäøäøč½®ččµäøåøå¼ęčµč ēę³Øęļ¼äŗåå°ę°äŗæē¾å ēčµéę„ē»§ē»ę©å±ä»ä»¬ēäøå”ć
åƹäŗę„ę大é H100 GPU ēē®åäøåæļ¼ååŗļ¼ę„čÆ“ļ¼ē§čµ GPU ēéę±éåøøé«ļ¼čæå°±åęÆćéäøéØę„ēé±ććåå ęÆčæäŗ AI ååå ¬åøę„äŗē§ēØ H100 ę„č®ē»ä»ä»¬ēęØ”åļ¼ēč³ęæęé¢ä»ē§éćčæęå³ē GPU ååŗåÆ仄仄éæęēęÆå°ę¶ 4.70 ē¾å ļ¼ęę“é«ļ¼ē§åŗä»ä»¬ē GPUć
ę ¹ę®č®”ē®ļ¼å¦ęä»ä»¬č½ä»„čæē§ä»·ę ¼ęē»åŗē§ GPUļ¼é£ä¹ä»ä»¬ęčµč“ä¹° H100 ēåę„åØęļ¼å³ę¶åč“ä¹°ęę¬ēę¶é“ļ¼å°äøå° 1.5 幓ćåę„ęē»ęåļ¼ä¹åęÆå° GPU ęÆ幓č½åø¦ę„č¶ čæ 10 äøē¾å ēåē°éęµę¶å „ć
ē±äŗåƹ H100 åå ¶ä»é«ę§č½ GPU ēéę±ęē»é«ę¶Øļ¼GPU ååŗēęčµč ēå°äŗå·Ø大ēå©ę¶¦ē©ŗé“ļ¼å ę¤ä»ä»¬äøä» åęäŗčæē§åäøęØ”å¼ļ¼ēč³čæčæ½å äŗę“大ēęčµļ¼č“ä¹°ę“å¤ GPU 仄čµåę“å¤å©ę¶¦ć
ćééé¦ēęč ¢ćļ¼åä½äŗęč®°č½½ēåå²äøē¬¬äøꬔęęŗę³”ę²«ä¹åļ¼ééé¦ä»·ę ¼åØ 1634 幓ęē»ęåļ¼å¹¶äŗ 1637 幓 2 ęå“©ē
éēäŗŗå·„ęŗč½å大ę°ę®å¤ēéę±ēå¢éæļ¼ä¼äøåƹé«ę§č½ GPUļ¼å°¤å ¶ęÆ NVIDIA ē H100ļ¼ēéę±ęæå¢ļ¼äøŗäŗęÆęčæäŗč®”ē®åÆéåä»»å”ļ¼å Øēä¼äøåØē”¬ä»¶ååŗē”č®¾ę½äøåęå·²ęå „ēŗ¦ 6000 äŗæē¾å ļ¼ēØäŗč“ä¹° GPUćå»ŗč®¾ę°ę®äøåæēļ¼ä»„ęåč®”ē®č½åćē¶čļ¼ē±äŗä¾åŗé¾ē延čæļ¼H100 ēä»·ę ¼åØ 2023 幓大éØåę¶é“éå± é«äøäøļ¼ēč³č¶ čæęÆå°ę¶ 4.70 ē¾å ļ¼é¤é买家ęæęé¢ä»å¤§é¢å®éćå°äŗ 2024 幓åļ¼éēę“å¤ēä¾åŗåčæå „åøåŗļ¼H100 ēē§čµä»·ę ¼éč³ēŗ¦ 2.85 ē¾å ļ¼ä½ęå¼å§ę¶å°åē±»ęØéé®ä»¶ļ¼åę äŗåøåŗä¾åŗå¢å åē«äŗå å§ēę åµć
č½ē¶ęå H100 GPU ēē§čµä»·ę ¼åØęÆå°ę¶ 8 č³ 16 ē¾å ä¹é“ļ¼ä½å°äŗ 2024 幓 8 ęļ¼ęåå¼ē§čµä»·ę ¼å·²éč³ęÆå°ę¶ 1 å° 2 ē¾å ćåøåŗä»·ę ¼ęÆ幓é¢č®”ä¼äøé 40% ęę“å¤ļ¼čæč¶ NVIDIA é¢ęµē 4 幓å ē»“ęęÆå°ę¶ 4 ē¾å ēé¢ęćčæē§čæ éēä»·ę ¼äøę»ē»é£äŗåč“ä¹°é«ä»·ę° GPU ēäŗŗåø¦ę„äŗč“¢å”é£é©ļ¼å äøŗä»ä»¬åÆč½ę ę³éčæē§čµåę¶ęę¬ć
ęčµ 5 äøē¾å č“ä¹°äøå¼ H100 ēčµę¬åę„ēęÆå¤å°ļ¼
åØäøččēµååå·å“ęę¬ēåęäøļ¼H100 ēč“ä¹°ęę¬å¤§ēŗ¦äøŗ 5 äøē¾å ļ¼é¢č®”ä½æēØåÆæå½äøŗ 5 幓ćē§čµéåøøęäø¤ē§ęØ”å¼ļ¼ēęęéē§čµåéæęé¢č®¢ćēęē§čµä»·ę ¼č¾é«ļ¼ä½ēµę“»ę§å¼ŗļ¼éæęé¢č®¢åä»·ę ¼č¾ä½ä½ēسå®ćę„äøę„ļ¼ęē« ä¼éčæåęčæäø¤ē§ęØ”å¼ēę¶ēļ¼ę„č®”ē®ęčµč åØ 5 幓å č½å¦ę¶åęę¬å¹¶č·å¾ēå©ć
ēęęéē§čµ
ē§čµä»·ę ¼ä»„ååƹåŗēę¶ēļ¼
>$2.85 : č¶ č¶č”åø IRRļ¼å®ē°ēå©ć
<$2.85 : ę¶ēä½äŗęčµč”åøę¶ēć
<$1.65 : é¢č®”ęčµę失ć
éčæćę··åä»·ę ¼ćęØ”åé¢ęµļ¼ęŖę„ 5 幓å ē§éåÆč½äøéå°å½åä»·ę ¼ē 50%ćå¦ęē§čµä»·ę ¼äæęåØęÆå°ę¶ 4.50 ē¾å ļ¼ęčµåę„ēļ¼IRRļ¼č¶ čæ 20%ļ¼åęå©åÆå¾ļ¼ä½å½ä»·ę ¼éč³ 2.85 ē¾å / å°ę¶ę¶ļ¼IRR ä» ę 10%ļ¼åę„ę¾čéä½ćå¦ęä»·ę ¼č·ē “ 2.85 ē¾å ļ¼ęčµåę„ēč³åÆč½ä½äŗč”åøę¶ēļ¼čå½ä»·ę ¼ä½äŗ 1.65 ē¾å ę¶ļ¼ęčµč å°é¢äø“äø„éēäŗęé£é©ļ¼ē¹å«ęÆåƹäŗčæęč“ä¹° H100 ęå”åØēäŗŗć
ę³Øļ¼ćę··åä»·ę ¼ćęÆäøäøŖåč®¾ļ¼č®¤äøŗ H100 ēē§čµä»·ę ¼åØęŖę„ 5 幓å éęøäøéå°å½åä»·ę ¼ēäøåćčæē§ä¼°č®”č¢«č®¤äøŗęÆä¹č§ēļ¼å äøŗå½ååøåŗä»·ę ¼ęÆ幓äøéč¶ čæ 40%ļ¼ę仄ččä»·ę ¼äøéęÆåēēć
éæęé¢č®¢ē§ēŗ¦ļ¼3 幓仄äøļ¼
åØ AI ēę½®ęé“ļ¼č®øå¤čēåŗē”č®¾ę½ęä¾ååŗäŗčæå»ēē»éŖļ¼å°¤å ¶ęÆåØå åÆ蓧åøę©ę仄å¤Ŗå PoW ę¶ä»£ē»åčæ GPU ē§éä»·ę ¼ę“ę¶Øę“č·ēåØęļ¼å ę¤åØ 2023 幓ļ¼ä»ä»¬ęØåŗäŗ 3-5 幓ēé«ä»·é¢ä»ę¬¾ē§čµååļ¼ä»„éå®å©ę¶¦ćčæäŗååéåøøč¦ę±å®¢ę·ęÆä»é«äŗęÆå°ę¶ 4 ē¾å ēä»·ę ¼ļ¼ēč³é¢ä» 50% å° 100% ēē§éćéē AI éę±ęæå¢ļ¼å°¤å ¶ęÆåØå¾åēęé¢åēåŗē”ęØ”åå ¬åøäøŗäŗę¢å åøåŗå ęŗćēå ä½æēØęę°ē GPU éē¾¤ļ¼å°½ē®”čæäŗååä»·ę ¼é«ęļ¼ä½ä»ä»¬äøå¾äøē¾č®¢ļ¼ä»„åæ«éå®ęē®ę ęØ”åļ¼ęåē«äŗåćē¶čļ¼å½ęØ”åč®ē»å®ęåļ¼čæäŗå ¬åøäøåéč¦čæäŗ GPU čµęŗļ¼ä½ē±äŗååéå®ēå ³ē³»ļ¼ä»ä»¬ę ę³č½»ęéåŗļ¼äøŗäŗåå°ę失ļ¼ä»ä»¬éę©å°čæäŗē§čµē GPU čµęŗč½¬å®ļ¼ä»„åę¶éØåęę¬ćčæåƼč“åøåŗäøåŗē°äŗ大éč½¬å®ē GPU čµęŗļ¼ä¾åŗå¢å ļ¼å½±åäŗåøåŗēē§čµä»·ę ¼åä¾éå ³ē³»ć
å½åē H100 ä»·å¼é¾
ę³Øļ¼ä»·å¼é¾ļ¼Value chainļ¼ļ¼ååä»·å¼é¾åęćä»·å¼é¾ęØ”åēćē±čæå å°ć»ę³¢ē¹åØ 1985 幓ļ¼äŗćē«äŗä¼åæćäø书äøęåŗēćę³¢ē¹ęåŗä¼äøč¦åå±ē¬ē¹ēē«äŗä¼åæļ¼č¦äøŗå ¶åååęå”åé ę“é«éå ä»·å¼ļ¼åäøēē„ęÆē»ęä¼äøēē»č„ęØ”å¼ļ¼ęäøŗäøē³»åēå¢å¼čæēØļ¼čę¤äøčæäø²ēå¢å¼ęµēØļ¼å°±ęÆćä»·å¼é¾ćć
H100 ä»·å¼é¾ä»ē”¬ä»¶å° AI ęØēęØ”åļ¼å ¶äøēåäøéØ份åÆ仄大č“åäøŗ仄äøå ē±»
äø Nvidia åä½ēē”¬ä»¶ä¾åŗå
ę°ę®äøåæåŗē”č®¾ę½ęä¾åååä½ä¼ä¼“
é£é©ęčµåŗéć大åå ¬åøåååå ¬åøļ¼č®”åå»ŗē«åŗē”ęØ”åļ¼ęå·²ē»å®ęęØ”åå»ŗē«ļ¼
容éē»éåļ¼RunpodćSFComputećTogether.aićVast.aićGPUlist.ai ēć
å½åē H100 ä»·å¼é¾å ę¬ä»ē”¬ä»¶ä¾åŗåå°ę°ę®äøåæęä¾åćAI ęØ”åå¼åå ¬åøć容éē»éåå AI ęØēęå”ęä¾åēå¤äøŖēÆčćåøåŗēäø»č¦ååę„čŖäŗęŖä½æēØē H100 容éē»éåäøęč½¬å®ęåŗē§é²ē½®čµęŗļ¼ä»„åćč¶³å¤å„½ćēå¼ęŗęØ”åļ¼å¦ Llama 3ļ¼ēå¹æę³ä½æēØļ¼åƼč“åƹ H100 ēéę±äøéćčæäø¤å¤§å ē“ å ±ååƼč“äŗ H100 ä¾åŗčæå©ļ¼čæčåƹåøåŗä»·ę ¼é ęäøč”ååć
åøåŗč¶åæļ¼å¼ęŗęéęØ”åēå “čµ·
å¼ęŗęéęØ”åęēęÆé£äŗå°½ē®”ę²”ęę£å¼ēå¼ęŗč®øåÆčÆļ¼ä½å ¶ęéå·²č¢«å ¬å¼å č“¹ååļ¼å¹¶äøč¢«å¹æę³åŗēØäŗåäøé¢åć
čæäŗęØ”åēä½æēØéę±äø»č¦åå°äø¤å¤§å ē“ ęØåØļ¼äøęÆē±»ä¼¼ GPT-4 č§ęØ”ē大åå¼ęŗęØ”åļ¼å¦ LLaMA3 å DeepSeek-v2ļ¼ēåŗē°ļ¼äŗęÆå°åļ¼80 äŗæåę°ļ¼åäøåļ¼700 äŗæåę°ļ¼å¾®č°ęØ”åēęēåå¹æę³éēØć
ē±äŗčæäŗå¼ęŗęØ”åēęēåŗ¦č¶ę„č¶é«ļ¼ä¼äøč½å¤č½»ę¾č·å并ä½æēØå®ä»¬ę„ę»”č¶³å¤§å¤ę° AI åŗēØēéę±ļ¼å°¤å ¶ęÆåØęØēåå¾®č°ę¹é¢ćå°½ē®”čæäŗęØ”ååØęäŗåŗåęµčÆäøåÆč½ē„å¾®éč²äŗäøęęØ”åļ¼ä½å®ä»¬ēę§č½å·²ē»č¶³å¤å„½ļ¼åÆ仄åŗåƹ大å¤ę°åäøēØä¾ćå ę¤ļ¼éēå¼ęŗęéęØ”åēę®åļ¼åøåŗåƹęØēåå¾®č°ēéę±ę£åØåæ«éå¢éæć
å¼ęŗęéęØ”åčæå ·ęäøäøŖå ³é®ä¼åæļ¼
é¦å ļ¼å¼ęŗęØ”åå ·ęå¾é«ēēµę“»ę§ļ¼å č®øēØę·ę ¹ę®ē¹å®é¢åęä»»å”åƹęØ”åčæč”å¾®č°ļ¼ä»čę“儽å°éåŗäøåēåŗēØåŗęÆćå ¶ę¬”ļ¼å¼ęŗęØ”åęä¾äŗåÆé ę§ļ¼å äøŗęØ”åęéäøä¼åęäŗäøęęØ”åé£ę ·åØęŖéē„ēę åµäøę“ę°ļ¼éæå åŗē°äøäŗå ę“ę°čåƼč“ēå¼åé®é¢ļ¼å¢å äŗēØę·åƹęØ”åēäæ”ä»»ćęåļ¼å®čæē”®äæäŗå®å Øę§åéē§ļ¼ä¼äøåÆ仄ē”®äæå ¶ęē¤ŗå客ę·ę°ę®äøä¼éčæē¬¬äøę¹ API ē«Æē¹č¢«ę³é²ļ¼éä½äŗę°ę®éē§é£é©ćę£ęÆčæäŗä¼åæäæä½æå¼ęŗęØ”åēęē»å¢éæåå¹æę³éēØļ¼ē¹å«ęÆåØęØēåå¾®č°ę¹é¢ć
äøå°åęØ”ååä½č éę±č½¬å
äøå°åęØ”ååå»ŗč ęÆęé£äŗę²”ęč½åęč®”åä»å¤“č®ē»å¤§ååŗē”ęØ”åļ¼å¦ 70B åę°ęØ”åļ¼ēä¼äøęååå ¬åøćéēå¼ęŗęØ”åēå “čµ·ļ¼č®øå¤å ¬åøęčÆå°ļ¼åƹē°ęå¼ęŗęØ”åčæč”å¾®č°ļ¼ęÆčŖå·±ä»å¤“č®ē»äøäøŖę°ęØ”åę“å ē»ęµé«ęćå ę¤ļ¼č¶ę„č¶å¤ēå ¬åøéę©å¾®č°ļ¼čéčŖč”č®ē»ęØ”åćčæ大大åå°äŗåƹ H100 ēč®”ē®čµęŗēéę±ć
å¾®č°ęÆä»å¤“č®ē»ä¾æå®å¾å¤ćå¾®č°ē°ęęØ”åęéēč®”ē®čµęŗčæčæå°äŗä»å¤“č®ē»äøäøŖåŗē”ęØ”åć大ååŗē”ęØ”åēč®ē»éåøøéč¦ 16 äøŖęę“å¤ H100 čē¹ļ¼čå¾®č°éåøøåŖéč¦ 1 å° 4 äøŖčē¹ćčæē§č”äøēč½¬åååäŗå°ååäøåå ¬åøåƹ大č§ęØ”éē¾¤ēéę±ļ¼ē“ę„åå°äŗåƹ H100 č®”ē®č½åēä¾čµć
ę¤å¤ļ¼åŗē”ęØ”ååå»ŗēęčµåå°ćåØ 2023 幓ļ¼č®øå¤äøå°åå ¬åøå°čÆåå»ŗę°ēåŗē”ęØ”åļ¼ä½å¦ä»ļ¼é¤éä»ä»¬č½å¤åø¦ę„åę°ļ¼å¦ę“儽ēę¶ęęåƹę°ē¾ē§čÆčØēęÆęļ¼ļ¼å¦åå ä¹äøä¼åęę°ēåŗē”ęØ”ååå»ŗ锹ē®ćčæęÆå äøŗåøåŗäøå·²ē»ęč¶³å¤å¼ŗ大ēå¼ęŗęØ”åļ¼å¦ Llama 3ļ¼č®©å°åå ¬åøå¾é¾čÆęåå»ŗę°ęØ”åēåēę§ćęčµč ēå “č¶£åčµéä¹č½¬åäŗå¾®č°ļ¼čéä»å¤“č®ē»ęØ”åļ¼čæäøę„åå°äŗåƹ H100 čµęŗēéę±ć
ęåļ¼é¢ēčē¹ēčæå©å®¹éä¹ęÆäøäøŖé®é¢ćč®øå¤å ¬åøåØ 2023 幓é«å³°ęéæęé¢å®äŗ H100 čµęŗļ¼ä½ē±äŗč½¬åå¾®č°ļ¼ä»ä»¬åē°čæäŗé¢ēēčē¹å·²ē»äøåéč¦ļ¼ēč³ęäŗē”¬ä»¶å°č“§ę¶å·²ē»čæę¶ćčæäŗęŖä½æēØē H100 čē¹ē°åØč¢«č½¬å®ęåŗē§ļ¼čæäøę„å¢å äŗåøåŗēä¾åŗļ¼åÆ¼č“ H100 čµęŗä¾čæäŗę±ć
ę»ä½ę„ēļ¼éēęØ”åå¾®č°ēę®åćäøå°ååŗē”ęØ”ååå»ŗēåå°ļ¼ä»„åé¢ēčē¹ēčæå©ļ¼H100 åøåŗéę±ęę¾äøéļ¼ä¾čæäŗę±ēę åµå å§ć
åÆ¼č“ GPU ē®åä¾åŗå¢å åéę±åå°ēå ¶ä»å ē“
大åęØ”ååå»ŗč č±ē¦»å¼ęŗäŗå¹³å°
大å AI ęØ”ååå»ŗč å¦ FacebookćX.AI å OpenAI ę£åØéę„ä»å ¬å ±äŗå¹³å°č½¬åčŖå»ŗē§ęč®”ē®éē¾¤ēåå ćé¦å ļ¼ē°ęēå ¬å ±äŗčµęŗļ¼å¦ 1000 äøŖčē¹ēéē¾¤ļ¼å·²ę ę³ę»”č¶³ä»ä»¬č®ē»ę“大ęØ”åēéę±ćå ¶ę¬”ļ¼ä»č“¢å”č§åŗ¦ę„ēļ¼čŖå»ŗéē¾¤ę“ęå©ļ¼å äøŗč“ä¹°ę°ę®äøåæćęå”åØēčµäŗ§åÆ仄å¢å å ¬åøä¼°å¼ļ¼čē§čµå ¬å ±äŗåŖęÆč“¹ēØęÆåŗļ¼ę ę³ęåčµäŗ§ćę¤å¤ļ¼čæäŗå ¬åøę„ęč¶³å¤ēčµęŗåäøäøå¢éļ¼ēč³åÆ仄ę¶č“å°åę°ę®äøåæå ¬åøę„åø®å©ä»ä»¬ęå»ŗåē®”ēčæäŗē³»ē»ćå ę¤ļ¼ä»ä»¬äøåä¾čµå ¬å ±äŗćéēčæäŗå ¬åøč±ē¦»å ¬å ±äŗå¹³å°ļ¼åøåŗåÆ¹č®”ē®čµęŗēéę±åå°ļ¼åÆč½åƼč“ęŖä½æēØēčµęŗéę°čæå „åøåŗļ¼å¢å ä¾åŗć
Vast.ai ę¬č“ØäøęÆäøäøŖčŖē±åøåŗä½ē³»ļ¼ę„čŖäøēåå°ēä¾åŗåēøäŗē«äŗ
é²ē½®äø延čæåŗ蓧ē H100 åę¶äøēŗæ
ē±äŗé²ē½®äø延čæåŗ蓧ē H100 GPU åę¶äøēŗæļ¼äæä½æåøåŗä¾åŗéå¢å ļ¼åƼč“ä»·ę ¼äøéćVast.ai ēå¹³å°éēØčŖē±åøåŗęØ”å¼ļ¼å Øēä¾åŗååØčæéēøäŗē«äŗä»·ę ¼ć2023 幓ļ¼ē±äŗ H100 åŗč“§å»¶čæļ¼č®øå¤čµęŗęŖč½åę¶äøēŗæļ¼ē°åØčæäŗ延čæē H100 čµęŗå¼å§čæå „åøåŗļ¼čæåę°ē H200 å B200 č®¾å¤ļ¼ä»„åååå ¬åøåä¼äøé²ē½®ēč®”ē®čµęŗäøčµ·ä¾åŗćå°ååäøåéē¾¤ēęęč éåøøę„ę 8 å° 64 äøŖčē¹ļ¼ä½ē±äŗå©ēØēä½äøčµéå·²ē»čå°½ļ¼ä»ä»¬ēē®ę ęÆéčæä½ä»·åŗē§čµęŗę„å°½åæ«ę¶åęę¬ćäøŗę¤ļ¼ä»ä»¬éę©éčæåŗå®å©ēćęåē³»ē»ęčŖē±åøåŗå®ä»·ēę¹å¼ę„ē«äŗ客ę·ļ¼å°¤å ¶ęÆęååčŖē±åøåŗęØ”å¼ļ¼ä½æå¾ä¾åŗåäøŗē”®äæčµęŗč¢«ē§ēØčē«ēøéä»·ļ¼ęē»åƼč“ę“äøŖåøåŗēä»·ę ¼å¤§å¹ äøéć
ę“ä¾æå®ē GPU ęæ代å
å¦äøäøŖäø»č¦å ē“ ęÆļ¼äøę¦ē®åęę¬č¶ åŗäŗé¢ē®ļ¼é£ä¹ AI ęØēåŗē”č®¾ę½ä¾æęå¾å¤ęæ代ę¹ę”ļ¼ē¹å«ęÆå¦ęä½ čæč”ēęÆč¾å°ēęØ”åćå°±äøéč¦äøŗä½æēØ H100 ē Infiniband ęÆä»é¢å¤č“¹ēØć
Nvidia åøåŗē»å
H100 GPU ē AI ęØēä»»å”äøę“ä¾æå®ęæ代åēåŗē°ļ¼čæä¼ē“ę„å½±ååøåŗåƹ H100 ēéę±ćé¦å ļ¼č½ē¶ H100 åØ AI ęØ”åēč®ē»åå¾®č°äøéåøøåŗč²ļ¼ä½åØęØēļ¼å³čæč”ęØ”åļ¼é¢åļ¼å¾å¤ę“ä¾æå®ē GPU č½å¤ę»”č¶³éę±ļ¼å°¤å ¶ęÆéåƹč¾å°ēęØ”åćå äøŗęØēä»»å”äøéč¦ H100 ēé«ē«Æåč½ļ¼å¦ Infiniband ē½ē»ļ¼ļ¼ēØę·åÆ仄éę©ę“ē»ęµēęæ代ę¹ę”ļ¼čēęę¬ć
Nvidia čŖå·±ä¹åØęØēåøåŗäøęä¾äŗęæ代äŗ§åļ¼å¦ L40Sļ¼čæęÆäøę¬¾äøéØēØäŗęØēē GPUļ¼ę§č½å¤§ēŗ¦ęÆ H100 ēäøåä¹äøļ¼ä½ä»·ę ¼åŖęäŗåä¹äøćč½ē¶ L40S åØå¤čē¹č®ē»ę¹é¢ęęäøå¦ H100ļ¼ä½åƹäŗåčē¹ęØēåå°åéē¾¤ēå¾®č°ļ¼å·²ē»č¶³å¤å¼ŗ大ļ¼čæäøŗēØę·ęä¾äŗäøäøŖę“å ·ę§ä»·ęÆēéę©ć
H100 Infiniband éē¾¤ę§č½é ē½®č”Øļ¼2024 幓 8 ęļ¼
AMD å Intel ęæ代ä¾åŗå
å¦å¤ļ¼AMD å Intel ä¹ęØåŗäŗä»·ę ¼ę“ä½ē GPUļ¼ä¾å¦ AMD ē MX300 å Intel ē Gaudi 3ćčæäŗ GPU åØęØēååčē¹ä»»å”äøč”Øē°ä¼å¼ļ¼ä»·ę ¼ęÆ H100 ę“ä¾æå®ļ¼åę¶čæę„ęę“å¤ēå ååč®”ē®č½åćå°½ē®”å®ä»¬åØ大åå¤čē¹éē¾¤č®ē»äøčæęŖå¾å°å®å ØéŖčÆļ¼ä½åØęØēä»»å”äøå·²ē»č¶³å¤ęēļ¼ęäøŗ H100 ēęåęæ代åć
čæäŗę“ä¾æå®ē GPU å·²ē»č¢«čÆęč½å¤å¤ē大å¤ę°ęØēä»»å”ļ¼å°¤å ¶ęÆåøøč§ęØ”åę¶ęļ¼å¦ LLaMA 3ļ¼äøēęØēåå¾®č°ä»»å”ćå ę¤ļ¼ēØę·åØč§£å³å ¼å®¹ę§é®é¢åļ¼åÆ仄éę©čæäŗęæ代 GPUļ¼ä»„éä½ęę¬ćę»ē»ę„čÆ“ļ¼ęØēé¢åäøēčæäŗęæ代åę£éęøå代 H100ļ¼ē¹å«ęÆåØå°č§ęØ”ęØēåå¾®č°ä»»å”äøļ¼čæčæäøę„éä½äŗåƹ H100 ēéę±ć
Web3 é¢å GPU ä½æēØēäøé
ē±äŗå åÆ蓧åøåøåŗååļ¼GPU åØå åÆęēæäøēä½æēØēäøéļ¼å¤§é GPU å ę¤ęµå „äŗåøåŗćå°½ē®”čæäŗ GPU ē±äŗē”¬ä»¶éå¶ę ę³čä»»å¤ęē AI č®ē»ä»»å”ļ¼ä½å®ä»¬åØč¾ē®åē AI ęØēå·„ä½äøč”Øē°čÆ儽ļ¼ē¹å«ęÆåƹäŗé¢ē®ęéēēØę·ļ¼å¤ēč¾å°ęØ”åļ¼å¦ 10B åę°ä»„äøļ¼ēä»»å”ę¶ļ¼čæäŗ GPU ęäøŗę§ä»·ęÆå¾é«ēéę©ćē»čæä¼åļ¼čæäŗ GPU ēč³åÆ仄čæč”大åęØ”åļ¼ęę¬ęÆä½æēØ H100 čē¹ę“ä½ć
AI ē®åē§čµę³”ę²«åļ¼ē°åØēåøåŗå¦ä½ļ¼
ē°åØå „åŗé¢äø“ēé®é¢ļ¼ę°å ¬å ±äŗ H100 éē¾¤čæå „åøåŗč¾ęļ¼åÆč½ę ę³ēå©ļ¼äøäŗęčµč åÆč½ä¼ę失ęØéć
ę°čæå „åøåŗē H100 å ¬å ±äŗéē¾¤é¢äø“ēēå©ęęćå¦ęē§čµä»·ę ¼č®¾å®čæä½ļ¼ä½äŗ 2.25 ē¾å ļ¼ļ¼åÆč½ę ę³č¦ēčæč„ęę¬ļ¼åƼč“äŗęļ¼å¦ęå®ä»·čæé«ļ¼3 ē¾å ę仄äøļ¼ļ¼ååÆč½å¤±å»å®¢ę·ļ¼åƼč“äŗ§č½é²ē½®ćę¤å¤ļ¼č¾ęčæå „åøåŗēéē¾¤å äøŗéčæäŗę©ęēé«ä»·ļ¼4 ē¾å / å°ę¶ļ¼ļ¼é¾ä»„åę¶ęę¬ļ¼ęčµč é¢äø“ę ę³ēå©ēé£é©ćčæä½æå¾éē¾¤ęčµåå¾éåøøå°é¾ļ¼ēč³åÆč½åƼč“ęčµč éåé大ę失ć
ę©ęå „åŗč ēę¶ēę åµļ¼ę©ęē¾ē½²äŗéæęē§čµååēäøåę大åęØ”ååå»ŗč ļ¼å·²ē»ę¶åęę¬å¹¶å®ē°ēå©
äøåå大åęØ”ååå»ŗč éčæéæęē§čµ H100 č®”ē®čµęŗå·²ē»č·å¾äŗä»·å¼ļ¼čæäŗčµęŗēęę¬åØččµę¶å·²č¢«ę¶µēćč½ē¶éØåč®”ē®čµęŗęŖå®å Øå©ēØļ¼ä½čæäŗå ¬åøéčæččµåøåŗå°čæäŗéē¾¤ēØäŗå½ååęŖę„ēęØ”åå¹č®ļ¼å¹¶ä»äøęåäŗä»·å¼ćå³ä½æęęŖä½æēØēčµęŗļ¼ä»ä»¬ä¹č½éčæč½¬å®ęē§čµč·å¾é¢å¤ę¶å „ļ¼čæéä½äŗåøåŗä»·ę ¼ļ¼åå°äŗč“é¢å½±åļ¼ę“ä½äøåƹēęē³»ē»äŗ§ēäŗē§Æęå½±åć
ę³”ę²«ē “ēåļ¼ļ¼ä»·ę ¼ä½å»ē H100 åÆ仄å éå¼ęŗå¼ AI ēéēØęµŖę½®
ä½ä»· H100 GPU ēåŗē°å°ęØåØå¼ęŗå¼ AI ēåå±ćéē H100 ä»·ę ¼äøéļ¼AI å¼åč åäøä½ē±å„½č åÆ仄ę“ä¾æå®å°čæč”åå¾®č°å¼ęŗęéęØ”åļ¼ä½æčæäŗęØ”åēéēØę“å¹æę³ćå¦ęęŖę„éęŗęØ”åļ¼å¦ GPT5++ļ¼ę²”ęå®ē°é大ęęÆēŖē “ļ¼å¼ęŗęØ”åäøéęŗęØ”åēå·®č·å°ē¼©å°ļ¼ęØåØ AI åŗēØēåå±ćéē AI ęØēåå¾®č°ęę¬éä½ļ¼åÆč½å¼åę°ē AI åŗēØęµŖę½®ļ¼å éåøåŗēę“ä½čæę„ć
ē»č®ŗļ¼äøč¦č“ä¹°å Øę°ē H100
å¦ęē°åØęčµč“ä¹°å Øę°ē H100 GPU 大ę¦ēä¼äŗęćäøčæåŖęåØē¹ę®ę åµäøļ¼ęÆå¦é”¹ē®č½å¤č“ä¹°å°ęęē H100ćå»ä»·ēēµåęę¬ļ¼ęåØå ¶ AI äŗ§ååØåøåŗäøę„ęč¶³å¤ē«äŗåę¶ļ¼åå»ęčµęåÆč½åēćå¦ęä½ ę£åØččęčµļ¼å»ŗč®®å°čµéęå „å ¶ä»é¢åęč”ē„Øåøåŗļ¼ä»„č·å¾ę“儽ēåę„ēć