Jsou malé jazykové modely (SLMs) dalším revolučním prvkem umělé inteligence?

I když se průmysl AI stále silně zaměřuje na velké jazykové modely (LLMs), rostoucí skupina odborníků věří, že malé jazykové modely (SLMs) by brzy mohly převzít hlavní roli.

Jak technologické společnosti zvyšují investice do generativní AI během rušného svátečního období, diskuse se přesouvá k potřebě cílených řešení namísto monolitických systémů.

I když LLMs vynikají v řešení různorodých úloh, často jsou náročné na zdroje, což přináší výzvy v nákladech, spotřebě energie a výpočetních nárocích.

Podle generálního ředitele AWS Matta Garmana již existuje značný zájem ze strany podniků využívajících generativní AI poháněné modely jako je Anthropic.

Přesto, LLMs, i když dominují v některých oblastech, nejsou univerzálně přizpůsobitelné.

Generální ředitel Teradata Steven McMillan prosazuje SLMs jako budoucnost AI, zdůrazňující jejich schopnost poskytovat výstupy specifické pro úkol.

McMillan vyjádřil:

„Když se díváme do budoucnosti, myslíme si, že malé a střední jazykové modely a řízená prostředí, jako jsou doménově specifické LLM, poskytnou mnohem lepší řešení.“

SLMs jsou navrženy cíleně, trénovány na specifických datech, aby poskytovaly vysoce relevantní poznatky a zároveň zajišťovaly ochranu dat.

Komplexní průzkum malých jazykových modelů

Pěkný průzkum malých jazykových modelů (SLMs) a diskuse o otázkách souvisejících s definicemi, aplikacemi, vylepšeními, spolehlivostí a dalšími. https://t.co/qVxuY1jWDE pic.twitter.com/WZuRm1fqU4

— elvis (@omarsar0) 7. listopadu 2024

Na rozdíl od svých větších protějšků optimalizují energii a výpočetní zdroje tak, aby se přizpůsobily potřebám projektu, což nabízí nákladově efektivní a efektivní alternativu.

Pro podniky vyžadující hlubokou odbornost v konkrétní oblasti poskytují specializované modely—buď doménově specifické LLM nebo SLM—nepřekonatelnou přesnost. Například model přizpůsobený pro ředitele marketingu (CMO) ve srovnání s jedním pro ředitele finančního oddělení (CFO) poskytuje vysoce kontextové a relevantní poznatky v rámci svého pole školení.

Jak se krajina AI vyvíjí, vzestup SLMs zdůrazňuje rostoucí poptávku po přesnosti, efektivitě a škálovatelnosti—kvalitách, které by mohly redefinovat budoucnost inteligentních systémů.

Jsou SLMs lepší volbou?

Asociace datových vědců (ADaSci) odhaduje, že vývoj SLM s 7 miliardami parametrů pro obsluhu jednoho milionu uživatelů by vyžadoval pouze 55,1 MWh (megawatthodin) elektřiny.

Naopak, trénink GPT-3, s jeho 175 miliardami parametrů, spotřeboval ohromujících 1,287 MWh, aniž by zahrnoval energii použitou, když je model aktivně nasazen.

To znamená, že SLM používá téměř 5 % energie potřebné LLM.

Velké jazykové modely (LLMs), kvůli svým obrovským výpočetním nárokům, jsou obvykle provozovány na cloudových serverech, což často znamená, že společnosti ztrácí kontrolu nad svými daty a čelí pomalejším časům odezvy, když informace putují po internetu.

Slabší je lepší - Skvělý článek od @GoogleDeepMind

**Problém**🔍:

Trénink jazykových modelů (LMs) na kvalitních syntetických datech z silných LMs je běžný pro zlepšení rozumění, ale nemusí být výpočetně optimální pod pevným rozpočtem pro inference.

**Klíčové poznatky z tohoto článku… pic.twitter.com/PIbhSN3zVV

— Rohan Paul (@rohanpaul_ai) 28. září 2024

Jak podniky stále více přijímají umělou inteligenci, je jasné, že jedna velikost nebude vyhovovat všem.

Společnosti budou upřednostňovat efektivitu, nákladovou efektivnost a minimalizaci přenosu dat do cloudu výběrem nejvhodnějšího modelu pro každý projekt—ať už jde o univerzální LLM nebo menší, specializovaný model.

V této vyvíjející se krajině budou efektivita a přesnost klíčové.

McMillan řekl:

„Když přemýšlíte o trénování AI modelů, musí být založeny na zásadě skvělých dat.“

Dodává:

„To je to, o co nám všem jde, poskytovat ten důvěryhodný datový soubor a poté poskytovat schopnosti a analytické schopnosti, aby klienti a jejich zákazníci mohli důvěřovat výstupům.“

Menší, doménově specifické LLM nabízejí atraktivní alternativu, umožňující podnikům využívat sílu AI bez vysokých nákladů na zdroje a složitosti větších modelů.

Jak se AI stává centrálním prvkem rozhodování v podnikání, bude kritické vybrat správný model pro každý úkol, čímž se zajistí spolehlivé a škálovatelné výsledky.