Sind SLMs die nächste Veränderung im Spiel der KI?

Während die KI-Branche stark auf große Sprachmodelle (LLMs) fokussiert bleibt, glaubt eine wachsende Gruppe von Experten, dass kleine Sprachmodelle (SLMs) bald im Mittelpunkt stehen könnten.

Da Technologieunternehmen ihre Investitionen in generative KI während der geschäftigen Feiertagssaison steigern, verlagert sich das Gespräch auf die Notwendigkeit maßgeschneiderter Lösungen statt monolithischer Systeme.

Während LLMs bei der Bewältigung vielfältiger Aufgaben glänzen, sind sie oft ressourcenintensiv, was Herausforderungen in Bezug auf Kosten, Energieverbrauch und Rechenanforderungen mit sich bringt.

Laut AWS-CEO Matt Garman gibt es bereits erhebliches Interesse von Unternehmen, die generative KI nutzen, die von Modellen wie Anthropic unterstützt wird.

Doch LLMs sind, während sie in einigen Bereichen dominant sind, kein universeller Fit.

Der CEO von Teradata, Steven McMillan, befürwortet SLMs als die Zukunft der KI und betont deren Fähigkeit, aufgabenbezogene Ergebnisse zu liefern.

McMillan äußerte:

„Wenn wir in die Zukunft blicken, glauben wir, dass kleine und mittlere Sprachmodelle und kontrollierte Umgebungen wie domänenspezifische LLMs viel bessere Lösungen bieten werden.“

SLMs sind gezielt entwickelt, auf spezifischen Datensätzen trainiert, um hochgradig relevante Einblicke zu bieten und gleichzeitig die Datensicherheit zu gewährleisten.

Eine umfassende Umfrage zu kleinen Sprachmodellen

Schöne Umfrage zu kleinen Sprachmodellen (SLMs) und Diskussion über Themen im Zusammenhang mit Definitionen, Anwendungen, Verbesserungen, Zuverlässigkeit und mehr. https://t.co/qVxuY1jWDE pic.twitter.com/WZuRm1fqU4

— elvis (@omarsar0) 7. November 2024

Im Gegensatz zu ihren größeren Pendants optimieren sie Energie- und Rechenressourcen, um sich an die Bedürfnisse eines Projekts anzupassen, und bieten eine kosteneffektive und effiziente Alternative.

Für Unternehmen, die tiefes Fachwissen in einem bestimmten Bereich benötigen, bieten spezialisierte Modelle – sei es domänenspezifische LLMs oder SLMs – unvergleichliche Genauigkeit. Ein Modell, das für einen Chief Marketing Officer (CMO) maßgeschneidert ist, liefert beispielsweise hochgradig kontextuelle und relevante Einblicke in sein Trainingsfeld, im Gegensatz zu einem Modell für einen Chief Financial Officer (CFO).

Da sich die KI-Landschaft weiterentwickelt, hebt der Aufstieg von SLMs eine wachsende Nachfrage nach Präzision, Effizienz und Skalierbarkeit hervor – Qualitäten, die die Zukunft intelligenter Systeme neu definieren könnten.

Sind SLMs eine bessere Option?

Die Vereinigung der Datenwissenschaftler (ADaSci) schätzt, dass die Entwicklung eines SLM mit 7 Milliarden Parametern, um eine Million Nutzer zu bedienen, nur 55,1 MWh (Megawattstunden) Strom erfordern würde.

Im Gegensatz dazu verbrauchte das Training von GPT-3 mit seinen 175 Milliarden Parametern unglaubliche 1.287 MWh, ohne die Energie zu berücksichtigen, die verwendet wird, wenn das Modell aktiv eingesetzt wird.

Das bedeutet, dass ein SLM nur etwa 5 % der Energie benötigt, die ein LLM erfordert.

LLMs, aufgrund ihrer enormen Rechenanforderungen, werden typischerweise auf Cloud-Servern betrieben, was oft bedeutet, dass Unternehmen die Kontrolle über ihre Daten verlieren und langsamere Antwortzeiten haben, da Informationen über das Internet reisen.

Schwächer ist besser - Großartiges Papier von @GoogleDeepMind

**Problem**🔍:

Das Training von Sprachmodellen (LMs) mit hochwertigen synthetischen Daten aus starken LMs ist gängig zur Verbesserung des Denkens, kann aber unter festen Inferenzbudgets möglicherweise nicht rechenoptimal sein.

**Schlüsselerkenntnisse aus diesem Papier… pic.twitter.com/PIbhSN3zVV

— Rohan Paul (@rohanpaul_ai) 28. September 2024

Da Unternehmen zunehmend KI übernehmen, ist klar, dass eine Lösung nicht für alle passt.

Unternehmen werden Effizienz, Kosteneffektivität und Minimierung des Datenverkehrs zur Cloud priorisieren, indem sie das am besten geeignete Modell für jedes Projekt auswählen – sei es ein allgemeines LLM oder ein kleineres, spezialisierteres Modell.

In dieser sich entwickelnden Landschaft werden Effizienz und Genauigkeit von größter Bedeutung sein.

McMillan sagte:

„Wenn Sie an das Training von KI-Modellen denken, müssen sie auf der Grundlage großartiger Daten aufgebaut sein.“

Er fügte hinzu:

„Das ist es, worum es uns geht, die vertrauenswürdigen Datensätze bereitzustellen und dann die Fähigkeiten und Analysefähigkeiten zu bieten, damit die Kunden und deren Kunden die Ergebnisse vertrauen können.“

Kleinere, domänenspezifische LLMs bieten eine attraktive Alternative, die es Unternehmen ermöglicht, die Leistungsfähigkeit von KI zu nutzen, ohne die hohen Ressourcen- und Komplexitätskosten größerer Modelle.

Da KI zentral für die Geschäftsentscheidung wird, wird die Auswahl des richtigen Modells für jede Aufgabe entscheidend sein, um sowohl zuverlässige als auch skalierbare Ergebnisse zu gewährleisten.