In einem aktuellen Interview im Training Data-Podcast von Sequoia Capital bekräftigte Kevin Scott, CTO von Microsoft, seinen Glauben an den dauerhaften Wert der Skalierungsgesetze großer Sprachmodelle (LLM).
Lesen Sie auch: KI-Apps werden mit „Sicherheitsetiketten“ ausgestattet, die auf Risiken und Tests hinweisen
Scott, der eine große Rolle beim 13-Milliarden-Dollar-Deal zwischen Microsoft und OpenAI spielte, bleibt hinsichtlich des Potenzials für weitere Fortschritte optimistisch. Er reagierte auf die anhaltende Debatte mit der Feststellung, dass die Idee der Skalierung von Gesetzen im Bereich der KI immer noch relevant sei.
OpenAI-Forschung unterstützt Skalierungsvorteile
Die von den OpenAI-Forschern im Jahr 2020 vorgeschlagenen LLM-Skalierungsgesetze besagen, dass die Effizienz von Sprachmodellen proportional zur Größe des Modells zunimmt. Scott widerlegte das Gesetz der abnehmenden Erträge und sagte, dass es immer noch möglich sei, exponentielles Wachstum zu erreichen, aber dass dazu möglicherweise die nächsten Generationen von Supercomputern erforderlich seien.
Während einige Wissenschaftler die Nachhaltigkeit von Skalierungsgesetzen in Frage stellen, verlässt sich OpenAI nach wie vor auf sie als Schlüsselkomponente seines KI-Plans. Scotts Bemerkungen stehen im Einklang mit Microsofts Ansatz zu diesen Prinzipien, was bedeutet, dass der Technologieriese nicht die Absicht hat, die Entwicklung größerer KI-Modelle einzustellen.
KI-Community debattiert über zukünftige Modellverbesserungen
Scotts Haltung ist das genaue Gegenteil einiger KI-Kritiker, die meinen, das Wachstum sei bei GPT-4 und anderen ähnlichen Modellen zum Stillstand gekommen. Einige Kritiker haben angeführt, dass die neuesten Modelle, darunter Googles Gemini 1.5 Pro und Anthropics Claude Opus, keine signifikanten Verbesserungen gegenüber früheren Modellen gezeigt hätten. KI-Kritiker Gary Marcus hat diesen Standpunkt im April unterstrichen und den Mangel an signifikanten Fortschritten seit der Veröffentlichung von GPT-4 in Frage gestellt.
Dennoch ist Scott optimistisch, was die Möglichkeit neuer Entdeckungen angeht. Er akzeptierte auch die Tatsache, dass es in der KI nur wenige Datenpunkte gibt, betonte jedoch, dass dies in Zukunft kein Problem mehr sein werde.
„Die nächste Probe kommt, und ich kann Ihnen nicht sagen, wann, und ich kann nicht genau vorhersagen, wie gut sie sein wird, aber sie wird mit ziemlicher Sicherheit bei den Dingen besser sein, die jetzt noch spröde sind.“
Kevin Scott
Microsofts großzügige Finanzierung von OpenAI ist ein Beweis für sein Vertrauen in die zukünftige Weiterentwicklung von LLMs. Zu den KI-Funktionen gehört Microsoft Copilot, was deutlich macht, dass das Unternehmen daran interessiert ist, seine KI-Nutzung zu verbessern. Ed Zitron, ein KI-Kritiker, sagte, dass die KI bis zu einem gewissen Grad stecken bleiben könnte, weil die Menschen zu viel von ihr erwarten.