Autor: Lynn Yang, Silicon Release

Eines Abends letzte Woche hörte ich beim Abendessen einen Podcast auf Spotify.​

Der anwesende Gast war Vinod Khosla, der erste Investor von OpenAI und Gründer von Khosla Ventures, einem führenden Technologie-Risikokapitalunternehmen im Silicon Valley.

Offensichtlich hat man nicht jeden Tag die Gelegenheit, in die Gedankenwelt des ersten Investors von OpenAI einzutauchen.

Deshalb habe ich Khoslas Kernpunkte zusammengestellt und mit Ihnen geteilt. Hier sind sieben von Khoslas Kernpunkten zum Thema KI:

(eins)

Verwandter Hintergrund: Der Moderator fragte Khosla, den ersten Investor von OpenAI, welche KI-Anwendungsfälle er in seinem täglichen Leben hauptsächlich nutzt.

Khosla: Hauptsächlich zwei, ChatGPT und Teslas autonomes Fahren.

Es ist erstaunlich, wie oft ich über Tesla gesprochen habe. Es fühlt sich an, als wäre man völlig selbstfahrend. Weißt du, neulich Nacht bin ich um 3 Uhr morgens gelandet. Damals dachte ich: Ich bin zu müde, ich werde kein sicherer Autofahrer sein. Also sagte ich nur: Bring mich nach Hause. Es war so eine erstaunliche Erfahrung.​

Das sind für mich die Hauptanwendungen von KI. Und ich nutze diese beiden Zwecke viele Male am Tag.​

Was ChatGPT betrifft, verwende ich es, um meinen Frühlingsgarten zu planen.​

Ich sagte zu ChatGPT: Ich möchte Pflanzen, die in Zone 9a wachsen (bezogen auf Pflanzen, die für den Anbau in Zone 9a in der Klassifizierung der USDA-Pflanzenhärtezonen geeignet sind). Ich möchte die Höhe jedes Bereichs, weil ich sie schichte.​

Dann sagte ich auch: Ich möchte einige Blumen, die im Frühling blühen, einige Blumen, die im Frühsommer blühen, einige Blumen, die im Spätsommer blühen, und einige Blumen, die im Herbst blühen.​

Dies ist eigentlich eine Arbeit, die dem Design ähnelt. Ich habe ChatGPT gebeten, mir bei der Anordnung von 20 Pflanzen zu helfen, und es hat mir alle diese Informationen gegeben, darunter: Bewässerungsmenge, Klimazone, Höhe, Bereiche ohne Sonne, Bereiche mit Halbschatten, Bereiche mit hellem Schatten.​

ChatGPT hat also etwas Erstaunliches geleistet. Für diese Dinge hätte ich 3-4 Stunden gebraucht. Also ja, die Gärten wurden alle von mir entworfen, ich beauftrage keinen Designer. Und das kann ich Ihnen versprechen: Mein Garten blüht gerade und Sie werden es vielleicht nicht glauben.​

(zwei)

Verwandter Hintergrund: Der Moderator fragte Khosla als ersten Investor von OpenAI, was er von Apples Ankündigung seiner KI-Strategie und der Zusammenarbeit mit OpenAI halte und welche Auswirkungen diese Zusammenarbeit auf das KI-Startup-Ökosystem in den nächsten Jahren haben würde?

Khosla: Ich denke, Apple muss etwas gegen die KI unternehmen, weil Siris Ruf begonnen hat, sich zu verschlechtern.​

Zunächst einmal besteht der intelligente Ansatz von Apple darin, es offen zu halten und Benutzern den Zugriff auf jedes LLM zu ermöglichen. Aber Apple entschied sich dafür, es in iOS einzubetten und zu integrieren, was ausreichte, um Elon Musk zu verärgern, der behauptete, Apple-Geräte zu verbieten.​

Ich denke, was noch wichtiger ist, ist, dass Apple tatsächlich etwas sehr Wichtiges demonstriert hat: Wie interagieren wir mit Computern? ​

Ich denke, dass sich Siri im Laufe der Zeit zum Beginn einer echten Schnittstelle für Menschen entwickeln wird. Aus dieser Perspektive halte ich das für eine große Neuigkeit, denn wir erleben gerade den Anfang davon. Das ist spannend.​

Aus Sicht von OpenAI hat diese Zusammenarbeit tatsächlich eindeutig die beste Position von OpenAI in der wettbewerbsdirekten Interaktion mit Benutzern ermittelt. Tatsächlich wollen viele Menschen dieses Geschäft.​

Andererseits denke ich, dass Apple sorgfältig hätte überlegen sollen: Wo wird nach Meinung von Apple in ein bis zwei Jahren die beste KI sein?​

Daher ist die Zusammenarbeit von Apple mit OpenAI in vielerlei Hinsicht eine Verifizierung von OpenAI und ein sehr wichtiger Meilenstein in der Art und Weise, wie Menschen mit Maschinen interagieren.

(drei)

Verwandter Hintergrund: Der Moderator fragte Khosla, wie Apples Fall zeigt, wie viel mit einem kleinen Modell erreicht werden kann. Wie ist also die zukünftige Positionierung großer Modelle? Und wenn jeder kleine Models will, sieht die Zukunft dann so aus: Man kann mit vielen Leuten reden, manche mit einem IQ von 50, manche mit einem IQ von 100 und manche mit einem IQ von 10.000. Und dann kommt es darauf an, wofür Sie Ihr Geld ausgeben möchten, ob Sie Ihr Geld ausgeben möchten, um jemandem mit einem IQ von 10.000 eine Frage zu stellen, oder ob Sie jemanden mit einem IQ von vielleicht 70 fragen möchten, der das weiß Inhalt Ihrer E-Mail? Hier geht es um das Gleichgewicht zwischen Produktverarbeitungsrichtung und den für das Modell berechneten Kosten. Glauben Sie, dass die Zukunft ein solch hart umkämpfter Wettbewerb sein wird?

Khosla: Kleine Modelle und große Modelle sind unterschiedlich und können sich nicht gegenseitig ersetzen.​

Darüber hinaus bin ich möglicherweise mit der Zukunft der IQ-Hypothese nicht einverstanden. Tatsächlich denke ich, dass Computer in Zukunft sehr billig werden werden.​

Meine Wette: In einem Jahr werden die Rechenkosten 1/5 bis 1/10 dessen betragen, was sie heute sind. Daher ist mein Rat an uns alle Startups: Ignorieren Sie Ihre Rechenkosten, denn alle Annahmen, die Sie treffen, und alle Dollars, die Sie für Optimierungssoftware ausgeben, werden innerhalb eines Jahres wertlos sein.​

Der Grund ist: Jeder Besitzer eines großen Modells versucht, die Rechenkosten zu senken. Und da Ingenieure bei OpenAI, Google und Cloud-Computing-Unternehmen daran arbeiten, die Kosten teurer KI-Chips zu senken, wird Computing bald sehr billig werden.​

Vergessen Sie es also und verlassen Sie sich auf die Konkurrenz zwischen den verschiedenen großen Modellen auf dem Markt, wie etwa Googles Gemini und OpenAI, um die Kosten so weit zu senken, dass sie keine Rolle mehr spielen. Tatsächlich spielt es keine Rolle, solange sie auf die aktuellen 10 % oder weniger sinkt.​

Wenn ein großes Modell derzeit besser ist als andere große Modelle, sind seine Trainingskosten außerdem um eine Größenordnung höher. Aus diesem Grund halte ich Open-Source-Modelle für nicht realisierbar, da der Schulungsaufwand zu hoch ist. Sobald Sie jedoch geschult sind, möchten Sie aus zwei Gründen so weit wie möglich eingesetzt werden:

Erstens möchten Sie das Beste daraus machen, und das kostengünstigste Modell wird das Beste daraus machen.​

Zweitens, aber noch wichtiger: Es steht Ihnen eine riesige Datenmenge zur Verfügung, um das Modell der nächsten Generation zu trainieren.​

Sie möchten also aus verschiedenen Gründen die Nutzung maximieren. Wenn Sie das Langzeitspiel spielen, denke ich Folgendes: KI-Modellspiele werden meist in einem 5-Jahres-Zeitrahmen gespielt, nicht in einem Ein-Jahres-Zeitraum. In diesem Zeitraum werden die Kosten sinken.​

Heutzutage erzielt Nvidia mit allen ziemlich gute Einnahmen, aber jedes Modell läuft auf mehreren Arten von GPUs oder Rechnern und erfordert die meiste Datengenerierung. Deshalb glaube ich: Der Umsatz wird in den nächsten Jahren kein wichtiger Indikator für Vorzeigeunternehmen sein.​

Natürlich möchten Sie nicht mehr Geld verlieren, als Sie sich leisten können. Aber Sie möchten nicht viel Geld verdienen, weil Sie versuchen, viele Benutzer zu nutzen, viele Daten aus der Benutzernutzung zu gewinnen und zu lernen, ein besseres Modell zu sein.​

Ich denke, dass Modelle in puncto Intelligenz noch viel mehr zu bieten haben, sei es Argumentation, probabilistisches Denken, eine Art Mustervergleich usw. Es gibt viel Raum für Verbesserungen dieser Modelle.​

Ich denke also, dass wir fast jedes Jahr erstaunliche Fortschritte sehen. Einige Unternehmen arbeiten besser als andere, und das ist der Hauptunterschied zwischen den Unternehmen: OpenAI ist sehr gut in der Ausführung, Google verfügt über hervorragende Technologie, aber die Ausführung ist nicht klar genug.

(Vier)

Verwandter Hintergrund: Der Moderator fragte Khosla, ob Sie über einen Zeithorizont von fünf Jahren nachdenken. Derzeit glauben einige Leute in der Technologiewelt wirklich, dass der Wert der KI vollständig in bestehende große Unternehmen fließen wird. Aber selbst dann wurde es zur Ware. Wie wird Ihrer Meinung nach die Fünf-Jahres-Perspektive aussehen? Und welche KI-Themen beschäftigen Sie mehr und welche Themen beschäftigen bestehende Großunternehmen nicht?

Khosla: Ich glaube also nicht, dass es eine gute Position ist, wenn man Basismodelle erstellt und versucht, mit OpenAI und Google zu konkurrieren.​

Da große LLMs zu den großen Playern gehören, die auf sehr großen Clustern laufen können, sind sie diejenigen, die für proprietäre Inhalte/Daten bezahlen können, sei es für Reddit oder für einen, der das Unternehmen für jeden wissenschaftlichen Artikel besuchen kann.​

Der größte Spieler hat also einen Vorteil.​

Andererseits haben wir kürzlich eine Investition in das symbolische Logikunternehmen Symbolica angekündigt. Sie verfolgten einen ganz anderen Ansatz beim Modellieren. Es ist weder auf große Datenmengen noch auf große Berechnungsmengen angewiesen. Dabei handelt es sich tatsächlich um eine risikoreiche und wachstumsstarke Investition. Wenn Symbolica Erfolg hat, wird es dramatisch.​

Daher denke ich, dass es auch auf Modellebene andere Möglichkeiten gibt. Wenn ich meinen Freund Josh Tenenbaum vom MIT anrufe, wird er sagen, dass der größte Beitrag die probabilistische Programmierung ist. Weil menschliches Denken probabilistisch ist und sich vom Mustervergleich unterscheidet. Dies ist ein wichtiger Faktor.​

Daher denke ich, dass die zugrunde liegende Technologie noch lange nicht vollständig ist. Wir nutzen zunehmend Transformer-Modelle, andere müssen jedoch noch entwickelt werden. Es ist nur so, dass jeder Angst davor hat, in etwas anderes als ein Transformer-Modell zu investieren. Und das tun wir nicht.​

Wissen Sie, ich konzentriere mich sehr auf esoterische Dinge. Tatsächlich handelt es sich bei Symbolica um eine Theorie namens Kategorietheorie, von der die meisten Mathematiker noch nie gehört haben.​

Also haben wir vor wahrscheinlich 15, 18 Monaten eine große Wette abgeschlossen. Ich halte es für töricht, in Cloud Computing zu investieren, weil die Leute GPUs kaufen, um Cloud Computing aufzubauen, aber sie werden gegen Amazon, die Größe und Effizienz von Amazon und gegen Microsoft verlieren.​

Beide Unternehmen stellen maßgeschneiderte Chips her, sodass sie einige Jahre lang keine Nvidia-Steuer zahlen müssen. Ja, und bei AMD gibt es im Chipbereich noch viel zu tun. Aber auf der nächsten Ebene, auf der Anwendungsebene, liegt hier eine große Chance.​

(fünf)

Verwandter Hintergrund: Im folgenden Inhalt spricht Khosla über die seiner Meinung nach großen Chancen für KI-Anwendungen und nennt viele Beispiele.

Khosla: Eine meiner großen Prognosen ist, dass in Zukunft fast das gesamte Fachwissen kostenlos sein wird.​

Nach dieser Logik ist es egal, ob es sich um Hausärzte, Lehrer, Bauingenieure oder Onkologen handelt. Es gibt Hunderte oder sogar Tausende von Berufsfeldern, aus denen jedes ein äußerst erfolgreiches Unternehmen hervorbringen wird.​

Kürzlich haben wir auch in ein Unternehmen investiert, das Bauingenieure baut. Natürlich haben wir in etwas wie Devin investiert, das sehr beliebt war. Jeder kennt Devin, sie bauen einen KI-Programmierer, sie bauen keine Tools wie Copilot für Programmierer, sie bauen einen Programmierer. Aber wir haben auch gerade in ein Unternehmen namens Hedral investiert, das Bauingenieure herstellt.​

Eines ist sehr seltsam. Wie viele Bauingenieure gibt es jetzt? Wie viel haben wir für den Rohbau ausgegeben? Sie geben einem Bauingenieur eine Gebäudestruktur und zwei Monate später erhalten Sie etwas und eine Veränderung. Sie können jedoch in 5 Stunden 5 Varianten von einem KI-Bauingenieur erhalten und bei Ihrem Bauprojekt Monate sparen. Das ist also ein gutes Nischenbeispiel. Aber das könnte ein milliardenschwerer Nischenmarkt sein.​

Mein Punkt ist also: …