Anthropic, Google, Microsoft und OpenAI haben Chris Meserole zum ersten Executive Director des Frontier Model Forum ernannt. Das Industriekonsortium hat sich zum Ziel gesetzt, die sichere und ethische Weiterentwicklung hochmoderner KI-Modelle weltweit zu fördern. Gleichzeitig hat das Forum einen AI Safety Fund in Höhe von über 10 Millionen US-Dollar eingerichtet. Ziel des Fonds ist es, Fortschritte in der KI-Sicherheitsforschung voranzutreiben.

Geschäftsführer Chris Meserole bringt einen umfassenden Hintergrund in Technologiepolitik und der Steuerung neuer Technologien mit. Vor seiner Ernennung war er Direktor der Initiative für künstliche Intelligenz und neue Technologien bei der Brookings Institution. In seiner neuen Funktion wird Meserole die Bemühungen leiten, die KI-Sicherheitsforschung voranzutreiben, Best Practices für die sichere Entwicklung von KI-Modellen zu ermitteln, Wissen an Interessengruppen weiterzugeben und Initiativen zu unterstützen, die KI nutzen, um gesellschaftliche Herausforderungen zu bewältigen.

„Die leistungsfähigsten KI-Modelle versprechen enormes Potenzial für die Gesellschaft, aber um ihr Potenzial auszuschöpfen, müssen wir besser verstehen, wie wir sie sicher entwickeln und bewerten können. Ich freue mich darauf, diese Herausforderung mit dem Frontier Model Forum anzunehmen“,

sagte Meserole.

Der AI Safety Fund entstand als Reaktion auf die rasante Entwicklung der KI-Fähigkeiten im vergangenen Jahr, die weitere akademische Forschung zur KI-Sicherheit erforderlich macht. Dieser Fonds, eine Zusammenarbeit zwischen dem Frontier Model Forum und philanthropischen Partnern, wird unabhängige Forscher weltweit unterstützen, die mit akademischen Einrichtungen, Forschungsorganisationen und Startups verbunden sind.

Die Hauptbeitragszahler dieser Initiative sind Anthropic, Google, Microsoft und OpenAI sowie philanthropische Organisationen wie die Patrick J. McGovern Foundation, die David and Lucile Packard Foundation, Eric Schmidt und Jaan Tallinn. Ihre gemeinsamen Beiträge übersteigen 10 Millionen US-Dollar, und es werden weitere Spenden von anderen Partnern erwartet.

Anfang des Jahres haben die Forumsmitglieder im Weißen Haus freiwillige Verpflichtungen eingegangen, darunter die Möglichkeit für Dritte, Schwachstellen in ihren KI-Systemen zu erkennen und zu melden. Der AI Safety Fund folgt dieser Verpflichtung, indem er externen Gemeinschaften Finanzmittel zur Überprüfung bahnbrechender KI-Systeme zur Verfügung stellt. Eine Vielfalt an Stimmen und Perspektiven wird den globalen Diskurs über KI-Sicherheit bereichern und die allgemeine Wissensbasis über KI erweitern.

Verbesserung der KI-Sicherheit und -Zusammenarbeit

Der AI Safety Fund konzentriert sich in erster Linie darauf, die Entwicklung neuer Evaluierungstechniken und Red-Teaming-Ansätze für KI-Modelle zu unterstützen, um potenzielle Gefahren aufzudecken. Red Teaming ist ein strukturierter Prozess zur Überprüfung von KI-Systemen, um schädliche Fähigkeiten, Ergebnisse oder infrastrukturelle Bedrohungen zu identifizieren. Eine verstärkte Finanzierung in diesem Bereich könnte die Sicherheitsstandards erhöhen und wertvolle Erkenntnisse zur Eindämmung der von KI-Systemen ausgehenden Herausforderungen liefern.

Darüber hinaus wird der Fonds in Kürze Forschungsvorschläge einholen und vom Meridian Institute unter Beratung eines Beratungsausschusses verwaltet, dem unabhängige Experten, KI-Experten und Experten für die Gewährung von Zuschüssen angehören.

Derzeit läuft ein Verfahren zur verantwortungsvollen Offenlegung, das es den Laboren von Frontier AI ermöglicht, Informationen über Schwachstellen und gefährliche Funktionen in KI-Modellen von Frontier AI sowie deren Lösungen auszutauschen. Einige Unternehmen des Forums haben derartige Probleme im Zusammenhang mit der nationalen Sicherheit bereits identifiziert und dienen als Fallstudien, die anderen Laboren bei der Umsetzung von Verfahren zur verantwortungsvollen Offenlegung als Orientierung dienen.

Mit Blick auf die Zukunft plant das Frontier Model Forum, in den kommenden Monaten einen Beirat einzurichten, der die strategischen Prioritäten steuern und unterschiedliche Fachkenntnisse und Perspektiven repräsentieren soll. Das Forum wird regelmäßig Updates veröffentlichen, darunter auch neue Mitglieder. Gleichzeitig wird der AI Safety Fund seine erste Ausschreibung veröffentlichen, und die Zuschüsse werden kurz darauf vergeben. Darüber hinaus wird das Forum weiterhin technische Erkenntnisse veröffentlichen, sobald diese verfügbar sind.

Das übergeordnete Ziel des Forums ist die Zusammenarbeit mit Chris Meserole und die Ausweitung des Engagements mit der breiteren Forschungsgemeinschaft. Dazu gehören Partnerschaften mit Organisationen wie der Partnership on AI, MLCommons und anderen führenden NGOs, Regierungsstellen und multinationalen Organisationen. Gemeinsam wollen sie das Potenzial der KI nutzen und gleichzeitig ihre sichere und ethische Entwicklung und Nutzung gewährleisten.

Verwandte Themen: 5 wichtige Erkenntnisse zur Zukunft von KI und LLMs von Dario Amodei, CEO von Anthropic

Der Beitrag „Anthropic, Google, Microsoft und OpenAI ernennen den Geschäftsführer des Frontier Model Forum und stellen einen 10-Millionen-Dollar-KI-Sicherheitsfonds vor“ erschien zuerst auf Metaverse Post.