Shrnutí
OpenAI zvyšuje povědomí o rizicích AI superinteligence a vytváří specializovaný tým, aby se těmito obavami zabýval.
Společnost zdůrazňuje zarovnání superinteligence s lidskými hodnotami a úmysly a zakládání nových vládních institucí.
OpenAI uznává, že zarovnání AGI představuje významná rizika a může vyžadovat kolektivní úsilí lidstva.
CEO OpenAI, Sam Altman, zahájil globální kampaň na zvýšení povědomí o potenciálních nebezpečích AI superinteligence, kde stroje překonávají lidskou inteligenci a mohou se stát nekontrolovatelnými.
V reakci na tyto obavy OpenAI nedávno oznámila vytvoření specializovaného týmu, jehož úkolem je vyvinout metody k řešení rizik spojených se superinteligencí, která by se mohla objevit v průběhu tohoto desetiletí.
Společnost zdůrazňuje, že efektivní řízení superinteligence vyžaduje zakládání nových vládních institucí a vyřešení kritické výzvy zarovnání superinteligence s lidskými hodnotami a úmysly.
OpenAI uznává, že zarovnání AGI (Umělá obecná inteligence) představuje významná rizika pro lidstvo a může vyžadovat kolektivní úsilí všech lidí, jak uvedli v blogovém příspěvku zveřejněném minulý rok.
Tým nazvaný „Superzarovnání“ se skládá z špičkových výzkumníků a inženýrů v oblasti strojového učení. Ilya Sutskever, spoluzakladatel a hlavní vědec OpenAI, a Jan Leike, vedoucí zarovnání, vedou toto úsilí.
Aby se vypořádali s hlavními technickými výzvami zarovnání superinteligence, OpenAI se zavázala věnovat 20 % svých dosud získaných výpočetních zdrojů problému zarovnání. Společnost očekává, že během čtyř let tyto výzvy vyřeší.
Hlavním cílem týmu pro superzarovnání je vyvinout automatizovaného výzkumníka zarovnání na úrovni člověka. To zahrnuje vytváření AI systémů, které mohou efektivně zarovnat superinteligentní AI systémy a překonat lidi v rychlosti a přesnosti.
Aby tento milník dosáhli, tým se zaměří na vývoj škálovatelné tréninkové metody, která využívá AI systémy k hodnocení jiných AI systémů. Validují svůj výsledný model automatizací hledání potenciálně problematického chování. Proces zarovnání také projde přísným zkušebním testováním tím, že záměrně trénují nezarovnané modely, aby posoudili jejich detekovatelnost.
Úsilí OpenAI o řešení rizik superinteligence představuje významný krok vpřed v úsilí o odpovědný a zarovnaný vývoj AI. Sestavením týmu špičkových výzkumníků a závazkem k významným výpočetním zdrojům společnost demonstruje svůj závazek proaktivně zmírnit potenciální rizika spojená s příchodem superinteligence. Jak se vydávají na tuto ambiciózní cestu, OpenAI nastavuje precedens pro spolupráci a jednotu při ochraně budoucnosti lidstva v době AI.