Former OpenAI Scientist Ilya Sutskever Starts SSI for AI Safety

Baffic - Web3 and AI · 2024-06-20T08:52:19.000Z

Ilya Sutskever, co-founder and former chief scientist of OpenAI, along with former OpenAI engineer Daniel Levy and investor Daniel Gross, previously a partner at startup accelerator Y Combinator, have launched Safe Superintelligence, Inc. (SSI). The company, headquartered in Palo Alto and Tel Aviv, aims to advance artificial intelligence (AI) by prioritizing both safety and capabilities. In an online announcement on June 19, the founders emphasized their commitment: “From the outset, our focus remains unwavering on AI safety and capabilities. This singular focus ensures we are not distracted by management overhead or product cycles, while our business model shields safety, security, and progress from short-term commercial pressures.” Sutskever and Gross have long been advocates for AI safety. Sutskever departed OpenAI on May 14, following his involvement in the dismissal of CEO Sam Altman. His role at the company became ambiguous after he stepped down from the board upon Altman’s return. Shortly after Sutskever’s departure, Daniel Levy, along with several other researchers, also left OpenAI. Sutskever and Jan Leike co-led OpenAI’s Superalignment team, formed in July 2023 to explore methods for guiding and managing AI systems more intelligent than humans, known as artificial general intelligence (AGI). At its inception, OpenAI allocated 20% of its computing resources to support the Superalignment team. In May, Leike also left OpenAI to head a team at Anthropic, an AI startup backed by Amazon. Following the departure of its key researchers, OpenAI disbanded the Superalignment team. Greg Brockman, the company’s president, defended its safety protocols in a detailed post on X. Other prominent figures in the technology industry also share concerns Former OpenAI researchers, along with numerous scientists, express deep concerns about the future trajectory of AI. Vitalik Buterin, co-founder of Ethereum, labeled AGI as “risky” amidst the recent staff changes at OpenAI. However, he also noted that “such models pose much lower risks of doom compared to corporate megalomania and military applications.” Source: Ilya Sutskever Tesla CEO Elon Musk, formerly a supporter of OpenAI, and Apple co-founder Steve Wozniak joined over 2,600 tech leaders and researchers in calling for a six-month pause in the training of AI systems. They emphasized the need for humanity to reflect on the “profound risks” posed by these technologies. The post Former OpenAI Scientist Ilya Sutskever Starts SSI for AI Safety appeared first on Baffic.

Ilya Sutskever, cofundador y ex científico jefe de OpenAI, junto con el ex ingeniero de OpenAI Daniel Levy y el inversionista Daniel Gross, anteriormente socio del acelerador de startups Y Combinator, lanzaron Safe Superintelligence, Inc. (SSI). La empresa, con sede en Palo Alto y Tel Aviv, tiene como objetivo avanzar en la inteligencia artificial (IA) priorizando tanto la seguridad como las capacidades. En un anuncio en línea el 19 de junio, los fundadores enfatizaron su compromiso:
“Desde el principio, nuestro enfoque sigue siendo inquebrantable en la seguridad y las capacidades de la IA. Este enfoque singular garantiza que no nos distraigamos con los gastos generales de gestión o los ciclos de los productos, mientras que nuestro modelo de negocio protege la seguridad y el progreso de las presiones comerciales a corto plazo”.
Sutskever y Gross han sido durante mucho tiempo defensores de la seguridad de la IA.
Sutskever abandonó OpenAI el 14 de mayo, tras su participación en el despido del director ejecutivo Sam Altman. Su papel en la empresa se volvió ambiguo después de que se retirara de la junta directiva tras el regreso de Altman. Poco después de la partida de Sutskever, Daniel Levy, junto con varios otros investigadores, también abandonó OpenAI.
Sutskever y Jan Leike codirigieron el equipo de Superalignment de OpenAI, formado en julio de 2023 para explorar métodos de orientación y gestión de sistemas de IA más inteligentes que los humanos, conocidos como inteligencia artificial general (AGI). En sus inicios, OpenAI destinó el 20 % de sus recursos informáticos a respaldar al equipo de Superalignment.
En mayo, Leike también dejó OpenAI para dirigir un equipo en Anthropic, una startup de inteligencia artificial respaldada por Amazon. Tras la marcha de sus investigadores clave, OpenAI disolvió el equipo de Superalignment. Greg Brockman, el presidente de la empresa, defendió sus protocolos de seguridad en una publicación detallada en X.
Otras figuras destacadas de la industria tecnológica también comparten preocupaciones
Los antiguos investigadores de OpenAI, junto con numerosos científicos, expresan profundas preocupaciones sobre la trayectoria futura de la IA. Vitalik Buterin, cofundador de Ethereum, calificó la IAG como “arriesgada” en medio de los recientes cambios de personal en OpenAI. Sin embargo, también señaló que “tales modelos plantean riesgos de catástrofe mucho menores en comparación con la megalomanía corporativa y las aplicaciones militares”.
Fuente: Ilya Sutskever
Elon Musk, director ejecutivo de Tesla y antiguo partidario de OpenAI, y Steve Wozniak, cofundador de Apple, se unieron a más de 2.600 líderes tecnológicos e investigadores para pedir una pausa de seis meses en el entrenamiento de los sistemas de inteligencia artificial. Hicieron hincapié en la necesidad de que la humanidad reflexione sobre los “profundos riesgos” que plantean estas tecnologías.
La publicación El ex científico de OpenAI Ilya Sutskever inicia SSI para la seguridad de la IA apareció primero en Baffic.

Descubre más contenidos del creador

Últimas noticias

Descubre más contenidos del creador

Últimas noticias

Artículos en tendencia