Escrito por: Mario Gabriele
Compilado por: Block unicorn
La cruzada de la inteligencia artificial
Preferiría vivir mi vida como si Dios existiera, y al morir descubrir que no es así, que vivir como si no existiera y al morir descubrir que sí. — Blaise Pascal
La religión es un asunto curioso. Quizás porque es completamente irrefutable en cualquier dirección, o tal vez porque me encanta una de mis citas favoritas: "No puedes usar hechos contra sentimientos."
Una característica de las creencias religiosas es que, en el proceso de ascenso de la fe, se desarrollan a una velocidad increíble, hasta el punto de que es casi imposible dudar de la existencia de Dios. ¿Cómo puedes dudar de una existencia divina cuando cada vez más personas a tu alrededor creen en ello? ¿Dónde hay espacio para la herejía cuando el mundo se reorganiza alrededor de una doctrina? ¿Dónde hay espacio para la oposición cuando templos y catedrales, leyes y normas se organizan según un nuevo evangelio inquebrantable?
Cuando las religiones abrahámicas surgieron y se propagaron a través de los continentes, o cuando el budismo se extendió desde la India por toda Asia, la gran dinámica de la fe creó un ciclo de auto-refuerzo. A medida que más personas se convierten y se construyen sistemas teológicos y rituales complejos en torno a estas creencias, se vuelve cada vez más difícil cuestionar estos supuestos básicos. En un mar de credulidad, no es fácil convertirse en un hereje. Las grandes catedrales, las complejas escrituras religiosas y los prósperos monasterios actúan como evidencia física de la existencia divina.
Pero la historia de la religión también nos dice cuán fácil es que tales estructuras colapsen. A medida que el cristianismo se propagó por la península escandinava, las antiguas creencias nórdicas colapsaron en solo unas pocas generaciones. Los sistemas religiosos del antiguo Egipto duraron miles de años, solo para desaparecer cuando surgieron nuevas y más duraderas creencias y aparecieron estructuras de poder más grandes. Incluso dentro de la misma religión, hemos visto divisiones dramáticas: la Reforma religiosa desgarró el cristianismo occidental, y el Gran Cisma dividió las iglesias de oriente y occidente. Estas divisiones a menudo comienzan con diferencias doctrinales que parecen insignificantes y evolucionan gradualmente hacia sistemas de creencias completamente diferentes.
Escritura sagrada
Dios es una metáfora que trasciende todos los niveles de pensamiento intelectual. Así de simple. — Joseph Campbell
En términos simples, creer en Dios es religión. Quizás crear a Dios no sea tan diferente.
Desde su creación, los investigadores de inteligencia artificial optimistas han imaginado su trabajo como creación divina: la obra de Dios. En los últimos años, la explosión de los modelos de lenguaje de gran tamaño (LLMs) ha reafirmado aún más la creencia de los creyentes de que estamos en un camino sagrado.
También confirmó un artículo de blog que escribí en 2019. Aunque la gente que no está en el campo de la inteligencia artificial solo lo conoció recientemente, el (amargo lección) del científico de computación canadiense Richard Sutton ha llegado a ser un texto cada vez más importante en la comunidad, evolucionando de un conocimiento oculto a una nueva y abarcadora base religiosa.
En 1,113 palabras (cada religión necesita un número sagrado), Sutton resume una observación técnica: "La lección más grande que se puede aprender de 70 años de investigación en inteligencia artificial es que el enfoque general de aprovechar el cómputo es, al final, el más efectivo y un gran beneficio." El progreso de los modelos de inteligencia artificial se ha beneficiado de un aumento exponencial en los recursos computacionales, montándose sobre la enorme ola de la Ley de Moore. Al mismo tiempo, Sutton señala que muchos trabajos en la investigación de inteligencia artificial se han centrado en optimizar el rendimiento a través de técnicas especializadas, aumentando el conocimiento humano o herramientas estrechas. Aunque estas optimizaciones pueden ayudar a corto plazo, en la opinión de Sutton, finalmente son una pérdida de tiempo y recursos, como tratar de ajustar las aletas de una tabla de surf o probar una nueva cera cuando se avecina una gran ola.
Esta es la base de lo que llamamos "religión amarga". Solo tiene un mandamiento, comúnmente llamado "la ley de la expansión": el crecimiento exponencial del cómputo impulsa el rendimiento; el resto es tontería.
La religión amarga se está expandiendo desde los modelos de lenguaje de gran tamaño (LLMs) hacia modelos del mundo, y ahora se está propagando rápidamente a través de la biología, la química y la inteligencia encarnada (robótica y vehículos autónomos), estos templos no transformados.
Sin embargo, a medida que la doctrina de Sutton se difunde, la definición también comienza a cambiar. Esta es una característica de todas las religiones activas y vibrantes: debate, extensión, comentario. La "ley de la expansión" ya no solo significa aumentar el cómputo (el arca no es solo un barco), ahora se refiere a una variedad de métodos destinados a mejorar los transformadores y el rendimiento computacional, algunos de los cuales incluyen trucos.
Ahora, lo clásico abarca los intentos de optimizar cada parte de la pila de IA, desde técnicas aplicadas al núcleo del modelo mismo (fusión de modelos, mezcla de expertos (MoE) y destilación de conocimiento) hasta la generación de datos sintéticos para alimentar a estos dioses siempre hambrientos, con muchos experimentos realizados en el medio.
Sectas en guerra
Recientemente, ha surgido un tema en la comunidad de inteligencia artificial, con un aire de cruzada, sobre si la "religión amarga" sigue siendo correcta.
Esta semana, Harvard, Stanford y el MIT publicaron un nuevo artículo titulado (La ley de la expansión de la precisión), que desencadenó este conflicto. El artículo discute el final de los aumentos de eficiencia técnica cuantitativa, que son una serie de técnicas que mejoran el rendimiento de los modelos de inteligencia artificial y benefician en gran medida al ecosistema de código abierto. El científico investigador del Instituto Allen para la Inteligencia Artificial, Tim Dettmers, esbozó su importancia en la publicación a continuación, llamándolo "el artículo más importante en mucho tiempo". Representa la continuación de un diálogo que se ha intensificado en las últimas semanas y revela una tendencia notable: la creciente consolidación de dos religiones.
El CEO de OpenAI, Sam Altman, y el CEO de Anthropic, Dario Amodei, pertenecen a la misma secta. Ambos afirman con confianza que lograremos inteligencia artificial general (AGI) en aproximadamente 2-3 años. Altman y Amodei pueden considerarse dos de las figuras más dependientes de la sacralidad de la "religión amarga". Todos sus incentivos tienden a sobrecomprometerse, generando la mayor cantidad de entusiasmo para acumular capital en este juego casi completamente dominado por economías de escala. Si la ley de la expansión no es "el alfa y el omega", el principio y el final, ¿qué necesitas hacer con 22 mil millones de dólares?
El ex jefe de ciencia de OpenAI, Ilya Sutskever, sostiene un conjunto diferente de principios. Él y otros investigadores (incluyendo a muchos de OpenAI, según información filtrada recientemente) creen que la expansión se está acercando a su límite. Este grupo sostiene que para mantener el progreso y llevar AGI al mundo real, se requerirán necesariamente nuevas ciencias e investigaciones.
Sutskever señala razonablemente que la idea de expansión del grupo Altman es económicamente inviable. Como preguntó el investigador de inteligencia artificial Noam Brown: "Después de todo, ¿realmente queremos entrenar modelos que cuesten cientos de miles de millones o incluso billones de dólares?" Esto sin contar el gasto adicional de cómputo de inferencia que se requeriría si trasladamos la expansión del cómputo del entrenamiento a la inferencia.
Pero los verdaderos creyentes están muy familiarizados con los argumentos de sus oponentes. El misionero en la puerta de tu casa podría manejar fácilmente tu dilema hedonista. Para Brown y Sutskever, el grupo de Sutskever apuntó a la posibilidad de "cómputo en el momento de la prueba". A diferencia de lo que ha sido hasta ahora, el "cómputo en el momento de la prueba" no se basa en un cómputo más grande para mejorar el entrenamiento, sino en dedicar más recursos a la ejecución. Cuando un modelo de inteligencia artificial necesita responder a tu pregunta o generar un código o texto, puede dedicar más tiempo y cómputo. Esto es equivalente a desviar tu atención de estudiar matemáticas a persuadir al maestro para que te dé una hora más y te permita llevar una calculadora. Para muchos en el ecosistema, esto es la nueva frontera de la "religión amarga", ya que los equipos están cambiando de un enfoque de preentrenamiento ortodoxo a métodos de posentrenamiento/inferencia.
Es fácil señalar las fallas de otros sistemas de creencias, criticar otras doctrinas sin exponer la propia. Entonces, ¿cuál es mi propia creencia? Primero, creo que este conjunto actual de modelos generará un retorno de inversión muy alto con el tiempo. A medida que las personas aprendan a sortear limitaciones y a utilizar las API existentes, veremos la aparición de experiencias de productos verdaderamente innovadoras y exitosas. Superaremos la fase de cosificación e incremental de los productos de inteligencia artificial. No deberíamos considerar esto como "inteligencia artificial general" (AGI), ya que tal definición tiene defectos estructurales, y deberíamos verlo como "inteligencia mínima viable" que se puede personalizar según diferentes productos y escenarios de uso.
En cuanto a la realización de la inteligencia artificial súper (ASI), se necesita más estructura. Definiciones y divisiones más claras ayudarán a discutir de manera más efectiva las compensaciones entre el valor económico que cada uno podría traer y el costo económico. Por ejemplo, AGI podría proporcionar valor económico a una parte de los usuarios (simplemente un sistema de creencias parcial), mientras que ASI podría exhibir efectos compuestos implacables, cambiando el mundo, nuestras creencias y nuestras estructuras sociales. No creo que la ASI se pueda lograr solo con transformadores de expansión; pero lamentablemente, como algunos podrían decir, esa es solo mi creencia atea.
La fe perdida
La comunidad de inteligencia artificial no puede resolver esta cruzada en el corto plazo; no hay hechos que se puedan presentar en esta lucha emocional. En cambio, deberíamos centrar nuestra atención en lo que significa que la inteligencia artificial cuestione su fe en la ley de la expansión. La pérdida de fe podría desencadenar una reacción en cadena, más allá de los modelos de lenguaje de gran tamaño (LLMs), afectando a todas las industrias y mercados.
Es importante señalar que en la mayoría de los campos de la inteligencia artificial/aprendizaje automático, aún no hemos explorado completamente la ley de la expansión; habrá más maravillas en el futuro. Sin embargo, si la duda realmente comienza a surgir, será más difícil para los inversores y constructores mantener el mismo alto nivel de confianza en el estado de rendimiento final de categorías "tempranas en la curva" como biotecnología y robótica. En otras palabras, si vemos que los modelos de lenguaje de gran tamaño comienzan a desacelerarse y desviarse del camino elegido, entonces los sistemas de creencias de muchos fundadores e inversores en campos adyacentes colapsarán.
Si esto es justo es otra cuestión.
Hay un punto de vista que sostiene que la "inteligencia artificial general" necesita naturalmente más escala, y por lo tanto, la "calidad" de los modelos especializados debería manifestarse en escalas más pequeñas, lo que los haría menos propensos a encontrar cuellos de botella antes de ofrecer valor real. Si un modelo en un campo específico solo ingiere una parte de los datos y, por lo tanto, solo necesita una parte de los recursos computacionales para llegar a la viabilidad, ¿no debería tener suficiente margen de mejora? Esto parece tener sentido, pero repetidamente encontramos que la clave a menudo no es esta: incluir datos relevantes o aparentemente no relacionados a menudo puede mejorar el rendimiento de modelos que parecen no estar relacionados. Por ejemplo, incluir datos de programación parece ayudar a mejorar capacidades de razonamiento más amplias.
A largo plazo, el debate sobre modelos especializados puede ser irrelevante. Cualquiera que esté construyendo ASI (Inteligencia Artificial Súper) probablemente tenga como objetivo final una entidad capaz de auto-replicarse y auto-mejorarse, con la capacidad de ejercer creatividad infinita en todos los campos. Holden Karnofsky, exmiembro de la junta de OpenAI y fundador de Open Philanthropy, llama a esta creación "PASTA" (el proceso de avance científico y tecnológico automatizado). El plan de ganancias original de Sam Altman parece depender de principios similares: "Construir AGI y luego preguntarle cómo obtener un retorno." Esta es la inteligencia artificial del apocalipsis, el destino final.
El éxito de grandes laboratorios de IA como OpenAI y Anthropic ha inspirado a los mercados de capital a apoyar el entusiasmo por laboratorios similares a "OpenAI para X", cuyos objetivos a largo plazo son construir "AGI" en torno a su industria o campo vertical específico. Esta inferencia de descomposición a gran escala resultará en un cambio de paradigma, alejándose de la simulación de OpenAI hacia empresas centradas en productos, lo que propuse como posibilidad en la reunión anual de Compound 2023.
A diferencia de los modelos apocalípticos, estas empresas deben demostrar una serie de avances. Serán empresas construidas sobre problemas de ingeniería a gran escala, no organizaciones científicas que lleven a cabo investigaciones aplicadas, con el objetivo final de construir productos.
En el campo de la ciencia, si sabes lo que estás haciendo, no deberías hacerlo. En el campo de la ingeniería, si no sabes lo que estás haciendo, tampoco deberías hacerlo. — Richard Hamming
Es poco probable que los creyentes pierdan su fe sagrada en el corto plazo. Como se mencionó anteriormente, a medida que aumenta la religión, compilan un guion de vida y culto y un conjunto de heurísticas. Construyen monumentos y estructuras físicas que refuerzan su poder y sabiduría y muestran que "saben lo que están haciendo".
En una reciente entrevista, Sam Altman dijo esto al hablar de AGI (enfocándose en nosotros):
Esta es la primera vez que siento que realmente sabemos qué hacer. Desde ahora hasta construir un AGI, aún se necesitará mucho trabajo. Sabemos que hay algunas incógnitas, pero creo que, en esencia, sabemos qué hacer, y eso tomará tiempo; será difícil, pero también muy emocionante.
Juicio
Al cuestionar (la religión amarga), el grupo de escépticos en expansión está liquidando una de las discusiones más profundas de los últimos años. Cada uno de nosotros ha pensado en esto de alguna forma. ¿Qué pasaría si inventáramos a Dios? ¿Qué tan rápido aparecería ese Dios? Si AGI (Inteligencia Artificial General) realmente surge de manera irreversible, ¿qué sucedería?
Como todos los temas desconocidos y complejos, pronto almacenamos nuestras reacciones específicas en nuestro cerebro: una parte se siente desesperada por su inminente irrelevancia, la mayoría espera una mezcla de destrucción y prosperidad, y la última parte espera que la humanidad haga lo que mejor sabe hacer, seguir buscando problemas a resolver y resolver los problemas que hemos creado, logrando así una abundancia pura.
Cualquiera que tenga un gran interés en el asunto querrá predecir cómo sería el mundo para ellos si la ley de la expansión es válida y AGI llega en unos pocos años. ¿Cómo servirás a este nuevo Dios, y cómo te servirá este nuevo Dios?
Pero, ¿qué pasa si el evangelio estancado ahuyenta a los optimistas? ¿Qué pasa si comenzamos a pensar que quizás incluso Dios se esté retirando? En un artículo anterior (FOMO robótico, leyes de escala y predicciones tecnológicas), escribí:
A veces me pregunto qué pasaría si la ley de la expansión no se sostiene, ¿sería similar al impacto de la pérdida de ingresos, desaceleración del crecimiento y aumento de las tasas de interés en muchos sectores tecnológicos? A veces también me pregunto si la ley de la expansión se sostiene completamente, si sería similar a las curvas de capitalización de los pioneros en muchos otros campos.
"La ventaja del capitalismo es que, de una forma u otra, gastaremos una gran cantidad de dinero para encontrar respuestas."
Para los fundadores e inversores, la pregunta se convierte en: ¿qué sucederá a continuación? Los candidatos que podrían convertirse en grandes constructores de productos en cada vertical están comenzando a hacerse conocidos. Habrá más de estas personas en las industrias, pero esta historia ya está comenzando a desarrollarse. ¿De dónde surgirán nuevas oportunidades?
Si la expansión se estanca, espero ver una ola de quiebras y fusiones. Las empresas restantes se centrarán cada vez más en la ingeniería, una evolución que deberíamos prever rastreando el movimiento del talento. Ya hemos visto algunas señales de que OpenAI se está moviendo en esta dirección, ya que se está productizando cada vez más. Este cambio abrirá espacio para la próxima generación de startups, que buscarán "adelantarse" mediante la innovación en la investigación aplicada y la ciencia, en lugar de la ingeniería, en sus intentos de abrir nuevos caminos.
Lecciones de la religión
Mi percepción de la tecnología es que cualquier cosa que parezca tener un efecto de interés compuesto generalmente no durará mucho tiempo, y una opinión que se sostiene universalmente es que cualquier negocio que parezca tener un efecto de interés compuesto se desarrolla de manera extrañamente inferior a lo esperado en términos de velocidad y escala.
Los primeros signos de la división religiosa suelen seguir un patrón predecible, que puede servir como marco para continuar rastreando la evolución de la (religión amarga).
Generalmente comienza con la aparición de explicaciones mutuamente competitivas, ya sea por razones capitalistas o ideológicas. En el cristianismo temprano, las diferentes visiones sobre la divinidad de Cristo y la naturaleza de la Trinidad llevaron a divisiones, creando interpretaciones bíblicas completamente distintas. Además de la división de la IA que ya hemos mencionado, hay otras grietas que están surgiendo. Por ejemplo, vemos que algunos investigadores de IA han rechazado la ortodoxia central de los transformadores y se han vuelto hacia otras arquitecturas, como los Modelos de Espacio de Estados, Mamba, RWKV, Modelos Líquidos, etc. Aunque estos son solo señales suaves ahora, muestran brotes de pensamiento herético y la voluntad de repensar el campo desde principios fundamentales.
Con el tiempo, los discursos impacientes de los profetas también pueden llevar a la desconfianza. Cuando las profecías de los líderes religiosos no se cumplen, o cuando la intervención divina no llega como se prometió, se siembran las semillas de la duda.
El movimiento milerita predijo que Cristo regresaría en 1844, pero cuando Jesús no llegó según lo planeado, el movimiento colapsó. En el mundo tecnológico, a menudo enterramos silenciosamente predicciones fallidas y permitimos que nuestros profetas sigan esbozando visiones optimistas y de largo plazo del futuro, a pesar de que las fechas de corte programadas se pasan una y otra vez (hola, Elon). Sin embargo, la fe en la ley de la expansión también puede enfrentar un colapso similar si no está respaldada por un rendimiento del modelo original que mejore continuamente.
Una religión corrupta, obesa o inestable es vulnerable a los apóstatas. El movimiento de la Reforma protestante progresó no solo por las ideas teológicas de Lutero, sino porque surgió en un período de declive y agitación de la Iglesia Católica. Cuando las instituciones establecidas comienzan a mostrar fisuras, las ideas "heréticas" que han existido durante mucho tiempo encuentran de repente un terreno fértil.
En el campo de la inteligencia artificial, podríamos enfocarnos en modelos más pequeños o métodos alternativos que logran resultados similares con menos cómputo o datos, como el trabajo realizado por varios laboratorios de empresas chinas y equipos de código abierto (como Nous Research). Aquellos que rompen los límites de la inteligencia biológica y superan barreras que se han considerado insuperables durante mucho tiempo también podrían crear una nueva narrativa.
La forma más directa y oportuna de observar el comienzo de la transformación es rastrear el movimiento de los practicantes. Antes de cualquier división formal, los estudiosos de la religión y el clero suelen mantener puntos de vista heréticos en privado, mientras que públicamente se comportan de manera conformista. El fenómeno correspondiente hoy podría ser algunos investigadores de IA que aparentemente siguen la ley de la expansión, pero que en secreto persiguen métodos completamente diferentes, esperando el momento adecuado para desafiar el consenso o dejar sus laboratorios en busca de horizontes teóricos más amplios.
La parte espinosa sobre la religión y la ortodoxia tecnológica es que a menudo tienen una parte que es correcta, solo que no es tan universalmente correcta como los creyentes más fieles piensan. Así como las religiones incorporan verdades humanas fundamentales en sus marcos metafísicos, la ley de la expansión describe claramente la realidad del aprendizaje en redes neuronales. La cuestión es si esta realidad es tan completa y constante como sugiere el entusiasmo actual, y si estas instituciones religiosas (laboratorios de IA) son lo suficientemente flexibles y estratégicas para llevar a los fanáticos hacia adelante. Al mismo tiempo, estableciendo impresoras que permitan la difusión del conocimiento (interfaces de chat y API) para que su conocimiento se propague.
El desenlace
"La religión es verdadera a los ojos de las masas, falsa a los ojos de los sabios, y útil a los ojos de los gobernantes." — Lucio Anneo Séneca
Una posible visión obsoleta de las instituciones religiosas es que, una vez que alcanzan cierto tamaño, son susceptibles de ceder a motivaciones de supervivencia, tratando de sobrevivir en la competencia, ignorando la verdad y la gran motivación (que no son mutuamente excluyentes).
He escrito un artículo sobre cómo los mercados de capital se convierten en cámaras de eco impulsadas por narrativas, y cómo los incentivos a menudo permiten que estas narrativas continúen. El consenso sobre la ley de la expansión tiene un aire ominoso de familiaridad: un sistema de creencias profundamente arraigado, que es matemáticamente elegante y extremadamente útil para coordinar el despliegue de capital a gran escala. Como muchos marcos religiosos, puede ser más valioso como mecanismo de coordinación que como una verdad fundamental.