Auteur : Laboratoires Delphi
Compilé par : Deep Wave TechFlow
Cet article a été rédigé par Luke Saunders (lukedelphi) et Jose Macedo (ZeMariaMacedo).
L’intelligence artificielle représente la plus grande révolution technologique de l’histoire et a déclenché une course aux armements technologiques sans précédent. Les modèles d’IA actuels se classent déjà dans le top 10 des examens universitaires les plus standardisés et surpassent les humains dans de nombreuses tâches, y compris la recherche sur l’IA elle-même. Même à son niveau actuel, cela a un impact transformateur sur de nombreux secteurs tels que la recherche, le service client, la création de contenu, la programmation et l'éducation.
Nous nous attendons à ce que les capacités, le financement et l’impact de l’IA sur la société continuent de s’accélérer. Toutes les grandes entreprises technologiques réalisent que l’IA est essentielle à leur activité et investissent en conséquence. Les revenus de NVIDIA, le meilleur indicateur des dépenses en capital en matière d'IA, devraient dépasser 100 milliards de dollars en 2024, soit plus du double de ce qu'ils étaient en 2023 et plus de quatre fois les revenus de l'année précédente.
Le point de vue du PDG de Google, Sundar Pichai, sur l'investissement dans l'IA :
"Pour nous, le risque de sous-investir est bien plus grand que le risque de surinvestir."
Dans le même temps, les startups se rendent compte que l’IA est une force disruptive qui peut supplanter les entreprises qui existent depuis des décennies. On estime que 83 milliards de dollars ont été investis dans les startups d’IA au cours des 18 derniers mois.
Étant donné que les capacités de l’IA ont tendance à croître de façon exponentielle avec la puissance de calcul, nous parviendrons probablement à quelque chose comme l’intelligence générale artificielle (AGI) d’ici une décennie.
Source : Conscience de la situation
Auteur : Léopoldasch
Dans cet article, nous soutenons que l’environnement concurrentiel conduira à un monde composé de millions de modèles et que la cryptographie constitue le fondement idéal de ce monde multimodèle. Nous commencerons par expliquer pourquoi nous pensons qu’un monde multimodèle est une conséquence inévitable de l’intelligence artificielle. Nous aborderons ensuite les avantages uniques que la cryptographie offre à l’intelligence artificielle. Enfin, nous présenterons ce que nous considérons comme la pile technologique de cryptage et d’intelligence artificielle et fournirons des exemples de projets qui nous intéressent.
Il existe en effet de nombreuses raisons philosophiques et éthiques solides pour combiner l’IA open source et la cryptographie, et celles-ci ont été largement discutées ailleurs. Nous partageons pleinement ces vues, qui constituent l’une des motivations de notre développement dans ce domaine. Cependant, dans cet article, nous nous concentrerons sur les raisons pratiques pour lesquelles la cryptographie combinée à l’intelligence artificielle l’emportera, plutôt que de discuter des raisons morales pour lesquelles elle devrait l’emporter.
Mannequins et multimodèles
Nous nous dirigeons désormais vers un monde dans lequel une poignée de grandes entreprises technologiques verticalement intégrées produisent des « mannequins » qui dominent tout le reste.
Cependant, nous pensons que ce n’est pas la fin du jeu pour plusieurs raisons :
Problème de risque : les organisations, les entrepreneurs et les développeurs qui créent des expériences basées sur l'IA ne veulent pas dépendre d'une seule entreprise fermée qui peut changer le modèle, modifier les conditions d'utilisation ou même cesser complètement de les proposer à tout moment.
Compromis coût-performance : les modèles extrêmement volumineux et polyvalents privilégiés par les grandes entreprises technologiques sont nécessairement plus coûteux à former et à exploiter. En conséquence, cela les rend trop chers et trop puissants pour de nombreux cas d’utilisation. Bien que ce ne soit pas une considération majeure pour le moment, car les gens ne pensent pas à la rentabilité, à mesure que l’IA se développe, les gens optimiseront pour obtenir le coût le plus bas pour le niveau de performance souhaité. Dans de nombreuses tâches, les grands modèles ne sont pas compétitifs à cet égard. De nombreuses recherches soutiennent cette idée, montrant que des modèles plus petits et plus spécialisés peuvent surpasser les modèles à usage général dans de multiples tâches : diagnostic par imagerie médicale, détection de fraude, reconnaissance vocale et bien d'autres encore.
Intégration verticale : comme Apple l'a prouvé à maintes reprises, les meilleurs produits résultent souvent de l'intégration verticale de l'ensemble de la pile technologique. Les entrepreneurs ambitieux chercheront à acquérir un avantage concurrentiel en s’appuyant sur leurs propres modèles spécialisés lors de la création de produits basés sur l’IA. Cela permet à ces produits de capter plus de valeur et ainsi d’attirer plus d’investissements.
Problèmes de confidentialité : l’intelligence artificielle deviendra une technologie essentielle dans les flux de travail organisationnels à un degré qu’aucune autre technologie ne peut sans doute égaler. De nombreuses organisations hésitent à transmettre des données sensibles à ces modèles.
Pour les raisons ci-dessus, nous pensons que nous sommes plus susceptibles d’évoluer vers un monde où il existe de nombreux modèles plus petits et spécialisés, personnalisés et rentables pour des cas d’utilisation spécifiques. Les développeurs d'applications et les utilisateurs exploiteront des modèles open source, tels que ceux fournis par LLaMA ou MistralAI, comme base pour affiner leurs propres modèles spécialisés, souvent en utilisant des données propriétaires. De nombreux modèles continueront de fonctionner sur des serveurs, mais des applications plus petites et plus axées sur la confidentialité s'exécuteront localement sur les appareils clients, tandis que d'autres applications devant résister à la censure pourront utiliser des plates-formes informatiques décentralisées.
Il s’agit d’un monde de blocs de construction modulaires d’IA, dans lequel les développeurs et les entrepreneurs rivalisent pour apporter de la valeur aux utilisateurs, qui sont en mesure de sélectionner et de combiner différents services en fonction de leurs besoins spécifiques. Le routage, l’orchestration, la composition, les paiements et toutes sortes d’autres infrastructures doivent être construits pour déballer la pile technologique du « modèle divin » et servir cette économie émergente de l’IA. C’est aussi un monde où les cryptomonnaies sont en plein essor.
Crypto et intelligence artificielle
Intuitivement, les crypto-monnaies semblent être un domaine où l’on peut trouver une utilité dans ce monde multimodèle. Cependant, ce battage médiatique a conduit à d’importantes allocations de capitaux dans ce domaine par de nombreux investisseurs mal informés. À l’instar des bulles d’infrastructures précédentes, de nombreux projets financés et construits sont financés et construits alors qu’ils ne devraient probablement pas exister. En conséquence, il est difficile de déterminer quels sous-secteurs de l’espace des crypto-monnaies et de l’intelligence artificielle ont réellement de la valeur, ce qui conduit beaucoup à considérer l’ensemble du domaine comme un mème sans valeur fondamentale.
Nous ne pensons pas qu’il s’agisse d’un mème, mais il est vrai que ce monde multimodèle pourrait théoriquement exister sans crypto-monnaies. Par conséquent, il est important de se concentrer sur les caractéristiques différenciatrices uniques des crypto-monnaies qui nous aident à créer des produits plus révolutionnaires, ou idéalement ceux qui ne peuvent être construits sans crypto-monnaies. Pour ce faire, nous identifions d’abord les propriétés uniques des crypto-monnaies et comment elles peuvent être appliquées au domaine de l’intelligence artificielle de manière à conduire à de meilleurs produits. Nous discuterons ensuite de la pile technologique de cryptographie et d’intelligence artificielle et fournirons des exemples de cas d’utilisation que nous jugeons pertinents.
Couche de coordination : les rails cryptés excellent dans la facilitation de la coordination collective sans avoir besoin d'un contrôle centralisé. Il est particulièrement efficace pour surmonter le problème de la poule et de l’œuf inhérent à la plupart des marchés, ce qui lui permet d’attirer rapidement un grand nombre de nouveaux utilisateurs grâce à des incitations crypto-natives.
Les petites équipes qui créent des modèles internes peuvent ne pas avoir un accès direct à toutes les ressources nécessaires. Par exemple, si les laboratoires d’IA des grandes entreprises technologiques peuvent disposer de leurs propres ressources informatiques, les petites équipes ne disposent pas des mêmes ressources informatiques. De même, ces équipes ont besoin d’accéder aux données et peuvent avoir besoin de recruter un groupe diversifié de personnes pour fournir des commentaires humains. Ces besoins peuvent être satisfaits via des marchés spécialisés, et nous pensons que les marchés qui exploitent l’infrastructure cryptographique auront un avantage concurrentiel sur ceux qui ne le font pas.
API ouverte et sans autorisation : Cryptorails sert d'API ouverte et sans autorisation à laquelle n'importe qui peut accéder, n'importe où, sans avoir besoin de KYC, de carte de crédit ou de toute autre forme d'approbation. Ceci est important pour les agents d’IA car pour agir de manière totalement autonome, ils doivent pouvoir accéder aux services, déployer du code et transférer de la valeur sans intervention humaine. Cela permet des comportements de type science-fiction, tels que les collectifs d'agents, dans lesquels les agents se paient pour des services, s'endettent et même lèvent des capitaux.
Sans confiance : les rails cryptés sont généralement sans confiance, ce qui signifie que vous obtenez des garanties cryptographiques qu'ils ne changeront pas, que l'accès ne sera pas accidentellement retiré et que vous pouvez vérifier que l'exécution fonctionne comme prévu. Ceci est important pour les architectures d'IA modulaires car, contrairement aux approches intégrées, les constructeurs doivent composer avec une série de primitives sur lesquelles ils n'ont aucun contrôle, et les utilisateurs doivent intrinsèquement faire confiance à de nombreux services, dont beaucoup n'ont même pas conscience des utilisateurs.
Résistance à la censure : les applications exécutées sur des rails cryptographiques sont imblocables si elles sont déployées sous forme de contrats immuables. Même si elle est évolutive, elle est généralement réalisée par une organisation autonome décentralisée (DAO) qui nécessite un consensus. En supposant que l’IA soit aussi performante que nous le pensons, les gouvernements tenteront probablement de la contrôler et de l’influencer. En fait, nous avons déjà vu cela se produire. Tout comme le Bitcoin et les crypto-monnaies fournissent une infrastructure monétaire/financière en dehors du système, la cryptographie combinée à l’IA fournit une intelligence imparable.
L'intersection de la cryptographie et de l'intelligence artificielle
Compte tenu de ces avantages, quelles applications nous semblent particulièrement intéressantes à l’intersection de la cryptographie et de l’intelligence artificielle ?
Centres de données et informatique
Les utilisations du calcul sur modèle se répartissent globalement en deux catégories : la formation et l’inférence. Nous pensons qu’il est important d’utiliser l’informatique décentralisée dans ces deux domaines, et nous en discuterons séparément ensuite.
Formation décentralisée
L'informatique distribuée est actuellement confrontée à des difficultés en raison d'exigences strictes en matière de communication et de latence entre les nœuds lors de la formation. De nombreuses équipes tentent de résoudre ce problème et, compte tenu de l'ampleur des gains potentiels et du talent des participants, nous pensons que ce problème peut être résolu. Certaines approches qui méritent d’être examinées incluent DisTrO de NousResearch et OpenDiLoCo de PrimeIntellect.
En plus de résoudre les défis techniques de la formation distribuée et de créer un produit qui simplifie cette complexité, le gagnant doit également comprendre :
Comment garantir la qualité et la responsabilité sur un réseau sans autorisation
Comment lancer le côté offre, idéalement des centres de données et des clusters, plutôt que du matériel grand public. Les incitations symboliques peuvent être la stratégie de base pour encourager le côté offre, des approches plus créatives peuvent inclure l'attribution aux fournisseurs de calcul de la propriété du modèle final.
Fondamentalement, l’avantage du marché de l’informatique distribuée est qu’il peut bénéficier du coût marginal de calcul le plus bas au monde. Cela devient de plus en plus important à mesure que les coûts des prestataires de services existants augmentent et que de plus en plus d’entreprises et d’organisations commencent à reculer et recherchent des alternatives moins chères. Les inconvénients incluent la latence, le matériel hétérogène et l’absence de toutes les optimisations et économies d’échelle liées à la construction et à l’exploitation de votre propre centre de données. Reste à savoir ce que l’avenir nous réserve.
inférence vérifiable
Dans l’ensemble, nous considérons le cas d’utilisation de l’inférence vérifiable comme l’extension des systèmes minimisant la confiance avec des capacités d’IA. Il n'est pas pratique d'intégrer le modèle dans un contrat intelligent, mais il est possible d'exécuter le modèle hors chaîne et de publier des preuves en chaîne démontrant qu'il fonctionne comme prévu. Par exemple, les projets peuvent déléguer en toute confiance les décisions de gouvernance (par exemple, les décisions concernant les paramètres de risque sur les marchés des devises) à des modèles hors chaîne.
Ce concept peut également être utilisé plus généralement avec des modèles open source ou fermés, offrant aux utilisateurs la garantie que le résultat provient du modèle qu'ils attendent. Cela deviendra probablement de plus en plus important à mesure que les applications et les utilisateurs auront de plus en plus recours à l’IA pour des tâches de plus en plus critiques. Il existe de nombreux projets qui abordent ce défi de différentes manières, comme le projet d'investissement de Delphi Ventures, Inference Labs (inference_labs).
données
Aujourd'hui, la formation de grands modèles linguistiques (LLM) est un processus de formation en plusieurs étapes qui nécessite différents types de données et une intervention humaine. Le processus commence par la pré-formation, au cours de laquelle de grands modèles de langage sont formés à l'aide d'une analyse commune nettoyée et organisée et d'autres ensembles de données disponibles gratuitement. Dans une phase post-formation, ces modèles sont formés sur des ensembles de données étiquetés plus petits et plus spécifiques pour leur donner des connaissances pertinentes dans un domaine spécifique (comme la chimie), souvent avec l'aide d'experts.
Pour garantir des données récentes ou exclusives, les laboratoires d'IA s'associent souvent aux propriétaires de grandes sources de données. Par exemple, OpenAI a signé un accord avec Reddit d'une valeur de 60 millions de dollars. De même, l'accord de cinq ans de News Corp avec OpenAI était évalué à plus de 250 millions de dollars, a rapporté le Wall Street Journal. Il est clair que les données sont plus précieuses que jamais.
Nous pensons que les réseaux cryptés peuvent aider efficacement les équipes à obtenir les données et les ressources dont elles ont besoin à chaque étape. Le domaine le plus intéressant est peut-être la collecte de données, où nous pensons que les incitations cryptographiques sont bien adaptées pour stimuler l'offre de collecte de données et exploiter un grand nombre de sources de données importantes à longue traîne.
Par exemple : Grass AI (getgrass_io) encourage les utilisateurs à partager leur bande passante Internet inactive pour aider à récupérer les données du Web, qui sont ensuite structurées, nettoyées et mises à disposition pour la formation en IA. Si Grass parvient à constituer une offre suffisante, elle pourrait effectivement servir de clé API pour alimenter les modèles avec les dernières données Internet.
Hivemapper est un autre bon exemple : le réseau lancé en novembre 2022 collecte des millions de kilomètres d’images routières chaque semaine, couvrant déjà 25 % du monde. Il est évident que des modèles similaires pourraient être appliqués à d’autres formes de données multimodales et vendus de manière rentable aux laboratoires d’IA.
Comme le montrent les accords NewsCorp et Reddit, de nombreuses entreprises disposent de données précieuses, mais beaucoup sont soit trop petites, soit manquent de connexions avec les laboratoires d’IA pour les monétiser. De même, cela ne vaut peut-être pas la peine pour un laboratoire d’IA de conclure un accord avec un seul petit fournisseur. Un marché de données bien conçu peut atténuer ce problème en connectant les fournisseurs aux laboratoires d’IA de manière unifiée. Il y a ici quelques défis, concernant principalement la qualité des données et l’interchangeabilité des API et des données.
Enfin, la préparation des données est une série de tâches importantes comprenant l'annotation, le nettoyage, l'amélioration des données, la transformation, etc. Une petite équipe peut ne pas posséder toutes ces compétences et peut donc chercher à externaliser. Scale AI (scale_AI) est une société centralisée qui fournit ces services, dont le chiffre d'affaires annuel est actuellement estimé à environ 700 millions de dollars et connaît une croissance rapide. Nous pensons qu’un marché bien conçu et un système de flux de travail basé sur la cryptographie fonctionneront bien ici. Lightworks est une société dans laquelle Delphi Ventures a investi, ainsi que plusieurs autres, le tout à ses débuts.
Modèle
Selon le rapport The Tower & The Square de Delphi Digital, la production et le contrôle des modèles d’IA sont presque entièrement contrôlés par les « grandes entreprises » et les gouvernements. Il s'agit d'un état de fait plus dystopique que le contrôle gouvernemental de la monnaie, car il leur permet non seulement de contrôler l'une des ressources économiques les plus importantes, mais également de contrôler le récit en censurant et en manipulant l'information, en excluant certaines personnes « indésirables ». les interactions privées des gens avec l'IA contre eux, ou simplement utiliser l'IA pour maximiser les revenus publicitaires.
De nombreuses personnes intelligentes travaillent dur pour créer « The Square » – un réseau décentralisé dont l'objectif est de produire un modèle totalement neutre, résistant à la censure et accessible à tous. Ainsi, tout comme Bitcoin et les crypto-monnaies fournissent une infrastructure monétaire/financière située en dehors du système financier, crypto x AI fournira un système intelligent situé en dehors du système.
Un tel projet vise à créer un modèle puissant qui rivalise avec GPT et LLaMA en décentralisant tous les aspects du processus de création de modèle - le réseau est responsable de l'acquisition et de la préparation des données, de la formation sur son propre informatique décentralisé et sur le même réseau. le processus d'inférence s'exécute par calcul et l'ensemble du processus est coordonné via une gouvernance décentralisée. Aucune partie du processus n'est centralisée, de sorte que le modèle appartient véritablement à la communauté et ne peut pas être contrôlé par une « tour ».
Il sera évidemment très difficile de créer un modèle décentralisé qui se rapproche en quelque sorte d’un modèle d’avant-garde. Nous ne pouvons pas nous attendre à ce que la majorité des utilisateurs acceptent un produit de qualité inférieure pour des raisons éthiques. Nous considérons ces types de projets comme des « projets lunaires » qui ont peu de chances de réussir, mais qui seraient extrêmement précieux s’ils réussissaient – et nous espérons sincèrement qu’ils réussiront.
Il convient de mentionner les laboratoires d’IA centralisés qui adoptent l’idée des crypto-monnaies et peuvent posséder des jetons ou utiliser la cryptographie d’une autre manière.
NousResearch et PondGNN sont quelques exemples d'investissements de Delphi Ventures. Enfin, l’infrastructure de création de modèles telle que Bittensor d’OpenTensor fait partie de cette architecture de modèle. Bittensor a été discuté en profondeur ailleurs, nous ne discuterons donc pas de ses avantages et inconvénients.
Scénarios d'application
Eric Schmidt a déclaré dans un récent discours :
Si TikTok est interdit, voici ce que je suggère à chacun d'entre vous de faire : dites à votre Large Language Model (LLM) : "Faites-moi une copie de TikTok, volez tous les utilisateurs, volez toute la musique, personnalisez-la selon mes préférences, faites-la." application dans les 30 prochaines secondes, publiez-la et si elle ne devient pas virale dans l'heure, prenez d'autres mesures similaires.
Ce passage illustre les vastes capacités que nous attendons de nos agents. Mais pour accomplir ces tâches en toute autonomie, ces agents doivent être capables d'utiliser une variété de services sans intervention humaine : transférer de la valeur et établir des relations économiques, déployer et exécuter du code sans autorisation.
Les applications bancaires traditionnelles, le KYC (Know Your Customer) et les processus d'onboarding ne sont pas adaptés à ces agents. Inévitablement, ils rencontreront un système conçu pour les humains et auquel ils ne pourront accéder sans aide.
L'infrastructure cryptographique fournit la plate-forme parfaite. Ils fournissent une base sans autorisation, sans confiance et résistante à la censure sur laquelle les agents peuvent agir. S'ils ont besoin de déployer une application, ils peuvent le faire directement en chaîne. Des jetons peuvent être envoyés s’ils doivent payer certains frais. Le code et les données des services en chaîne sont ouverts et cohérents, afin que les agents puissent comprendre et interagir sans avoir besoin d'API ou de documentation.
Les agents peuvent également agir de diverses manières comme catalyseurs de l’activité en chaîne. Passer d’un paradigme d’expérience utilisateur (UX) dans lequel les gens cliquent sur des boutons sur un site Web à une interaction via nos assistants personnels IA peut simplifier la complexité notoire de l’intégration de l’espace cryptographique, atténuant ainsi l’un des principaux obstacles pour attirer de nouveaux utilisateurs.
Des projets comme Wayfinder (AIWayfinder), Autonolas (Autonolas), DAIN (dainprotocol) et Almanak (Almanak__) se dirigent vers cet avenir.
en conclusion
L’intelligence artificielle (IA) est devenue la ressource la plus puissante et la plus importante du 21e siècle, ayant un impact profond sur la société. Un avenir entièrement contrôlé par les grandes entreprises technologiques et l’État est un avenir dystopique que nous ne voulons pas voir. Dans cet article, nous essayons de montrer comment la cryptographie peut empêcher ce monopole, non pas en attendant que les gens utilisent des solutions pour des raisons philosophiques, mais en fournissant aux développeurs et aux utilisateurs des solutions vraiment meilleures.
Nous sommes encore aux premiers stades de l’ère de l’intelligence artificielle (IA), en particulier à l’ère de la de-AI (deAI). Il reste encore beaucoup de travail à faire pour nous conduire de notre état actuel au futur évoqué dans cet article. Chez Delphi Labs, nous sommes passionnés par l'avenir de la cryptographie et de l'intelligence artificielle et souhaitons participer activement à façonner cet avenir en travaillant avec les meilleurs développeurs du domaine.