Ilya Sutskever, cofondateur d'OpenAI, a déclaré le 15/12 lors de la conférence NeurIPS à Vancouver, Canada, que le développement de l'IA a atteint un tournant critique, la technologie de pré-entraînement fait face à des obstacles, et l'avenir se dirige vers l'intelligence artificielle super intelligente (ASI).

Les données de pré-entraînement de l'IA atteignent un « plafond », une transformation est inévitable.

Sutskever a déclaré à la conférence que l'ère de pré-entraînement de l'IA est sur le point de se terminer. Il estime que la quantité de données sur Internet est proche de la limite, et que de nouvelles technologies doivent être mises en place pour continuer à faire progresser l'IA vers la prochaine étape, et développer finalement l'intelligence artificielle super intelligente (ASI).

Sutskever a noté qu'avec l'avancement continu des logiciels, du matériel et des algorithmes, les capacités de calcul de l'IA ont considérablement augmenté, mais les données utilisées pour former l'IA ne peuvent pas être étendues indéfiniment. Sutskever a comparé les données au « combustible fossile » de l'IA, en déclarant : « Les données ne peuvent pas croître sans fin, car il n'y a qu'un seul Internet. Les données sont comme le combustible fossile de l'IA, et elles sont presque épuisées ; à l'avenir, il faudra trouver des moyens d'utiliser pleinement les données existantes. »

(Note : Le modèle de pré-entraînement se réfère à un modèle qui ne nécessite pas d'être entraîné depuis zéro, mais qui a déjà appris des connaissances de base.)

Trois technologies clés pour faire avancer le développement de l'IA

Bien que Sutskever ait souligné les problèmes auxquels l'IA est confrontée lors de la conférence, il a également présenté trois technologies clés qui pourraient influencer l'évolution de l'IA en intelligence artificielle super intelligente (ASI) à l'avenir :

  1. IA autonome (Agentic AI) : capable de prendre des décisions et d'exécuter des tâches sans intervention humaine, elle peut ajuster son comportement en fonction des objectifs et de l'environnement dynamique. Contrairement à l'agent IA, l'agent IA agit principalement de manière passive ou selon une logique fixe, nécessitant plus d'interventions humaines.

  2. Données synthétiques (Synthetic Data) : utiliser l'IA pour générer elle-même des données simulées de haute qualité, afin de résoudre le problème du manque de données. Par exemple : supposons que nous souhaitons entraîner un modèle IA pour reconnaître les véhicules sur la route, mais que les données de circulation dans le monde réel sont insuffisantes, nous pouvons utiliser la technologie synthétique pour « générer » de nombreux véhicules simulés et des scénarios pour les remplacer.

  3. Calcul d'inférence en temps réel (Inference Time Computing) : améliorer les capacités de calcul des modèles IA, permettant à l'IA de résoudre plus rapidement des problèmes complexes.

Sutskever pense que ces trois grandes technologies peuvent propulser la technologie IA actuelle vers l'« intelligence artificielle super intelligente » (ASI).

La vague d'IA déferle sur le marché de la blockchain et des LLM.

Le concept d'agent IA ne se limite pas à la technologie, de nombreuses cryptomonnaies et modèles de langage de grande taille (LLMs) commencent également à intégrer des technologies IA, comme l'agent IA Truth Terminal qui promeut sur les réseaux sociaux la cryptomonnaie GOAT, dont la capitalisation boursière a grimpé à 600 millions de dollars, même le célèbre investisseur a16z Marc Andreessen a été impressionné par Truth Terminal.

Le cas le plus célèbre récemment de l'agent IA combinant des modèles de langage de grande taille est le modèle Gemini 2.0 lancé par Google DeepMind. Selon Google, Gemini 2.0 peut générer directement des images, du texte, et même convertir du texte en parole, tout en ajustant les effets sonores dans différentes langues. Il peut également utiliser la recherche Google, exécuter du code, et utiliser des outils tiers personnalisés par l'utilisateur.

Avantages de l'IA autonome, résoudre le problème des « hallucinations IA »

Sutskever a souligné que l'IA autonome et le calcul d'inférence en temps réel aident à résoudre le problème des « hallucinations IA » (AI Hallucinations) dans la formation de l'IA. Les hallucinations IA désignent le fait que, en raison de données d'entraînement insuffisantes, les modèles IA peuvent produire des informations erronées ou inexactes. Avec la nouvelle génération de modèles IA qui repose toujours sur les données produites par les anciens modèles, ce problème ne fera qu'empirer.

Sutskever a déclaré que pour résoudre le problème des « hallucinations », l'IA autonome peut renforcer les capacités de raisonnement et de calcul en temps réel pour juger efficacement de la véracité des données, améliorant ainsi la fiabilité et l'efficacité de l'IA.

Face à cette grande problématique où les données d'entraînement IA atteignent leurs limites, causant des « hallucinations », cela diffère en réalité de l'opinion de Jensen Huang, PDG de Nvidia. Plus tôt, Huang a également souligné ce problème lors d'une interview et a proposé trois étapes importantes pour améliorer les « hallucinations » à l'avenir :

  • Pré-formation :

    • Pour la phase fondamentale de l'IA, à travers l'absorption massive de données du monde réel, afin d'« apprendre » et « découvrir » diverses connaissances, mais cela ne reste qu'une introduction, encore insuffisamment approfondie.

  • Post-formation :

    • C'est la phase de renforcement de l'IA, à travers des retours d'humains, comme l'évaluation par des humains. Et le retour de l'IA elle-même, en utilisant des données synthétiques pour simuler plus de scénarios. À ce moment-là, des techniques comme l'apprentissage par renforcement et l'apprentissage multimodal seront ajoutées pour aider l'IA à se concentrer sur l'amélioration de compétences spécifiques, afin qu'elle comprenne mieux comment résoudre des problèmes.

  • Test Time Scaling :

    • Cette phase peut être comprise comme le moment où l'IA commence à « penser ». Lorsqu'elle est confrontée à des problèmes complexes, l'IA décompose progressivement les problèmes, simule différentes solutions et ajuste continuellement pour trouver la meilleure réponse. Jensen Huang pense que si l'on donne plus de « temps de réflexion » à l'IA, les réponses qu'elle fournira pourraient être plus précises ou de meilleure qualité.

Cet article met un point final à la pré-formation de l'IA ! Co-fondateur d'OpenAI : l'IA autonome et les données synthétiques accélèrent l'arrivée de l'ère de l'intelligence artificielle super intelligente. Publié pour la première fois sur ABMedia.