Réponse de Google à OpenAI : annonce du projet Astra

Il y a six ans, Google a présenté une démonstration d'intelligence artificielle appelée Duplex lors d'un événement destiné aux développeurs d'E/S et a pris rendez-vous avec un coiffeur. Après de nombreuses années, Google a récemment annoncé le projet Astra. Dans la démo partagée, le projet Astra peut voir tout ce qui l'entoure grâce à l'appareil photo d'un téléphone et répondre à vos questions à ce sujet.

Demis Hassabis, PDG de DeepMind de Google, a déclaré aujourd'hui dans son discours que son équipe travaillait au développement d'agents d'IA universels qui peuvent aider dans la vie quotidienne. Le projet Astra est une étape vers cet objectif.

Dans la démo partagée, nous voyons que la personne qui tient le téléphone emmène la caméra de l'appareil et le projet Astra dans certaines parties du bureau et pose des questions. Dans l'exemple présenté, l'utilisateur dit à voix haute : « Dites-moi quand vous voyez quelque chose émettre un son », et l'IA alimentée par Gemini répond : « Je vois un haut-parleur émettre un son ». L'utilisateur demande alors à l'IA ce qu'il pointe sur le haut-parleur et dit : "C'est le tweeter. Il produit des sons haute fréquence." obtient la réponse.

Selon son communiqué, Google souligne que cette vidéo a été réalisée en un seul plan et en temps réel. Plus tard dans la vidéo, Gemini est montré en train d'identifier et d'expliquer des morceaux de code sur un moniteur, indiquant à l'utilisateur dans quel quartier il se trouve en fonction de la vue depuis la fenêtre.

La partie la plus impressionnante est lorsque l'utilisateur demande : « Vous souvenez-vous où j'ai vu mes lunettes ? Cela arrive lorsque vous posez la question. Dans la vidéo, aucune question n'a été posée à l'intelligence artificielle sur les lunettes. En fait, il n'y avait pas de lunettes dans la scène que l'utilisateur montrait sur la caméra du téléphone à ce moment-là. Mais malgré cela, les Gémeaux disent : "Oui, je m'en souviens. Vos lunettes sont à côté d'une pomme rouge."