Four Things Google Gemini Users Will Be Able to Do Soon

Cointelegraph · 2024-05-15T06:33:03.000Z

Google’s artificial intelligence model Gemini is getting weaved into much of the tech giant’s technology, with the AI soon to show up in Gmail, on YouTube, and on the company’s smartphones. In a keynote speech at the company’s I/O 2024 developer conference on May 14, CEO Sundar Pichai revealed some of the upcoming places its AI model will appear. Pichai mentioned AI 121 times in his 110-minute keynote as the topic took center stage — Gemini, which launched in December, took the limelight. Google is incorporating the large language model (LLM) into virtually all of its offerings, including Android, Search, and Gmail, and here is what users can expect going forward. Sundar Pichai at Google I/O 2024. Source: Google App interactions Gemini is getting more context in that it will be able to interact with applications. In an upcoming update, users will be able to call Gemini to interact with apps such as dragging and dropping an AI-generated image into a message. YouTube users will also be able to tap “Ask this video” to find specific information from within the video from the AI. Gemini in Gmail Google’s email platform, Gmail, is also getting AI integration as users will be able to search, summarize, and draft their emails using Gemini. The AI assistant will be able to take action on emails for more complex tasks, such as assisting in processing e-commerce returns by searching the inbox, finding the receipt, and filling out online forms. Gemini Live Google also unveiled a new experience called Gemini Live where users can have “in-depth” voice chats with the AI on their smartphones. The chatbot can be interrupted mid-answer for clarification and it will adapt to users’ speech patterns in real-time. Additionally, Gemini can also see and respond to physical surroundings via photos or videos captured on the device. Screenshot from Gemini promotional video. Source: Google Multimodal advancements Google is working on developing intelligent AI agents that can reason, plan, and complete complex multi-step tasks on the user’s behalf under supervision. Multimodal means that the AI can go beyond text and handle image, audio, and video inputs. Examples and early use cases include automating shopping returns and exploring a new city. Related: Google’s ‘GPT-4 killer’ Gemini is out, here’s how you can try it Other updates in the pipeline for the firm’s AI model include a replacement for Google Assistant on Android with Gemini fully integrated into the mobile operating system. A new “Ask Photos” feature allows searching the photo library using natural language queries powered by Gemini. It can understand context, recognize objects and people, and summarize photo memories in response to questions. AI-generated summaries of places and areas will be shown in Google Maps utilizing insights from the platform’s mapping data. Magazine: ‘Sic AIs on each other’ to prevent AI apocalypse: David Brin, sci-fi author

Il modello di intelligenza artificiale di Google Gemini si sta intrecciando con gran parte della tecnologia del colosso tecnologico, con l’intelligenza artificiale che presto apparirà in Gmail, su YouTube e sugli smartphone dell’azienda.
In un discorso programmatico alla conferenza degli sviluppatori I/O 2024 dell’azienda il 14 maggio, il CEO Sundar Pichai ha rivelato alcuni dei prossimi luoghi in cui apparirà il suo modello di intelligenza artificiale.
Pichai ha menzionato l'IA 121 volte nel suo intervento di 110 minuti mentre l'argomento era al centro dell'attenzione: Gemini, lanciato a dicembre, ha preso le luci della ribalta.
Google sta incorporando il modello LLM (Large Language Model) praticamente in tutte le sue offerte, inclusi Android, Ricerca e Gmail, ed ecco cosa possono aspettarsi gli utenti in futuro.
Sundar Pichai al Google I/O 2024. Fonte: Interazioni con l'app Google
Gemini sta ottenendo più contesto in quanto sarà in grado di interagire con le applicazioni. In un prossimo aggiornamento, gli utenti potranno chiamare Gemini per interagire con le app, ad esempio trascinando e rilasciando un'immagine generata dall'intelligenza artificiale in un messaggio.
Gli utenti di YouTube potranno anche toccare "Chiedi a questo video" per trovare informazioni specifiche all'interno del video dell'intelligenza artificiale.
Gemelli in Gmail
Anche la piattaforma di posta elettronica di Google, Gmail, sta ottenendo l’integrazione dell’intelligenza artificiale poiché gli utenti saranno in grado di cercare, riepilogare e redigere le proprie e-mail utilizzando Gemini.
L'assistente AI sarà in grado di intervenire sulle e-mail per attività più complesse, come assistere nell'elaborazione dei resi e-commerce effettuando ricerche nella casella di posta, trovando la ricevuta e compilando moduli online.
Gemelli in diretta
Google ha anche presentato una nuova esperienza chiamata Gemini Live in cui gli utenti possono avere chat vocali “approfondite” con l’intelligenza artificiale sui propri smartphone.
Il chatbot può essere interrotto a metà risposta per chiarimenti e si adatterà ai modelli vocali degli utenti in tempo reale. Inoltre, Gemini può anche vedere e rispondere all'ambiente fisico tramite foto o video catturati sul dispositivo.
Screenshot dal video promozionale di Gemini. Fonte: progressi multimodali di Google
Google sta lavorando allo sviluppo di agenti IA intelligenti in grado di ragionare, pianificare e completare complesse attività in più fasi per conto dell’utente sotto supervisione. Multimodale significa che l'intelligenza artificiale può andare oltre il testo e gestire input di immagini, audio e video.
Esempi e casi d'uso iniziali includono l'automazione dei resi degli acquisti e l'esplorazione di una nuova città.
Correlati: Gemini "GPT-4 killer" di Google è disponibile, ecco come puoi provarlo
Altri aggiornamenti in cantiere per il modello AI dell’azienda includono la sostituzione di Google Assistant su Android con Gemini completamente integrato nel sistema operativo mobile.
Una nuova funzione "Chiedi foto" consente di effettuare ricerche nella libreria di foto utilizzando query in linguaggio naturale fornite da Gemini. Può comprendere il contesto, riconoscere oggetti e persone e riassumere ricordi fotografici in risposta a domande.
I riepiloghi di luoghi e aree generati dall’intelligenza artificiale verranno mostrati in Google Maps utilizzando approfondimenti provenienti dai dati cartografici della piattaforma.
Rivista: "Le IA Sic l'una contro l'altra" per prevenire l'apocalisse dell'IA: David Brin, autore di fantascienza

Scopri di più dal Creator

Ultime notizie