Google ha aggiornato il suo modello di intelligenza artificiale Gemini Pro 1.5 incredibilmente potente per dargli la possibilità di ascoltare per la prima volta il contenuto di un file audio o video.
L’aggiornamento è stato annunciato a Google Avanticon il colosso della ricerca che conferma che la modella può ascoltare una clip caricata e fornire informazioni senza la necessità di una trascrizione scritta.
Ciò significa che potresti fornirgli un documentario o una presentazione video e porre domande su qualsiasi momento, sia audio che video, all’interno della clip.
Ciò fa parte di una spinta più ampia da parte di Google per creare modelli più multimodali in grado di comprendere una varietà di tipi di input oltre al semplice testo. Il trasferimento è possibile perché la famiglia di modelli Gemini viene addestrata contemporaneamente su audio, video, testo e codice.
Cosa c’è di nuovo in Gemini Pro 1.5?
Google ha lanciato Gemini Pro 1.5 a febbraio con una finestra di contesto da 1 milione di token. Questo, combinato con i dati di addestramento multimodale, significa che può elaborare video.
Il colosso della tecnologia ha ora aggiunto l’audio alle opzioni di input. Ciò significa che puoi dargli un podcast e farlo ascoltare per momenti chiave o menzioni specifiche. Può fare lo stesso per l’audio allegato a un file video, analizzando anche il contenuto video.
L’aggiornamento significa anche che Gemini ora può generare trascrizioni per i clip video indipendentemente dalla durata della loro esecuzione e trovare un momento specifico all’interno del file audio o video.
Il nuovo aggiornamento fa parte del livello intermedio della famiglia Gemini, che è disponibile in tre fattori di forma: il piccolo Nano per il dispositivo, Pro che alimenta la versione gratuita del chatbot Gemini e Ultra che alimenta Gemini Advanced.
Per qualche motivo Google ha rilasciato solo l’aggiornamento 1.5 per Gemini Pro anziché Ultra, il che significa che il loro modello di livello intermedio ora esegue la versione più avanzata. Non è chiaro se ci sarà un Gemini Ultra 1.5 o quando sarà accessibile in caso di lancio.
L’enorme finestra di contesto, che parte da 250.000 (simile a Claude 3 Opus) e sale a oltre un milione per alcuni utenti approvati, significa che non è necessario mettere a punto un modello su dati specifici. Puoi caricare i dati all’inizio di una chat e porre semplicemente domande.
L’aggiornamento significa anche che Gemini ora può generare trascrizioni per clip video indipendentemente dalla durata della loro esecuzione e trovare un momento specifico all’interno del file audio o video.
Come accedere a Gemini Pro 1.5?
Immagino che ad un certo punto Google aggiornerà il suo chatbot Gemini per utilizzare i modelli 1.5, possibilmente dopo la conferenza degli sviluppatori Google I/O del mese prossimo. Per ora è disponibile solo tramite la dashboard per sviluppatori di Google Cloud VertexAI.
Sebbene VertexAI sia un potente strumento per interagire con una vasta gamma di modelli, creare applicazioni di intelligenza artificiale e testare ciò che è possibile, non è ampiamente accessibile e si rivolge principalmente a sviluppatori, imprese e ricercatori piuttosto che ai consumatori.
Usando VertexAI puoi inserire qualsiasi forma di media visivo o audio come un cortometraggio o qualcuno che tiene un discorso e aggiungere un messaggio di testo. Potrebbe essere “dammi cinque punti che riassumono il discorso” o “quante volte hanno detto Gemelli”.
Il pubblico principale di Google per Gemini Pro 1.5 è quello aziendale con partnership già in corso con TBS, REplit e altri che lo utilizzano per il tagging dei metadati e la creazione di codice.
Google ha anche iniziato a utilizzare Gemini Pro 1.5 nei propri prodotti, incluso l’assistente di codifica con intelligenza artificiale generativa Code Assist per tenere traccia delle modifiche su basi di codice su larga scala.
Cos’altro ha annunciato Google?
Le modifiche a Gemini Pro 1.5 sono state annunciate a Google Next insieme a un grande aggiornamento al modello di immagine AI di DeepMind Imagen 2 che alimenta le capacità di generazione di immagini di Gemini.
Si tratta di operazioni di inpainting e outptaining in cui gli utenti possono rimuovere o aggiungere qualsiasi elemento da un’immagine generata. Questo è simile agli aggiornamenti apportati recentemente da OpenAI al suo modello DALL-E.
Google inizierà inoltre a diffondere le sue risposte AI su Gemini e altre piattaforme con Ricerca Google in modo che contengano sempre informazioni aggiornate.
- ChatGPT Plus vs Copilot Pro: quale chatbot premium è migliore?
- Ho contrapposto Google Bard a Gemini Pro e ChatGPT: ecco il vincitore
- Runway vs Pika Labs: qual è il miglior strumento video AI?
