Google ha appena pubblicato un nuovo modello di intelligenza artificiale in grado di acquisire due immagini e colmare il pario per creare un’animazione senza soluzione di continuità simile a una foto dal vivo.
VDIM (Video Interpolation With Diffusion Models) è stato creato dalla pisione di ricerca di Google DeepMind e utilizza un’immagine come primo fotogramma e l’altra come fotogramma finale. Quindi riempie tutte le riprese intermedie utilizzando l’intelligenza artificiale per realizzare il video.
Potrebbe essere ottimo per dare vita alla raffica di foto che hai scattato nel parco mentre i tuoi bambini giocavano o durante un evento in cui hai dimenticato di filmare l’azione.
Al momento si tratta solo di un’anteprima della ricerca, ma un giorno la tecnologia sottostante potrebbe pentare parte integrante dello scatto quotidiano di foto tramite smartphone.
Come funziona il VDIM?
VDIM trasforma le immagini fisse in video creando i fotogrammi mancanti utilizzando un modello di diffusione, simile a quelli trovati in Midjourney, DALL-E o Imagen 2 di Google.
Essenzialmente utilizza le due immagini come materiale di riferimento, proprio come Runway o Pika Labs possono creare un video da un’immagine, ma in questo caso le utilizza come primo e ultimo fotogramma.
Si inizia creando una versione a bassa risoluzione del video finale completo. Lo fa eseguendo una cascata di modelli di diffusione in sequenza per perfezionare continuamente il video. Questo primo passaggio consente a VDIM di catturare il movimento e la dinamica dell’output finale.
Quindi trasmette queste informazioni a una fase di risoluzione più elevata dove vengono ingrandite e migliorate per corrispondere più fedelmente alle immagini di input e rendere il movimento più fluido.
Per cosa potrebbe essere utilizzato il VDIM?
Un potenziale caso d’uso per VDIM esaminato dal team nel documento di ricerca è stato il restauro video. L’intelligenza artificiale è stata utilizzata per migliorare le vecchie immagini, ma ciò potrebbe aiutare a ripulire i vecchi film di famiglia o a ripristinare un film con fotogrammi rotti.
A volte i vecchi film possono subire un fotogramma bruciato nel mezzo di una sequenza, rendendo difficile la visione. Oppure hanno una manciata di cornici con graffi.
A VDIM potrebbe essere assegnato il primo e l’ultimo fotogramma pulito e utilizzato per ricreare il movimento tra questi due punti, ripristinandolo alla sua qualità originale.
Quanto bene funziona VDIM?
Nessuno al di fuori del team di ricerca di Google DeepMind ha ancora utilizzato VDIM poiché si tratta di un progetto di ricerca, ma dai video clip di esempio è un buon inizio per un nuovo tipo di video AI.
Alcuni dei video di esempio conpisi da Google DeepMind includono l’inizio di una corsa di carri con solo due immagini fisse: questa è stata trasformata in una fuga fluida.
Un altro mostra una donna su un’altalena dove trasformano due immagini in un movimento oscillatorio fluido e un terzo mostra un cammello che passa da un salto nervoso a una camminata naturale.
Personalmente penso che questo sia uno di quei progetti di ricerca che Google dovrebbe portare avanti e trovare un modo per implementarlo nel software live, in particolare per il restauro video. Soprattutto se sono in grado di estenderlo oltre un paio di secondi o una dozzina di fotogrammi.
- Google DeepMind addestra l’intelligenza artificiale a giocare a No Man’s Sky e ad altri videogiochi: incontra il tuo nuovo copilota
- DeepMind di Google utilizza l’intelligenza artificiale per insegnare ai robot le faccende domestiche: ecco il risultato
- Il CEO di Google DeepMind afferma che siamo a “solo pochi anni di distanza” dall’intelligenza artificiale di tipo umano
