Adobe sta lavorando su alcune nuove straordinarie funzionalità video AI per Premiere Pro, inclusa l’integrazione con servizi di terze parti come Sora, Runway e Pika Labs di OpenAI.
L’aggiornamento è attualmente disponibile solo internamente per i test presso Adobe senza una tempistica oltre “quest’anno” per il rilascio pubblico, ma includerà la possibilità di utilizzare l’intelligenza artificiale per estendere una clip e aggiungere o rimuovere qualsiasi oggetto in pochi secondi dall’interno di una sequenza.
Mentre Adobe sta sperimentando con terze parti, la società afferma che le funzionalità principali verranno fornite attraverso un nuovo modello di intelligenza artificiale generativa Firefly Video addestrato sui contenuti concessi in licenza.
“Adobe sta reinventando ogni fase del flusso di lavoro di creazione e produzione video per offrire ai creatori nuova potenza e flessibilità per realizzare la loro visione”, ha affermato Ashley Still, SVP dei prodotti creativi presso Adobe.
Adobe afferma che qualsiasi video o video generato dall’intelligenza artificiale che includa elementi AI verrà etichettato come tale sia in Premiere Pro che nei metadati.
Perché Adobe sta introducendo Sora in Premiere Pro?
Da quando ha rivelato Sora all’inizio di quest’anno, OpenAI ha dimostrato il potenziale del video AI non solo per creare una breve clip di tre secondi, ma un video multi-scatto completamente prodotto da un messaggio di testo. Runway e altri stanno recuperando terreno velocemente.
I modelli video sintetici come Sora, Runway e Pika Labs sono stati controversi tra alcuni creativi, con preoccupazioni sull’impatto sui posti di lavoro, sulla provenienza dei dati di formazione e sulla qualità.
Introducendo le innovazioni dell’intelligenza artificiale generativa nei flussi di lavoro principali di Premiere Pro, stiamo risolvendo i veri punti critici che gli editor video sperimentano ogni giorno, dando loro più spazio per concentrarsi sul proprio mestiere.
Ashley Still, vicepresidente senior di Adobe
Tuttavia, questa critica non è stata universale e molti vedono l’uso dell’intelligenza artificiale generativa come un modo per migliorare la produzione video esistente piuttosto che sostituirla, mettendo anche grafica avanzata ed effetti visivi nelle mani di creatori più piccoli in un modo mai possibile prima.
Adobe vuole sfruttare questo potenziale e il fatto che inizialmente si stia concentrando sul miglioramento del flusso di lavoro piuttosto che sulla semplice generazione di video, come ha fatto con il riempimento generativo in Photoshop, ne è la prova e un approccio sensato, anche se cauto.
Still ha affermato: “Inserendo le innovazioni dell’intelligenza artificiale generativa nei flussi di lavoro principali di Premiere Pro, stiamo risolvendo i veri punti critici che gli editor video sperimentano ogni giorno, dando loro più spazio per concentrarsi sul proprio mestiere”.
Quali funzionalità AI saranno disponibili in Premiere Pro?
Oltre alle funzionalità di etichettatura automatica e di miglioramento audio precedentemente annunciate, come la pulizia del rumore di fondo, Adobe ha confermato che sta introducendo l’espansione generativa e l’editing in-video su Premiere Pro.
Per impostazione predefinita, l’espansione generativa utilizzerà il modello video Adobe Firefly AI il cui lancio è previsto entro la fine dell’anno e prende l’inizio della clip che desideri estendere come materiale sorgente e lo estende di alcuni fotogrammi o secondi.
Lo trascini finché vuoi per estenderlo, ad esempio per abbinare un pezzo di audio, e l’intelligenza artificiale farà il resto, generando pixel per abbinare ciò che è venuto prima.
Questo è simile al riempimento generativo in Photoshop in cui puoi espandere una tela e fare in modo che Firefly preveda cosa dovrebbe essere in quello spazio, generando un’immagine da abbinare.
A cosa servono le nuove funzionalità video AI?
L’altra funzionalità video IA generativa riguarda la correzione di ciò che è già presente. Durante una breve demo mi è stata mostrata una scatola che veniva rimossa da una scena e che veniva spostata in modo coerente su tutti i fotogrammi della clip, utilizzando nient’altro che un clic del mouse.
Un’altra demo mostrava un oggetto aggiunto a una scena semplicemente tramite un messaggio di testo. Questi strumenti potrebbero rivelarsi preziosi per gli editor che desiderano sfocare un volto o rimuovere un oggetto che interrompe la coerenza di più scatti, ad esempio una pentola o un’auto fuori posto.
Secondo Adobe, i modelli AI saranno anche in grado di generare b-roll all’interno di Premiere Pro. Utilizzando Sora, Runway o Pika Labs gli editor video possono essere in grado di creare filmati extra per un progetto senza dover uscire e filmarlo.
In un video conpiso da Adobe per mostrare il potenziale di queste nuove funzionalità, ha utilizzato Runway e Sora per creare B-roll, il proprio modello per rimuovere un oggetto e Pika Labs per estendere una clip.
Sebbene nulla di tutto ciò sia disponibile al pubblico, ogni esempio è stato prodotto utilizzando una versione interna di Premiere Pro con una reale integrazione dei modelli AI.
- Il miglior software di fotoritocco del 2024
- Il generatore di immagini Adobe AI è appena pentato globale con un enorme aggiornamento: tutto ciò che devi sapere
- Adobe ha appena introdotto l’intelligenza artificiale generativa in Photoshop: cosa devi sapere