ByteDance sta lanciando il suo nuovo modello di generazione audio e video, Dreamina Seedance 2.0, sulla sua piattaforma di editing, CapCut.
Questa implementazione posiziona ByteDance come attore chiave nel mercato della generazione di video AI, in seguito alla decisione di OpenAI di ridimensionare gli sforzi per l’app Sora.
Secondo ByteDance, il modello consente ai creatori di creare bozze, modificare e sincronizzare contenuti video e audio utilizzando suggerimenti, immagini o video di riferimento.
Il lancio sarà inizialmente rivolto agli utenti CapCut in Brasile, Indonesia, Malesia, Messico, Filippine, Tailandia e Vietnam. ByteDance ha dichiarato che ulteriori mercati verranno aggiunti progressivamente.
La società in precedenza aveva dovuto affrontare problemi di proprietà intellettuale relativi al modello, che hanno provocato una pausa nel suo lancio globale e critiche da parte di Hollywood per la presunta violazione del copyright. Ciò potrebbe spiegare la limitata disponibilità iniziale sul mercato.
In Cina, Dreamina Seedance 2.0 è disponibile nell’app Jianying di ByteDance.
Il modello di generazione video può funzionare senza immagini di riferimento, consentendo ai creatori di descrivere le scene con poche parole, ha annunciato ByteDance.
CapCut può eseguire il rendering di trame, movimenti e illuminazione realistici attraverso varie prospettive visive e angoli per il modello. La società ha notato che questa funzionalità potrebbe migliorare o correggere i filmati dei creatori esistenti.
Gli utenti possono anche testare idee di contenuto basate su concetti o schizzi iniziali prima delle riprese, ha affermato la società.
Dreamina Seedance 2.0 supporta tipi di contenuti come ricette di cucina, tutorial di fitness, panoramiche aziendali e video incentrati sull’azione, aree in cui i modelli video AI hanno precedentemente incontrato sfide, ha spiegato ByteDance.
Al momento del lancio, il modello supporta videoclip della durata massima di 15 secondi in sei proporzioni.
L’integrazione in CapCut includerà funzionalità come AI Video e strumenti di generazione come Video Studio. Il modello si estenderà anche alla piattaforma di generazione AI di ByteDance, Dreamina, e alla sua piattaforma di marketing, Pippit.
ByteDance ha implementato restrizioni di sicurezza per impedire al modello di generare video da immagini o video contenenti volti reali grazie alle sue capacità di generazione di contenuti realistici. CapCut bloccherà anche la generazione non autorizzata di proprietà intellettuale.
I contenuti prodotti da Dreamina Seedance 2.0 conterranno una filigrana invisibile per identificare il materiale generato dall’intelligenza artificiale quando condiviso fuori piattaforma. Questa funzionalità potrebbe aiutare a gestire le richieste di rimozione da parte dei titolari dei diritti, ha aggiunto ByteDance.
ByteDance prevede di collaborare con esperti e comunità creative durante il lancio per migliorare in modo iterativo le capacità del modello.
