L'IA può far cantare qualcuno partendo da una sola foto?

Sarebbe facile interpretare la frase "basta una sola foto" come un motivo per cui la regola sia meno importante. È vero il contrario. Le linee guida etiche per gli strumenti di lip-sync basati sull'AI evidenziano specificamente la bassa barriera d'ingresso come la ragione per cui una regola ferma sul consenso è ineludibile: quando un risultato convincente richiede solo una foto e pochi minuti, non c'è nulla che impedisca a qualcuno di usare impropriamente una foto per cui non ha i diritti, se non la regola stessa e la scelta di seguirla.

Su singingphoto.ai, questa regola è la stessa per ogni modalità, indipendentemente da quanto minimo sia l'input. La modalità Solo richiede una foto per cui hai i diritti di utilizzo. La modalità Duet richiede due foto, una per ogni persona nella scena composita, ed entrambe devono essere foto per cui hai i diritti di utilizzo, non solo quella che stai caricando tu stesso. Pet Karaoke richiede una foto di un animale di tua proprietà o per cui hai il permesso di utilizzo. La quantità di input richiesta dall'AI non ha alcuna influenza sul requisito del permesso; anzi, minore è l'input richiesto, più quel permesso è l'unica cosa che si frappone tra un video divertente e un problema reale.

Ecco la ragione tecnica per cui un singolo fotogramma è sufficiente. L'AI non unisce più foto reali né esegue morphing tra fotogrammi esistenti della persona; sintetizza un nuovo movimento su un'unica immagine statica. Il modello rileva i punti di riferimento facciali nella foto (occhi, mascella e, in particolare, bocca e labbra), quindi mappa una traccia audio a una sequenza di fonemi e genera le forme della bocca corrispondenti per ogni fotogramma del video di output. Poiché il movimento è generato, non copiato da filmati reali, non c'è alcuna necessità tecnica di una seconda foto, di un videoclip o di angolazioni multiple dello stesso volto. Un'immagine chiara fornisce al modello tutto ciò di cui ha bisogno per costruire il sistema di coordinate su cui animare.

Questo è un approccio significativamente diverso, ad esempio, dall'editing video tradizionale, dove più materiale sorgente generalmente significa più elementi su cui lavorare. Il motore di lip-sync esegue la sincronizzazione a livello fonemico indipendentemente dalla quantità di materiale visivo di partenza, motivo per cui una singola immagine fissa è sufficiente piuttosto che una limitazione che lo strumento sta aggirando. Il lavoro di doppiaggio o rotoscoping tradizionale, al contrario, generalmente dipende dall'avere filmati reali di una bocca che si muove come riferimento o da ricalcare; il lip-sync AI salta completamente questa dipendenza perché non sta ricalcando nulla, sta generando nuovi fotogrammi da un modello appreso di come le bocche si muovono quando formano suoni particolari.

Spiega anche perché il canto funziona tecnicamente allo stesso modo del parlato. Che l'audio sia una frase parlata o una canzone completa, il processo è lo stesso: audio in ingresso, una sequenza di fonemi in uscita, forme della bocca generate per corrispondere a quella sequenza. Nulla del meccanismo cambia a seconda che l'output debba sembrare parlato o cantato; solo l'audio e, di conseguenza, la temporizzazione dei fonemi, differiscono.

Poiché l'intero output è costruito da un'unica immagine, la qualità di tale immagine è più importante qui rispetto a uno strumento che parte da un video. Alcuni fattori influenzano costantemente l'aspetto naturale del risultato:

Essere trasparenti sui limiti reali è tanto importante quanto esserlo sulle capacità. Una singola foto è sufficiente per generare un movimento labiale convincente, ma non può fornire all'AI informazioni che quella foto semplicemente non contiene. Se il volto nella foto sorgente è girato di lato o parzialmente nascosto, lo strumento non ha nulla da cui ricostruire quel dettaglio mancante, poiché non c'è una seconda angolazione o un fotogramma video da cui attingere. Una singola foto non può nemmeno stabilire come la testa di una persona specifica si muove naturalmente quando parla o canta; l'AI applica un modello generalizzato e appreso di movimento della testa e della bocca piuttosto che replicare le vere maniere di quell'individuo, poiché non ha un video di loro da cui imparare in primo luogo. Questo è un compromesso ragionevole per il minimo input richiesto dal processo, non un difetto nascosto. In pratica, ciò significa che più la foto sorgente assomiglia a una posa naturale e rilassata mentre si parla o si canta, meno l'AI dovrà colmare quel divario da sola, e più convincente tenderà a sembrare il movimento finale.

In pratica, questo meccanismo a singola foto è la base di tutte e tre le modalità Karaoke di singingphoto.ai. Solo prende una singola foto e la sincronizza con una canzone. Duet prende due singole foto, una per ogni persona, e le unisce in un'unica scena composita dove entrambi sembrano cantare insieme, una composizione a due foto piuttosto che un'armonia vocale generata dall'AI. Pet Karaoke applica lo stesso meccanismo a singola foto a una foto di animale invece che a un volto umano. In aggiunta a qualsiasi modalità, un Preset Scena Istantanea (Studio, Jazz Club, Home, Bar, Supercar, Fisheye) può essere applicato con un clic, oppure si può scrivere un prompt per una Scena Personalizzata se nessuno dei preset si adatta. L'esportazione in HD, l'esportazione senza watermark e la generazione privata sono tutte gratuite, senza alcun livello a pagamento che ne limiti l'accesso, e la Gestione Asset mantiene una foto precedentemente caricata disponibile per il riutilizzo senza doverla ricaricare.