L'IA peut-elle faire chanter quelqu'un à partir d'une seule photo ?

Il serait facile d'interpréter « une seule photo suffit » comme une raison de minimiser l'importance de cette règle. C'est tout le contraire. Les directives éthiques pour les outils de synchronisation labiale par IA soulignent spécifiquement la faible barrière à l'entrée comme la raison pour laquelle une règle de consentement stricte est non négociable : lorsqu'un résultat convaincant ne demande qu'une seule photo et quelques minutes, rien n'empêche quelqu'un d'utiliser abusivement une photo qu'il n'a pas le droit d'utiliser, si ce n'est la règle elle-même et le choix de la respecter.

Sur singingphoto.ai, cette règle est la même pour tous les modes, quelle que soit la simplicité de l'entrée. Le mode Solo nécessite une photo dont vous avez les droits d'utilisation. Le mode Duo nécessite deux photos, une pour chaque personne dans la scène composite, et les deux doivent être des photos dont vous avez les droits d'utilisation, pas seulement celle que vous téléchargez vous-même. Le mode Karaoké pour animaux nécessite une photo d'un animal que vous possédez ou pour lequel vous avez l'autorisation d'utiliser. La quantité d'entrée requise par l'IA n'a aucune incidence sur l'exigence d'autorisation ; au contraire, plus l'entrée est simple, plus cette autorisation est la seule chose qui sépare une vidéo amusante d'un véritable problème.

Voici la raison technique pour laquelle une seule image fonctionne. L'IA ne juxtapose pas plusieurs photos réelles ni ne fait de morphing entre des images existantes de la personne ; elle synthétise de nouveaux mouvements sur une seule image statique. Le modèle détecte les points de repère faciaux sur la photo (les yeux, la mâchoire, et spécifiquement la bouche et les lèvres), puis associe une piste audio à une séquence de phonèmes et génère les formes de bouche correspondantes pour chaque image de la vidéo finale. Étant donné que le mouvement est généré et non copié à partir de séquences réelles, il n'y a aucun besoin technique d'une deuxième photo, d'un clip vidéo ou de plusieurs angles du même visage. Une image claire fournit au modèle tout ce dont il a besoin pour construire le système de coordonnées sur lequel il s'anime.

C'est une approche significativement différente de, par exemple, le montage vidéo traditionnel, où plus de séquences sources signifie généralement plus de matière à travailler. Le moteur de synchronisation labiale effectue la synchronisation au niveau phonétique, quelle que soit la quantité de matériel visuel de départ, c'est pourquoi une seule image fixe est suffisante plutôt qu'une limitation que l'outil contourne. Le doublage traditionnel ou le rotoscoping, en revanche, dépendent généralement de la disponibilité de séquences réelles d'une bouche en mouvement pour référence ou pour le traçage ; la synchronisation labiale par IA ignore entièrement cette dépendance car elle ne trace rien, elle génère de nouvelles images à partir d'un modèle appris du mouvement des bouches lors de la formation de sons particuliers.

Cela explique également pourquoi le chant fonctionne techniquement de la même manière que la parole. Que l'audio soit une phrase parlée ou une chanson complète, le processus est identique : audio en entrée, séquence de phonèmes en sortie, formes de bouche générées pour correspondre à cette séquence. Rien dans le mécanisme ne change selon que le résultat est censé ressembler à de la parole ou du chant ; seuls l'audio, et par conséquent, le timing des phonèmes, diffèrent.

Étant donné que l'intégralité du résultat est construite à partir d'une seule image, la qualité de cette image est ici plus importante que pour un outil partant d'une vidéo. Quelques facteurs influencent constamment l'aspect naturel du résultat :

Être transparent sur les limites réelles est aussi important qu'être transparent sur les capacités. Une seule photo est suffisante pour générer un mouvement de synchronisation labiale convaincant, mais elle ne peut pas donner à l'IA des informations que cette photo ne contient tout simplement pas. Si le visage sur la photo source est tourné de côté ou partiellement caché, l'outil n'a rien pour reconstruire ce détail manquant, puisqu'il n'y a pas de second angle ou de cadre vidéo sur lequel s'appuyer. Une seule photo ne peut pas non plus établir comment la tête d'une personne spécifique bouge naturellement lorsqu'elle parle ou chante ; l'IA applique un modèle généralisé et appris de mouvement de la tête et de la bouche plutôt que de reproduire les propres manières réelles de cet individu, puisqu'elle n'a pas de vidéo d'eux pour les apprendre. C'est un compromis raisonnable compte tenu du peu d'entrée que le processus exige, et non un défaut caché. En pratique, cela signifie que plus la photo source ressemble déjà à une pose naturelle et détendue de parole ou de chant, moins l'IA a à combler cet écart par elle-même, et plus le mouvement final a tendance à paraître convaincant.

En pratique, ce mécanisme à une seule photo est le fondement des trois modes Karaoké de singingphoto.ai. Le mode Solo prend une seule photo et la synchronise avec une chanson. Le mode Duo prend deux photos individuelles, une de chaque personne, et les fusionne en une scène composite où les deux semblent chanter ensemble, un composite de deux photos plutôt qu'une harmonie vocale générée par l'IA. Le mode Karaoké pour animaux applique le même mécanisme à une seule photo d'animal au lieu d'un visage humain. En plus de n'importe quel mode, un préréglage de scène instantanée (Studio, Jazz Club, Maison, Bar, Supercar, Fisheye) peut être appliqué en un clic, ou une invite de scène personnalisée peut être écrite si aucun des préréglages ne convient. L'exportation HD, l'exportation sans filigrane et la génération privée sont toutes gratuites, sans aucun niveau payant pour les restreindre, et la gestion des actifs permet de réutiliser une photo précédemment téléchargée sans avoir à la télécharger à nouveau.