क्या AI सिर्फ एक तस्वीर से किसी को गाना गवा सकता है?

यह सोचना आसान होगा कि 'बस एक तस्वीर ही काफी है' का मतलब है कि नियम कम महत्वपूर्ण है। लेकिन यह इसके विपरीत है। AI लिप-सिंक टूल्स के लिए नैतिक दिशानिर्देश विशेष रूप से कम बाधा को एक गैर-परक्राम्य सहमति नियम का कारण बताते हैं: जब एक विश्वसनीय परिणाम के लिए केवल एक तस्वीर और कुछ मिनट लगते हैं, तो किसी को ऐसी तस्वीर का दुरुपयोग करने से कुछ भी नहीं रोक सकता जिसका उपयोग करने का उन्हें अधिकार नहीं है, सिवाय नियम और उसका पालन करने के विकल्प के।

singingphoto.ai पर, यह नियम हर मोड में समान है, चाहे इनपुट कितना भी कम क्यों न हो। सोलो (Solo) के लिए एक ऐसी तस्वीर चाहिए जिसका उपयोग करने का आपको अधिकार हो। डुएट (Duet) के लिए दो तस्वीरें चाहिए, कम्पोजिट सीन में प्रत्येक व्यक्ति के लिए एक, और दोनों ऐसी तस्वीरें होनी चाहिए जिनका उपयोग करने का आपको अधिकार हो, न कि सिर्फ वह जिसे आप खुद अपलोड कर रहे हैं। पेट कराओके (Pet Karaoke) के लिए आपके पालतू जानवर की एक तस्वीर चाहिए या ऐसी तस्वीर जिसका उपयोग करने की आपको अनुमति हो। AI को जितनी इनपुट की आवश्यकता होती है, उसका अनुमति की आवश्यकता पर कोई असर नहीं पड़ता; बल्कि, इनपुट जितना कम होता है, अनुमति ही एकमात्र ऐसी चीज होती है जो एक मजेदार वीडियो और एक वास्तविक समस्या के बीच खड़ी होती है।

यहाँ वह तकनीकी कारण बताया गया है कि एक सिंगल फ्रेम कैसे काम करता है। AI कई वास्तविक तस्वीरों को एक साथ नहीं जोड़ रहा है या व्यक्ति के मौजूदा फ्रेम्स के बीच मॉर्फिंग नहीं कर रहा है; यह एक स्थिर छवि के ऊपर नई गति को संश्लेषित कर रहा है। मॉडल तस्वीर में चेहरे के महत्वपूर्ण बिंदुओं (आँखें, जबड़ा, और विशेष रूप से मुँह और होंठ) का पता लगाता है, फिर एक ऑडियो ट्रैक को फोनम (phonemes) के अनुक्रम में मैप करता है और आउटपुट वीडियो के प्रत्येक फ्रेम के लिए संबंधित मुँह के आकार उत्पन्न करता है। क्योंकि गति उत्पन्न होती है, वास्तविक फुटेज से कॉपी नहीं की जाती, इसलिए दूसरी तस्वीर, एक वीडियो क्लिप, या एक ही चेहरे के कई कोणों की कोई तकनीकी आवश्यकता नहीं है। एक स्पष्ट छवि मॉडल को वह सब कुछ देती है जिसकी उसे उस समन्वय प्रणाली (coordinate system) को बनाने के लिए आवश्यकता होती है जिसके खिलाफ वह एनिमेट करता है।

यह पारंपरिक वीडियो एडिटिंग से काफी अलग तरीका है, जहाँ अधिक स्रोत फुटेज का मतलब आमतौर पर अधिक काम करने के लिए होता है। लिप-सिंक इंजन फोनम स्तर पर सिंक्रोनाइजेशन करता है, भले ही उसने कितनी भी दृश्य सामग्री से शुरुआत की हो, यही कारण है कि एक सिंगल स्थिर छवि पर्याप्त है न कि कोई सीमा जिसे टूल पार कर रहा है। इसके विपरीत, पारंपरिक डबिंग या रोटोस्कोपिंग कार्य आमतौर पर मुँह हिलने के वास्तविक फुटेज पर निर्भर करता है, जिसे संदर्भ या ट्रेस किया जा सके; AI लिप सिंक उस निर्भरता को पूरी तरह से छोड़ देता है क्योंकि यह कुछ भी ट्रेस नहीं कर रहा है, यह एक सीखे हुए मॉडल से नए फ्रेम उत्पन्न कर रहा है कि विशेष ध्वनियाँ बनाते समय मुँह कैसे हिलते हैं।

यह यह भी बताता है कि तकनीकी रूप से गाना बोलने के समान ही क्यों काम करता है। चाहे ऑडियो एक बोला गया वाक्य हो या एक पूरा गाना, प्रक्रिया समान है: ऑडियो अंदर, एक फोनम अनुक्रम बाहर, उस अनुक्रम से मेल खाने के लिए मुँह के आकार उत्पन्न होते हैं। तंत्र के बारे में कुछ भी नहीं बदलता है कि आउटपुट बोलने जैसा दिखना चाहिए या गाने जैसा; केवल ऑडियो, और तदनुसार, फोनम का समय, भिन्न होता है।

चूंकि पूरा आउटपुट एक ही छवि से बनता है, इसलिए यहाँ उस छवि की गुणवत्ता वीडियो से शुरू होने वाले टूल की तुलना में अधिक मायने रखती है। कुछ कारक लगातार प्रभावित करते हैं कि परिणाम कितना स्वाभाविक दिखता है:

वास्तविक सीमाओं के बारे में स्पष्ट होना उतना ही महत्वपूर्ण है जितना कि क्षमताओं के बारे में स्पष्ट होना। एक सिंगल तस्वीर विश्वसनीय लिप-सिंक गति उत्पन्न करने के लिए पर्याप्त है, लेकिन यह AI को वह जानकारी नहीं दे सकती जो उस तस्वीर में मौजूद नहीं है। यदि स्रोत तस्वीर में चेहरा एक तरफ मुड़ा हुआ है या आंशिक रूप से छिपा हुआ है, तो टूल के पास उस गायब विवरण को फिर से बनाने के लिए कुछ भी नहीं है, क्योंकि इसमें कोई दूसरा कोण या वीडियो फ्रेम नहीं है जिस पर वह निर्भर कर सके। एक सिंगल तस्वीर यह भी स्थापित नहीं कर सकती कि कोई विशेष व्यक्ति बात करते या गाते समय स्वाभाविक रूप से अपना सिर कैसे हिलाता है; AI सिर और मुँह की गति का एक सामान्यीकृत, सीखा हुआ पैटर्न लागू करता है, बजाय उस व्यक्ति के अपने वास्तविक हावभावों को दोहराने के, क्योंकि उसके पास शुरू से ही उनसे सीखने के लिए कोई वीडियो नहीं होता है। यह इस प्रक्रिया के लिए आवश्यक कम इनपुट के लिए एक उचित समझौता है, न कि कोई छिपा हुआ दोष। व्यवहार में इसका मतलब है कि स्रोत तस्वीर जितनी अधिक प्राकृतिक, आरामदायक बोलने या गाने की मुद्रा से मिलती-जुलती होगी, AI को उस अंतर को खुद से उतना ही कम भरना होगा, और अंतिम गति उतनी ही अधिक विश्वसनीय लगेगी।

व्यवहार में, यह एक-तस्वीर तंत्र singingphoto.ai के तीनों कराओके मोड्स का आधार है। सोलो (Solo) एक सिंगल तस्वीर लेता है और उसे एक गाने के साथ सिंक करता है। डुएट (Duet) दो सिंगल तस्वीरें लेता है, प्रत्येक व्यक्ति की एक, और उन्हें एक कम्पोजिटेड सीन में मिलाता है जहाँ दोनों एक साथ गाते हुए दिखाई देते हैं, यह एक दो-तस्वीर कम्पोजिट है न कि AI-जनरेटेड वोकल हारमनी। पेट कराओके (Pet Karaoke) मानव चेहरे के बजाय एक जानवर की तस्वीर पर उसी एक-तस्वीर तंत्र को लागू करता है। किसी भी मोड के ऊपर, एक इंस्टेंट स्टेज प्रीसेट (स्टूडियो, जैज़ क्लब, होम, बार, सुपरकार, फिशआई) को एक क्लिक से लागू किया जा सकता है, या यदि कोई भी प्रीसेट फिट नहीं होता है तो एक कस्टम सीन प्रॉम्प्ट लिखा जा सकता है। HD एक्सपोर्ट, वॉटरमार्क-मुक्त एक्सपोर्ट, और प्राइवेट जेनरेशन सभी मुफ्त हैं, इसमें कोई भी पेड टियर नहीं है, और एसेट मैनेजमेंट पहले अपलोड की गई तस्वीर को फिर से अपलोड किए बिना पुन: उपयोग के लिए उपलब्ध रखता है।