AIが写真1枚で歌い出す！？

「写真1枚で十分」という言葉は、ルールが重要でない理由だと解釈されがちですが、実際は逆です。AIリップシンクツールの倫理ガイドラインでは、参入障壁の低さが、厳格な同意規則が不可欠である理由として明確に指摘されています。説得力のある結果が写真1枚と数分で得られる場合、ルールそのものと、それに従うという選択以外に、使用権のない写真を悪用するのを止めるものは何もありません。

singingphoto.aiでは、入力がどれほど最小限であっても、そのルールはすべてのモードで同じです。Soloモードでは、使用権を持つ写真が1枚必要です。Duetモードでは、合成シーンの各人物につき1枚ずつ、合計2枚の写真が必要です。ご自身でアップロードする写真だけでなく、両方の写真に使用権がある必要があります。Pet Karaokeでは、ご自身が所有する、または使用許可を得た動物の写真が1枚必要です。AIが必要とする入力の量は、許可の要件とは無関係です。むしろ、入力が少なければ少ないほど、楽しい動画と深刻な問題の境界線となるのは、その許可だけなのです。

1枚のフレームで機能する技術的な理由を説明します。AIは複数の実際の写真を繋ぎ合わせたり、人物の既存のフレーム間でモーフィングしたりするわけではありません。1枚の静止画像の上に新しい動きを合成しています。モデルは写真内の顔のランドマーク（目、顎、特に口と唇）を検出し、その後、オーディオトラックを音素のシーケンスにマッピングし、出力動画の各フレームに対応する口の形を生成します。動きは実際の映像からコピーされるのではなく生成されるため、2枚目の写真、ビデオクリップ、または同じ顔の複数のアングルは技術的に必要ありません。鮮明な1枚の画像が、モデルがアニメーションの基準となる座標系を構築するために必要なすべてを提供します。

これは、より多くのソース映像があれば作業がしやすくなる従来の動画編集とは、大きく異なるアプローチです。リップシンクエンジンは、どれだけの視覚素材から開始したかに関わらず、音素レベルで同期を実行します。だからこそ、1枚の静止画で十分であり、ツールがその制限を回避しているわけではありません。対照的に、従来の吹き替えやロトスコープ作業は、参照したりトレースしたりするために、実際に口が動いている映像があることに依存します。AIリップシンクは、何もトレースするのではなく、特定の音を発する際の口の動きの学習モデルから新しいフレームを生成するため、その依存関係を完全に排除します。

これは、歌唱が技術的にスピーチと同じように機能する理由も説明しています。音声が話された文章であろうと、完全な歌であろうと、プロセスは同じです。音声が入力され、音素シーケンスが出力され、そのシーケンスに合わせて口の形が生成されます。出力が話しているように見せるか歌っているように見せるかによって、メカニズムは何も変わりません。異なるのは音声と、それに対応する音素のタイミングだけです。

出力全体が1枚の画像から生成されるため、動画を元にするツールよりも、画像の品質が結果に大きく影響します。以下の要素は、結果の自然さを左右する重要なポイントです。

能力について正直であることと同様に、実際の限界について正直であることも重要です。1枚の写真で説得力のあるリップシンクの動きを生成するのに十分ですが、その写真に単純に含まれていない情報をAIに与えることはできません。ソース写真の顔が横を向いていたり、部分的に隠れていたりする場合、2番目のアングルやビデオフレームがないため、ツールは失われた詳細を再構築するものがありません。また、1枚の写真では、特定の人物が話したり歌ったりする際に頭がどのように自然に動くかを確立することもできません。AIは、その個人の実際の癖を再現するのではなく、頭と口の動きの一般化された学習パターンを適用します。そもそも、それらを学習するためのビデオがないためです。これは、プロセスが必要とする入力の少なさを考慮すれば合理的なトレードオフであり、隠された欠陥ではありません。実際には、ソース写真がすでに自然でリラックスした話し方や歌い方のポーズに似ていればいるほど、AIがそのギャップを埋める必要が少なくなり、最終的な動きはより説得力のあるものに見える傾向があります。

実際には、この1枚の写真メカニズムが、singingphoto.aiの3つのカラオケモードすべての基盤となっています。Soloモードは1枚の写真を使い、それを歌に同期させます。Duetモードは、各人物につき1枚ずつ、合計2枚の写真を使い、それらを1つの合成シーンに統合し、両者が一緒に歌っているように見せます。これはAIが生成するボーカルハーモニーではなく、2枚の写真を合成したものです。Pet Karaokeは、人間ではなく動物の写真に同じ1枚の写真メカニズムを適用します。どのモードでも、インスタントステージプリセット（Studio, Jazz Club, Home, Bar, Supercar, Fisheye）をワンクリックで適用できます。もしプリセットが合わない場合は、カスタムシーンのプロンプトを作成することも可能です。HDエクスポート、透かしなしエクスポート、プライベート生成はすべて無料で、有料プランによる制限は一切ありません。アセット管理機能により、以前アップロードした写真を再アップロードすることなく再利用できます。