AI音声クローン:10秒のサンプルが声になるまで

システムはサンプルから話者エンベディングを抽出します。これは声質、ピッチの幅、話し方をコンパクトな数値で表したものです。ニューラル型のテキスト読み上げモデルは、そのエンベディングを条件として、原稿から音声を生成します。声ごとに新しいモデルを学習するのではなく既存のモデルを制御する仕組みのため、短いサンプルで十分で、結果も数秒で得られます。

従来の手法は声ごとに専用のモデルを学習させるもので、大量のデータが必要でした。現在のクローン技術は、すでに音声そのものの仕組みを理解している汎用モデルを、小さな話者の指紋データで条件付けするだけです。言語の知識はモデル側が持っており、サンプルは声のアイデンティティを与えるだけで済みます。

話者1人、静かな部屋、自然なペースで、おおよそ30〜60秒です。BGM、複数人の声の重なり、強い部屋の反響、通話音声の圧縮は避けてください。ノイズの多い長い音声より、クリアな短い音声のほうが一貫して良い結果になります。

ライブラリに残るのは、そこから導き出された声そのものであり、以後の生成はそれをもとに条件付けされます。アップロードしたサンプルは、サービス側と共有したデータとして扱ってください。使用権のある録音のみをアップロードし、ご自身以外の声を使う場合は書面での許可を得てください。

アクセントはコピーされ、サンプルから引き継がれて、39言語すべてで一定です。感情については部分的です。ナレーションや会話調はうまく再現されますが、叫び声や号泣、激しい演技表現などはまだ機械的に聞こえます。

通常のテキスト読み上げは、あらかじめ用意されたストック音声ライブラリから選びます。クローンは、録音からご自身で声を提供する点が異なります。Muselyでは両方を提供しています。特定の人物の声が必要ない場合、ストック音声ライブラリはすべてのプランに含まれており、クレジットもかかりません。