みなさん、こんにちは！私は生成モデルを使用しています。私のプロジェクトの1つはDeepFake開発です。このプロジェクトについていくつかの記事を作成する予定です。この記事は最初の記事であり、使用できるアーキテクチャとその長所と短所について検討します。DeepFakeを作成するための既存のアプローチのうち、次のものを区別できます。
コーデックベースのアーキテクチャ
生成的敵対的ネットワーク（GAN）
エンコーダー-デコーダーアーキテクチャ
このアプローチには、オートエンコーダに基づく生成方法が含まれます。これらは、ピクセル損失（入力画像が出力画像とピクセルごとに比較され、MSE、MAEなどの損失関数が最適化されます）損失を使用することで統合されます。これにより、このスキームの長所と短所が決まります。利点は、オートエンコーダーのトレーニングが（GANと比較して）比較的簡単なことです。欠点は、ピクセルメトリックによる最適化では、他の方法に匹敵するフォトリアリズムを実現できないことです（ここでも、GANの比較で）。私が最初に考えたオプションは、デュアルデコーダ回路でした。詳細については、こちらをご覧ください。アーキテクチャを次の図に示します。
: - , , , . , . , . , DeepFake , , .. , . - , ( ) . " - " , .
Condtional Autoencoder
. .
: . latent_dim . , / ( ), , .. .. , . .. , atrributes vectors , , , , .. atrributes vectors , , , . , , .. atrributes vectors . .
, - , - . - "", . , .. .
Conditional GAN
GAN , . .. DeepFake ( - , ), Conditional GAN. GAN Conditional GAN . , .
GAN, . , .. , , . Conditional Gan - Z ( label). . , . Conditional GAN .
( - , - ). attributes vectors , . X GAN . , , GAN . , - DeepFake, , . . DeepFake GAN :
プロジェクトの開発は現在も続いています。まず第一に、解像度を上げ、複雑な照明のあるシーンを処理するなど、多くの改善が計画されています。興味があれば、新しい結果が現れると、新しい出版物があります。