3Dトーキングヘッド。ロシアのIntel開発センターの3番目のプロジェクト

よく知られている冗談によると、書店のすべての回想録は「サイエンスフィクション」セクションに配置する必要があります。しかし、私の場合、これは本当です！昔、はるか遠くの銀河系で、ロシアのインテル開発センターで、本当に素晴らしいプロジェクトに参加する機会がありました。このプロジェクトはとても素晴らしいので、私は自分の目的のためにIntelブログの編集者としての立場を利用したいと思っています。そして、サイクルの一部として「20年-20プロジェクト」がこの仕事について語っています。

3Dトーキングヘッド-これは、マックスプランクの舌を刺し、ウィンクするブロンズバストです。あなたの顔の表情をリアルタイムでコピーするサル。これは、Intelの副社長の非常に有名な頭の3Dモデルであり、彼の参加によりビデオから完全に自動的に作成されました。



合成ビデオ：MPEG-4互換の3D Talking Headsは、2000年から2003年にNizhnyNovgorodのIntelResearch and DevelopmentCenterで実施されたプロジェクトのフルネームです。開発は、合成3次元スピーキングキャラクターの作成とアニメーションに関連する多くのアプリケーションで一緒に、または別々に使用できる3つの主要なテクノロジーのセットでした。

1. ビデオシーケンスでの顔の表情と人間の頭の動きの自動認識と追跡。同時に、すべての平面での頭の回転角度と傾きだけでなく、会話中の唇と歯の外側と内側の輪郭、眉の位置、目の範囲の程度、さらには視線の方向も評価されます。
2. 最初のポイントおよびその他のソースから認識および追跡アルゴリズムを使用して取得されたアニメーションパラメータに従って、ほぼ任意の3次元ヘッドモデルをリアルタイムで自動アニメーション化します。
3. 2つのプロトタイプ写真（正面図と側面図）、または人が頭を片方の肩からもう一方の肩に向けるビデオシーケンスを使用して、特定の人の頭の写実的な3Dモデルを自動的に作成します。

そしてもう1つのボーナス-テクノロジー、またはむしろ、2000年代初頭に存在したハードウェアパフォーマンスとソフトウェア機能の制限を考慮に入れた、リアルタイムでの「トーキングヘッド」のリアルなレンダリングのいくつかのトリック。



そして、これらの3つ半のポイント間のリンク、およびIntelへのリンクは、4文字と1つの数字（MPEG-4）です。

MPEG-4

1998年に登場したMPEG-4標準が、通常の実際のビデオおよびオーディオストリームのコーディングに加えて、合成オブジェクトとそのアニメーションに関する情報のコーディング、いわゆる合成ビデオを提供することを知っている人はほとんどいません。そのようなオブジェクトの1つは、人間の顔、より正確には、三角形の表面（3D空間のメッシュ）として定義された頭です。MPEG-4は、人の顔に84の特別なポイントを定義します-特徴ポイント（FP）：唇、目、眉、鼻先などの角と中点。



フェイシャルアニメーションパラメータ（FAP）は、これらの特別なポイント（またはターンやチルトの場合はモデル全体）に適用され、ニュートラル状態と比較した位置と顔の表情の変化を表します。





MPEG-4仕様の図。モデルの特異点。ご覧のとおり、モデルは耳を嗅いで小刻みに動かすことができます。



つまり、話すキャラクターを示す合成ビデオの各フレームの説明は、MPEG-4デコーダーがモデルをアニメーション化するためのパラメーターの小さなセットのように見えます。



どのモデル？ MPEG-4には2つのオプションがあります。モデルはエンコーダーによって作成され、シーケンスの開始時に1回デコーダーに送信されるか、デコーダーにはアニメーションで使用される独自のモデルがあります。



同時に、モデルの唯一のMPEG-4要件：VRMLでのストレージ-フォーマットと特別なポイントの存在。つまり、モデルは、FAPがアニメーションに使用されている人のフォトリアリスティックなコピーとして機能するだけでなく、他の人のモデル、さらにはしゃべるケトルとしても機能します。主なことは、彼が鼻に加えて口と目を持っていることです。





MPEG-4互換モデルの1つは、最も笑顔です。MPEG-4は、



メインオブジェクトの「顔」に加えて、特別なポイントも設定された独立したオブジェクト「上顎」、「下顎」、「舌」、「目」を表します。ただし、一部のモデルにこれらのオブジェクトがない場合、対応するFAPはデコーダーによって使用されません。





-モデル、モデル、なぜこんなに大きな目と歯があるのですか？ -自分自身をより良くアニメートするために！



パーソナライズされたアニメーションモデルはどこから来たのですか？FAPを取得するにはどうすればよいですか？そして最後に、これらのFAPに基づいてリアルなアニメーションとレンダリングをどのように実装しますか？MPEG-4は、これらすべての質問に答えることはできません。ビデオ圧縮規格が、撮影プロセスやエンコードするフィルムの内容について何も述べていないのと同じです。

どこまで進歩がありましたか？前例のない奇跡まで！

もちろん、モデルとアニメーションの両方をプロのアーティストが手動で作成することができ、それに数十時間を費やし、数千ドルを受け取ります。しかし、これにより技術の範囲が大幅に狭まり、産業規模では適用できなくなります。そして、実際に高解像度のビデオフレームを数バイトに圧縮するテクノロジーには多くの潜在的な用途があります（ああ、ビデオがないのは残念です）。まず第一に、ネットワーク-合成文字を使用したゲーム、教育、コミュニケーション（ビデオ会議）。



このようなアプリケーションは、インターネットがまだモデムを使用してアクセスされていた20年前に特に関係があり、ギガビット無制限のインターネットはテレポーテーションのようなもののようでした。しかし、人生が示すように、2020年には、多くの場合、インターネットチャネルの帯域幅は依然として問題です。そして、そのような問題がなくても、たとえば、ローカルでの使用について話している場合、合成文字は多くの機能を備えています。たとえば、前世紀の有名な俳優の映画で「復活」したり、今では人気があり、まだ体現されていない音声アシスタントの目を調べる機会を与えたりします。しかし、最初に、話す人の実際のビデオから合成のビデオに移行するプロセスは、自動的になるか、少なくとも人間の参加を最小限に抑える必要があります。



これはまさにNizhnyNovgorodIntelに実装されたものです。このアイデアは、最初にMPEGプロセッシングライブラリの実装の一部として生まれ、Intelによって一度に開発され、その後、本格的なスピンオフだけでなく、本当に素晴らしい大ヒット作に成長しました。

さらに、完全に「メイド・イン・ロシア」-このプロジェクトは、ロシアのインテルの存在全体の唯一のプロジェクトであり、インテルUSAにはキュレーターがいなかったようです。Justin Ratner（Intel Labsの研究部門の責任者）は、Nizhny Novgorodを訪れたときのアイデアを気に入り、すべての作品を撮影することを許可しました。





Synthetic Valery Fedorovich Kuryakin、プロデューサー、ディレクター、スクリプトライター、そしていくつかの場所ではプロジェクトのスタントマン-当時はIntel開発グループの責任者。



第一に、3人から7人だけが同時に働いた1つの小さなプロジェクトでのそのような異なる技術の組み合わせは素晴らしかった。当時、世界には顔の認識と追跡、そして「しゃべる頭」の作成とアニメーションの両方に携わっている企業が少なくとも12社存在していました。もちろん、それらはすべて、いくつかの分野で成果を上げました。優れたモデル品質を備えたもの、非常にリアルなアニメーションを示したもの、認識と追跡に成功したものがあります。しかし、プロトタイプと非常によく似たモデルが顔の表情や動きをうまくコピーする合成ビデオを完全に自動的に作成できるようにする一連のテクノロジーをすべて提供できる企業は1社もありません。

Intel 3D Talking Headsプロジェクトは最初であり、当時、MPEG-4合成プロファイルのすべての要素に基づくビデオ通信のフルサイクルの唯一の実装でした。





2003年モデルの合成クローンの生産プロジェクトのコンベヤー



。第二に、当時存在していたハードウェアとプロジェクトで実装された技術ソリューションの組み合わせ、およびそれらの使用計画は素晴らしかった。そのため、プロジェクトの開始時に、ポケットにNokia 3310があり、デスクトップにPentium III-500MHzがあり、リアルタイム作業のパフォーマンスに特に重要なアルゴリズムが、128MbのRAMを備えたPentium4-1.7GHzサーバーでテストされました。



同時に、我々はすぐに私たちのモデルは、モバイルデバイスで動作することを期待し、品質はフォトリアリスティックコンピュータアニメーション映画「の英雄のそれよりも悪化しないだろうファイナルファンタジー」当時（2001年）にリリース。





$ 137万人が費用でした〜1000台のPentiumIIIコンピューターのレンダーファームで作成されたフィルムの場合。www.thefinalfantasy.comからのポスター



しかし、私たちに何が起こったのか見てみましょう。

顔の認識と追跡、FAP取得。

このテクノロジーは、次の2つのバージョンで提供されました。

• コンピュータに接続されたビデオカメラの前に直接立っている人を追跡するリアルタイムモード（前述のPentium 4-1.7GHzプロセッサでは毎秒25フレーム）。
• ( 1 ), .

同時に、人間の顔の位置/状態の変化のダイナミクスをリアルタイムで監視しました-すべての平面での頭の回転と傾きの角度、口の開閉と眉の上げの程度を概算し、点滅を認識することができました。一部のアプリケーションでは、このような大まかな見積もりで十分ですが、人の顔の表情を正確に追跡する必要がある場合は、より複雑なアルゴリズムが必要になります。つまり、アルゴリズムが遅くなります。



オフラインモードでは、私たちの技術により、頭全体の位置だけでなく、会話中の唇と歯の外側と内側の輪郭、眉の位置、目のカバーの程度、さらには瞳孔の変位（視線の方向）を完全に正確に認識して追跡することができました。



認識と追跡には、よく知られているコンピュータービジョンアルゴリズムの組み合わせが使用されました。その一部は、新しくリリースされたOpenCVライブラリ（Optical Flowなど）や、対応するオブジェクトの形状に関する事前の知識に基づく独自の方法ですでに実装されています。特に、プロジェクト参加者が特許を取得した、変形可能なテンプレートの方法の改良版について。

このテクノロジーは、人間の顔を入力としてビデオフレームを受信し、対応するFAPを出力する関数のライブラリの形式で実装されました。





FPサンプル2003の認識と追跡の品質



もちろん、技術は不完全でした。フレーム内の人に口ひげ、眼鏡、または深いしわがある場合、認識と追跡は失敗しました。しかし、3年間の作業で、品質は大幅に向上しました。ビデオ撮影時のモーション認識モデルの最初のバージョンで、顔の対応するFPポイント（オフィスパンチを使用して取得した白い紙の円）に特別なマークを付ける必要がある場合、プロジェクトの最終段階では、もちろん、そのようなものは必要ありませんでした。さらに、歯の位置と視線の方向を非常に着実に追跡することができました。これは、そのような詳細がほとんど見えなかった当時のWebサイトからのビデオの解像度で行われました。





これはチキンポックスではなく、認識技術の「子供時代」からの映像です。インテルプリンシパルエンジニア、そして当時-インテルの初心者従業員であるアレクサンダーボビリンは、詩を読むための合成モデルを教えています

アニメーション

何度も言われているように、MPEG-4のモデルのアニメーションはFAPによって完全に決定されます。そして、いくつかの問題がなければ、すべてが簡単になります。

まず、ビデオシーケンスからFAPが2Dで抽出され、モデルが3Dであるという事実、そして3番目の座標を何らかの方法で完成させる必要があります。つまり、プロフィールの歓迎の笑顔（そして、ユーザーはこのプロフィールを見ることができるはずです。そうでなければ、3Dにはほとんど意味がありません）は不吉な笑顔に変わるべきではありません。

第二に、FAPは、モデル内に約80個ある特異点の動きを記述しますが、少なくともある程度現実的なモデルは、全体として数千の頂点（この場合は4000から8000）で構成されます。 FP変位に基づいて、モデル内の他のすべてのポイントの変位を計算するアルゴリズムが必要です。



つまり、頭を同じ角度に回すとすべての点が回転するのは明らかですが、微笑むと、耳まででも、口角のずれによる「憤慨」が徐々に消えていき、頬を動かしますが、耳は動かしません。さらに、口の幅とメッシュの形状が周囲にあるモデルでは、自動的かつ現実的に発生するはずです。これらの問題を解決するために、アニメーションアルゴリズムがプロジェクトで作成されました。それらは、顔の表情を制御する筋肉を単純に記述する疑似筋肉モデルに基づいていました。



次に、各モデルと各FAPについて、「影響範囲」が事前に自動的に決定されました。対応するアクションに関係する頂点は、解剖学的構造と形状を考慮して計算され、表面の滑らかさと接続性を維持します。つまり、アニメーションは2つの部分で構成されていました。予備、メッシュ頂点の特定の係数が作成されてテーブルに入力されるオフラインで実行される部分と、テーブルのデータを考慮してリアルタイムアニメーションがモデルに適用されるオンラインです。





3Dモデルとその作成者にとって笑顔は簡単ではありません

特定の人物の3Dモデルの作成。

一般的なケースでは、2次元画像から3次元オブジェクトを再構築する作業は非常に困難です。つまり、それを解決するためのアルゴリズムは人類に長い間知られていましたが、実際には、多くの要因のために、結果は望ましいものからほど遠いものです。そして、これは人の顔の形を再構築する場合に特に顕著です-ここでは、8の形の目（元の写真のまつげからの影が失敗した）または鼻のわずかな分岐（年の処方の理由を復元できない）の最初のモデルを思い出すことができます。



しかし、MPEG-4トーキングヘッドの場合、人間の顔の特徴（鼻、口、目など）のセットはすべての人にとって同じであり、私たち全員（およびコンピュータービジョンプログラム）が区別する外部の違いがあるため、タスクは大幅に簡素化されますお互いの「幾何学的」-これらの機能のサイズ/比率と場所、および「テクスチャ」-色とレリーフ。したがって、プロジェクトで実装された合成MPEG-4ビデオのプロファイルの1つであるキャリブレーションは、デコーダーが写真またはビデオシーケンスを使用して特定の人物用にパーソナライズされた「抽象的な人物」の一般化モデルを持っていることを前提としています。





私たちの「真空中の球形の男」-パーソナライズのモデル



つまり、3Dメッシュのグローバルおよびローカルの変形が発生して、写真/ビデオで強調表示されたプロトタイプの顔の特徴の比率に一致します。その後、プロトタイプの「テクスチャ」がモデルに適用されます。つまり、同じ入力画像から作成されたテクスチャです。結果は合成モデルです。これは、もちろんオフラインで、もちろん、モデルごとに1回実行されますが、それほど簡単ではありません。



まず、入力画像の登録または修正が必要です。3Dモデルの座標系と一致する単一の座標系にそれらを移動します。さらに、入力画像では、特異点を検出し、その位置に基づいて、たとえば放射状基底関数の方法を使用して3Dモデルを変形する必要があります。次に、パノラマスティッチングアルゴリズムを使用して、2つ以上の入力画像からテクスチャを生成します。つまり、正しい比率でそれらを「混合」して最大の視覚情報を取得し、撮影した写真にも常に存在する照明とトーンの違いを補正します。同じカメラ設定で（常にそうであるとは限りません）、これらの写真を組み合わせると非常に目立ちます。





これはまだホラーフィルムからのものではありませんが、2003年にIntel Developer Forumでプロジェクトがデモンストレーションされたときに彼の許可を得て作成された、PatGelsingerによる3Dモデルのテクスチャです。



2枚の写真に基づいてモデルをパーソナライズするためのテクノロジーの初期バージョンは、Intelのプロジェクト参加者自身によって実装されました。しかし、ある程度の品質に到達し、その能力の限界に気づいたとき、この分野での経験を持つモスクワ州立大学の研究グループに作業のこの部分を移すことに決めました。デニス・イワノフのリーダーシップの下でモスクワ州立大学の研究者が作業した結果、アプリケーション「ヘッドキャリブレーション環境」が作成されました。



唯一の微妙な点は、アプリケーションが私たちのプロジェクトで開発された上記の顔認識ユニットと統合されていなかったため、アルゴリズムが機能するために必要な写真の特別なポイントを手動でマークする必要があったことです。もちろん、84のすべてではなく、主要なものだけであり、アプリケーションに対応するユーザーインターフェイスがあることを考えると、この操作には数秒しかかかりませんでした。



また、ビデオシーケンスからのモデル再構築の完全自動バージョンが実装されました。このバージョンでは、人が頭を片方の肩からもう一方の肩に向けます。しかし、ご想像のとおり、ビデオから抽出されたテクスチャの品質は、当時のデジタルカメラの写真から作成されたテクスチャよりも大幅に劣っていました。解像度は約4K（3〜5メガピクセル）でした。つまり、結果のモデルは魅力的ではありませんでした。したがって、異なる頭の回転角度のいくつかの写真を使用した中間バージョンもありました。





上段は仮想人、下段は本物です。



達成された結果はどれくらい良かったですか？結果のモデルの品質は、静的ではなく、元の対応するビデオとの類似性によって合成ビデオで直接評価する必要があります。しかし、「類似していない」という用語は数学的なものではなく、特定の人の認識に依存し、合成モデルとそのア​​ニメーションがプロトタイプとどのように異なるかを理解するのは困難です。好きな人もいれば嫌いな人もいます。しかし、3年間の作業の結果、さまざまな展示会で結果を示すときに、聴衆は実際のビデオがどのウィンドウの前にあり、どのウィンドウに合成ビデオがあるのか​​を説明する必要がありました。

視覚化。

上記のすべてのテクノロジーの結果を実証するために、特別なMPEG-4合成ビデオプレーヤーが作成されました。プレーヤーは、モデルを含むVRMLファイル、FAPを含むストリーム（またはファイル）、および「ピクチャーインピクチャー」モードをサポートする合成ビデオと同期表示するための実際のビデオとオーディオを含むストリーム（ファイル）を入力として受け取りました。合成ビデオをデモンストレーションするとき、ユーザーは、マウスを任意の角度に回すだけで、モデルを拡大するだけでなく、すべての側面からモデルを見る機会が与えられました。







プレーヤーはWindows用に作成されていますが、モバイルOSを含む他のOSへの将来の移植の可能性を考慮に入れています。したがって、拡張機能のない「クラシック」OpenGL1.1が3Dライブラリとして選択されました。



同時に、プレイヤーはモデルを見せただけでなく、モデルを改善しようとしましたが、写真モデルで現在行われているようにレタッチするのではなく、逆に可能な限りリアルにすることを試みました。つまり、最も単純なPhong照明のフレームワーク内にとどまり、シェーダーはありませんが、厳しいパフォーマンス要件があるため、プレーヤーのレンダリングユニットは自動的に合成モデルを作成しました。しわ、まつげ、リアルに狭めたり広げたりできる瞳孔を模倣します。モデルに適切なサイズのグラスを置きます。また、最も単純な光線追跡を使用して、話すときの舌と歯の照明（陰影）を計算しました。



もちろん、今ではそのような方法はもはや関係ありませんが、それらを覚えておくことは非常に興味深いことです。したがって、顔の筋肉の収縮中に見える、模倣のしわ、つまり顔の皮膚のレリーフの小さな曲がりの合成では、モデルのメッシュの三角形の比較的大きなサイズでは、実際の折り目を作成できませんでした。したがって、一種のバンプマッピング技術が適用されました-通常のマッピング。モデルのジオメトリを変更する代わりに、適切な場所のサーフェスに対する法線の方向が変更され、各ポイントでの照明の拡散成分の法線への依存性により、目的の効果が作成されました。





これは総合的なリアリズムです。



しかし、プレイヤーはそこで止まりませんでした。テクノロジーを使用して外部に転送するのに便利なように、Intel Facial Animation Libraryオブジェクトライブラリが作成されました。このオブジェクトライブラリには、アニメーション（3D変換）とモデルの視覚化のための関数が含まれているため、FAPソースが必要な人は誰でも、「シーンの作成」、「 CreateActor」、「Animate」は、アプリケーションでモデルをアニメーション化して表示できます。

結果

このプロジェクトへの参加は私に個人的に何を与えましたか？もちろん、興味深い技術で素晴らしい人々と協力する機会。 3Dモデルをレンダリングし、x86のパフォーマンスを最適化するためのメソッドとライブラリについての知識を得るために、プロジェクトに参加してくれました。しかし、当然、3Dに限定することはできなかったため、他の次元に進む必要がありました。プレーヤーを作成するには、VRML解析（この目的のための既製のライブラリはありません）を処理し、Windowsでストリームを使用してネイティブ作業をマスターし、1秒間に25回同期する複数のスレッドの共同作業を保証し、ユーザーの操作を忘れずに、さらに考えて実装する必要がありました。インターフェース。その後、このリストは、顔追跡アルゴリズムの改善に参加するために追加されました。そして、他のチームメンバーによって書かれたコンポーネントを常に統合し、プレーヤーと単純に組み合わせる必要性、また、プロジェクトを外の世界に提示することで、コミュニケーションと調整のスキルが大幅に向上しました。



このプロジェクトへのIntelの参加は何をもたらしましたか？その結果、私たちのチームは、Intelプラットフォームおよび製品の機能の優れたテストおよびデモンストレーションとして役立つ製品を作成しました。さらに、ハードウェア（CPUとGPU、およびソフトウェア）の両方（実数と合成の両方）がOpenCVライブラリの改善に貢献しています。



さらに、プロジェクトは歴史に目に見える痕跡を残したと言っても過言ではありません。その作業の結果、参加者はコンピュータービジョンとコンピューターグラフィックス、ロシア語（GraphiCon）、および国際に関する専門会議で記事を書き、レポートを発表しました。

また、3D Talking Headsのデモアプリケーションは、世界中の数十の展示会、フォーラム、会議でIntelによって展示されています。



その間に、テクノロジーは確かに大きく進歩し、合成文字の自動作成とアニメーション化が容易になりました。ありましたインテル本当の意味室の深さの定義は、大規模データに基づくニューラルネットワークにも存在しない、人々のリアルな画像を生成する方法を学びました。

しかし、それにもかかわらず、パブリックドメインに投稿された3D Talking Headsプロジェクトの開発は、これまで見られ続けています。

私たちの若い、ほぼ20歳の、合成MPEG-4スピーカーとあなたを見てください。