グラディエーターのトレーナーであるアンソニー・プロキシモの役を演じた俳優のオリバー・リードがグラディエーターの撮影終了の3週間前に亡くなったとき、映画製作者はその過程でプロキシモが亡くなるようにスクリプトを緊急に書き直さなければならず、不足しているシーンは調査とコンピューター効果の助けを借りて作成されました。そして21年前、「デジタルリード」が参加した160秒の映画は320万ドルでした。そして今、技術の進歩のおかげで、私たちの推定によれば、予算を30倍削減することができました、そしてこのお金のためにデジタルツインを作るのは簡単ではありませんいくつかのシーンの俳優（デジタルダブル）、そして彼の完全な超現実的な3Dモデルを作成し、時間と空間の制限なしにそれを使って映画を撮影します。私たちのチームは、そのようなアバターの作成に取り組んでいます。この投稿で私はあなたに言うでしょう、映画以外になぜそれらが必要なのか、そして私たち自身の実験で学んだ奇妙なこと。

映画が2倍になる

あなたはおそらく、画面上で2人の俳優を複数回見たことがあり、おそらく、その置き換えにさえ気づいていませんでした。以前はメイクアップアーティストが類似性に責任を負っていましたが、現在、ディレクターはゲーム開発業界から開発チームをますます引き付けています。



私が例として使用したグラディエーターは、デジタルツインをフィーチャーした最初の映画の1つでした。オリバーリードと一緒に撮影する時間がなかった彼のシーンは、部分的に撮影された素材から収集され、3Dグラフィックを使用して作成されたフレームが追加されました。1999年には、私たちは絶対に素晴らしい結果を達成することができました、そしてCGスペシャリストでさえしばしば代替に気づいていません。 





俳優の死後の映画のヒーローのレクリエーションのもう一つの有名な例は、ブライアン・シンガーによる映画「スーパーマン・リターンズ」（2006年）です。 1978年にブランドがスーパーマンで同じ役割を果たしたので、マーロン・ブランドをスーパーマンの父にすることはディレクターの原則の問題でした。 



俳優の顔の3Dモデルは写真から作成され、そのアニメーション（顔の表情と目の動き）は、最終編集バージョンに含まれていなかった俳優の映像に基づいて作成されました。一般的に、非常に時間のかかるプロセスです。





10年前まで、フォトリアリスティックモデルを作成するための多くの複雑な操作は手動で行われていました。そして、現代の映画産業はすでに同じ目的のために利用可能な巨大な技術スタックを持っており、「車輪を再発明する」必要はありません。



おそらく、技術の進歩の最も顕著な例は、3Dで革を作成するプロセスです。人間の皮膚は光を透過し、それを通過する光線は反射されて内部に分配されます。コンピュータグラフィックスでは、これは表面下散乱と呼ばれ、表面下の光の分布です。地下散乱材料機能を実装する最新のレンダリングエンジンは、この効果を物理的に正しく計算できます。そして10年前、あなたはそれをプログラムするか、後処理で「偽物」を作成しなければなりませんでした。



これでプロセスが自動化され、肌の色と質感を手動で変更するだけで済みます。さらに、色の管理は、生物学的に正しいメカニズムによって、つまり皮膚材料のメラニン含有量を変えることによって実行することができます。現代のデジタルツインは非常にリアルなので、特定のフレームでデジタルヒューマンが表示され、お気に入りの俳優が表示されないことはほとんど理解できません。 



うまくいきたいですか？ Dog's Heart VladimirTolokonnikovのスターと一緒にSuperBobrovsシリーズをご覧ください。残念ながら、ポリグラフ・ポリグラフォビッチ・シャリコフとしての役割で誰もが知っている俳優は、心臓の停止のために射撃を完了することができませんでした。そのため、欠落しているシーンはすべて彼のアバターによって再生されました。



デジタルツインの作成における深刻な進歩は、コンピューティングパワーの開発にも関連しています。以前は、デジタル文字を使用してシーケンスを計算するために、プロセッサとRAMのファーム全体が必要でしたが、今ではすべてが家庭用ゲームコンピュータで考慮されます-ゆっくりですが確実に。ですから、AntonyProximoは私たち3人で約1か月でレンダリングできると思います。また、3次元モデル（作業の中で最も時間と費用のかかる部分）の作成も考慮に入れると、プロジェクトの合計期間は2〜2.5か月になり、予算は10万ドルに制限される可能性があります。

ビジネスコンテンツファクトリー

人々のフォトリアリスティックモデルを作成するための技術の進歩は、3Dモデルを制御できるニューラルネットワークの開発の飛躍を伴います。一緒に、これはデジタルヒューマンのより広いアプリケーションの基礎を形成します。したがって、3Dモデルをニューラルネットワークまたはチャットボットと組み合わせることで、ビデオコンテンツを作成するための工場全体を編成できます。テキストを「フィード」し、アバターが顔の表情や感情でそれを読み取ります。このようなシナリオの開発はすでに市場に出ていますが、3Dモデルではなく、実際の人物の写真を使用しています。





連邦チャネルのニュースアンカーを見ると、多くの人がこれが彼らの仕組みであると考えています。実際、いいえ。プレゼンターは、顔の表情や感情を込めてテキストを読むだけでなく、自分で書くこともできます。そして将来的には、もちろん、ニューラルネットワークはテレビやビデオのブログのテキストを「書く」ことができるようになり、アバターはそれらを声に出すことができるようになります。また、レポートを整理するときに、お金を節約することもできます。オペレーターだけをサイトに送り、編集者がすでに撮影したビデオ素材に書いたテキストをアバターのスタンドアップにオーバーレイします。



で、私たちLANIT-の統合は、デジタルヒューマン技術を使用しての二つの方向が最も有望であると思います。



1つ目は、人の顔をビデオに置き換えることです..。おそらく、Zoomカンファレンスに接続したElonMuskのクローンは誰もがすでに見たことがあるでしょう。このシナリオはDeepFakeと呼ばれ、その名前が示すように、あらゆる種類の偽物に使用されます。技術的には、同じ方向はフェイススワップとも呼ばれますが、このシナリオはもはやブラックPR向けではなく、倫理的な論争を引き起こさない商業目的向けです。たとえば、教育コンテンツの作成をデバッグできます。 



連邦支部ネットワークを持つ銀行には、さまざまな品質のトレーニングビデオが多数あります。それらのいくつかは、Zoom会議の単なる録音です。ビデオの品質が低く、フレーム内の状況が企業標準に対応していないため、それらを1つのトレーニングコースにまとめることはできません。そして、デジタルアバターとニューラルネットワークの助けを借りて、すべてを修正することができます-背景とスピーカーの外観の両方を変更します。



ビデオ製品を作成するための同様のシナリオは、テレビやブロガーにとって興味深いものです。最近、あるテーマ別チャンネルのプロデューサーから連絡があり、プレゼンターとしてデジタルアバターを使用して定期的な問題を作成するコストを見積もるように依頼されました。もちろん、デジタルヒューマンはすべてのタスクを削除するわけではありません-ニューラルネットワークでテキストを処理するときにアバターが感情を再現できるようにするテクノロジーはまだありません-このためには、顔の表情とアバターが使用する動きを持った生きている人が必要です。さらに、声の演技のためのスクリプト、テキストの作成を引き継ぐスペシャリストが必要です。確かに、メディアコンテンツの制作に携わっている人々がどのように見えるか、彼らがどのような性別であるか、彼らの声のトーンが何であるか、そして彼らがどこにいるかはまったく重要ではなくなります。撮影するには、モーションキャプチャ用のスーツ、顔を狙ったビデオカメラ付きのヘルメット（顔の表情を「キャプチャ」するため）が必要です。アバター自体は、オフスクリーンワーカーのすべての動きをリアルタイムで画面にブロードキャストします。私たちの計算によると、このテクノロジーはビデオ制作のコストを10分の1に削減します。



Digital Humanアプリケーションの第2の方向は、デジタルアバターとチャットボットおよび音声合成システムを組み合わせることです。これは、クライアントとの通信に非常に需要があります。



現在、多くのコールセンターでチャットボットが使用されています。しかし、すべてのクライアントがロボットとの通信に慣れているわけではありません。クライアントがデジタル対話者を見た場合、おそらくコミュニケーションはより楽しいでしょう。



チャットボット、マイク、音声認識および合成システムをデジタルアバターにねじ込むことで、仮想ホステス、販売コンサルタント、政府機関のコンサルタントを作成できます（Soul Machinesにも同様のケースがあります-仮想アシスタントEllaニュージーランド警察本部への訪問者と通信します）、ソメリア-一般的に、主なタスクが単にクライアントの質問に答えることであるすべてのスタッフ。理論的には、これにより給与と従業員のコストを節約できます。これにより、ニューラルネットワークではまだ実行できないことが実行されます。

外観の実験

したがって、上記のすべてのシナリオのベースはデジタルアバターです。その作成は非常に骨の折れるプロセスであると私はすでに言いました。実際、私たちは3D彫刻家によって作られた人の仮想彫刻について話している。彼は外観のすべての詳細を処理し、シミュレーションツールを使用して髪を「成長」させます。 



有名人やモデルのコピーを作成する場合、外観の問題は発生しません。仮想人物を最初から作成する必要がある場合はどうなりますか？あなたは彼にどんな特徴を与えますか？ 





実験として、独自のデジタルアバターであ​​るLANITアンバサダーを作成することにしました。もちろん、同僚全員に彼の見た目を尋ねることもできます。しかし、第一に、数千人の調査はすでに多すぎます。第二に、このデータに基づいて、バービーのための2番目のケンを作成する必要があります。これは、完全に個性のない、心地よい一般化されたイメージです。いいえ、そのような大使はまったく必要ありません。私たちは別の道を歩みました。



私たち一人一人は、何年にもわたって一連のステレオタイプを形成してきました。たとえば、厚い灰色の髭は、良い気質（サンタクロースのような）、広くてまっすぐな眉毛に関連付けられています-率直さと横暴な性格など。



私たちは顔の心理幾何学の専門知識を形成し、知覚パターンに基づいて、人の外見と彼の印象との関係を特定するために神経ネットワークを訓練しました。現在、彼女は彼の外見の特徴を分析し、人が他の人にどのように見えるかを説明する一連の単語を出します。たとえば、親切、脆弱、不安、落ち着きなどです。私たちはこれらの開発を取り、逆の順序でプロセスを開始しました-ニューラルネットワークに将来のヒーローの説明（ターゲットオーディエンスが彼をどのように認識すべきか）を与え、特定の顔の特徴を取得しました。 



すぐに重要な予約をします。実験で科学的に信頼できるとは決して主張しません。さらに、顔の特徴と、例えば、性格や（神は禁じられている）知性との関係を探すことは危険であることを確認する多くの研究があります。したがって、私たちは科学分野ではなく、技術の可能性を探求しています。



そのため、リーダーシップ、イノベーション、信頼性、献身など、企業精神の特徴に対応する人間の資質を備えたニューラルネットワークを「提供」しました。





そして、必要な資質のそのような選択的な選択でさえ、私たちが感情を引き起こさない完全に中立的な性格を得たという事実につながりました。したがって、ニューラルネットワークから得られた結果は手動で修正する必要がありました。 



顔と、一般的に、すべてのコンピューターグラフィックスは、次の3つのコンポーネントで構成されています。 

1. 3D-, ;
2. , , ;
3. ( , ). 

1.

頭



マキシムを作成するために（アバターと名付けたように）、人間の頭の単純化された形状を基礎として、Zbrushで詳細（スカルプト）を形成しました。最初に、ハイポリモデルが作成されました。このモデルでは、皮膚の毛穴など、細部が仕上げられています（テクスチャが開発されました）。 



4Kテクスチャを使用しています。 8Kテクスチャはクローズアップでより良い結果をもたらしますが、それらが必要になることはまれであるため、パフォーマンスのために8Kテクスチャの使用を拒否しました。高ポリモデルの準備ができたら、その低ポリコピーを作成し、通常のマップ（表面の「バンプ」マップ）を使用して細部をモデルに転送します。



ヘア



髪を作るための多くのツールがあります。ソフトウェアスタックをフラットに保つために、HoudiniにGroomBearを選択しました。技術的な作業のほとんどはHoudiniで行われます。



マキシムの最初のバージョンは次のようになりました。



服。



マーベラスデザイナーを使用して服をモデル化し、折り目や小さくて特徴的なディテールをブレンダーで完成させました。



そしてこれがマキシム4.0です

2.テクスチャリング

私たちはSubstancepainterでテクスチャリングを実行します-私たちの意見では、そのツールは最も単純で最速のテクスチャリングプロセスを提供します。重要なポイントはヒントです。アバターの画像を修正するには、幾何学的な基礎にまったく触れずに、肌の質感だけを変更するだけで十分です。しかし、これはメイク好きには秘密ではありません。化粧品の助けを借りて毎日中国の女性は、プラスチック手術に匹敵する効果を達成します。また、アバターの場合、このような単純な外観の変更は、ビデオコンテンツの制作を大幅に節約することを意味します（3回のクリックで、キャラクターのイメージが劇的に変化します）。そのため、すでに完全に別の人物になっています。

3.アニメーション

私たちのキャラクターは、モーションキャプチャシステム（XsenseボディモックアップスーツとDynamixyzフェイスモックアップシステム）で動作するように調整されています。光学式モーションキャプチャシステムは非常にかさばり、モバイルではないため、使用しませんでした。つまり、コンテンツの作成プロセスにはさらに多くの制限があります。



Xsenseは、体幹、頭、手足の動きを制御します。アニメーションシステムはハイブリッドです：ジオメトリの大規模な配列は骨によって制御され、骨はモックアップシステムのデータによって制御され、関節の領域やその他の特徴的な場所の衣類の折り目は補助的なブレンドシェイプ（関節の領域に特徴的な折り目があるモデルの状態）によって制御され、正しい操作を保証します骨のアニメーションでは正しい結果が得られないジオメトリ。 



ブレンドシェイプを作成する必要性は、キャラクターのワードローブを作成する際の主な問題です。これは面倒です。新しい衣服ごとに、アーティストは数十のブレンドシェイプを作成する必要があります。このルーチンを自動化する方法を積極的に模索しています。アイデアや既成のソリューションがあれば、コメントで喜んで話し合います。



Dynamixyzは顔のアニメーションを管理し、顔のアニメーションの設定はパイプラインの中で最も困難で最も時間のかかる部分です。事実、57個の筋肉が顔の皮膚の下に隠れており（人体の筋肉の総数の25％）、それぞれの動きが顔の表情に影響を与えます。 



顔や感情を認識することは、社会に存在するために必要な非常に重要な能力であるため、人々は信じられないほどの顔の表情を即座に捉えます。したがって、アバターの場合、100％リアルな顔のアニメーションを作成する必要があります。 



それぞれの顔には無限の表現がありますが、実際に示されているように、リアルなアニメーションを作成するには150のブレンドシェイプで十分です。もう少し進んで、300のブレンドシェイプを作成しました（300では不十分な状況が見つかった場合は、新しいブレンドシェイプを作成し続けます）。 



Dynamixyzは、次の原則に基づいて動作します。俳優の頭にヘルメットをかぶせ、その上に超高速のデータ転送速度を備えた専用カメラを固定します。これらのカメラからのビデオはワークステーションにブロードキャストされ、そこでニューラルネットワークが俳優の顔のアンカーポイントを決定し、各フレームでそれらを仮想フェイスマスクのアンカーポイントと照合して移動させます。ブレンドシェイプのシステムは、フェイスマスクの動きに関連付けられており、フェイスマスクの動きの性質に応じて「切り替わり」ます。各ブレンドシェイプは顔全体に対して作成されますが、アニメーション中にローカルで切り替えることができます。たとえば、顔の他の部分とは別に、口や右目の領域で切り替えることができます。これらのスイッチはスムーズで、目には完全に見えません。



最近Sberbankが特許を取得したものなど、代替の、労力の少ない顔のアニメーションシステムがあります。しかし、人件費の削減には品質と柔軟性が犠牲になります。そのため、このようなテクノロジーの使用を断念しました。 

4.レンダリング

マキシムはUnrealEngineとHoudiniに住んでいます。 



Unreal Engine（UE）では、複雑な後処理を必要としないアニメーションをレンダリングします。これは、UEが出力で後処理に必要な完全なチャネルとマスクを取得することを許可せず、またいくつかの制限があるためです（たとえば、正しいヘアマスクを作成できないため、 UEがマスクを半透明にする方法を知らないこと）。しばらくの間、リアルタイムレイトレース（RTX）を試しましたが、画質が大幅に向上しなかったため、使用を中止しました。 



HoudiniでのレンダリングにはArnoldを使用します。これはCPUレンダリングであり、GPUおよびRealTimeエンジンと比較して動作が非常に遅いですが、比較テストにより、サブサーフェススキャッタリングマテリアル（およびスキンマテリアルはまさにそれ）とアーノルドのヘアマテリアルが順序はRedshiftやOctaneよりも優れており、残念ながらV線はSub SurfaceScatteringマテリアルに偶然にアーティファクトを生成します。

5.インタラクティブ

私たちの観点から、最も有望な（しかし最も難しい）デジタルアバターの開発の方向性は、音声アシスタント、チャットボット、speech2textシステムなどのソフトウェア製品との組み合わせです。これらの統合により、スケーラブルな製品を構築するための扉が開かれます。私たちは現在、この方向に積極的に取り組んでおり、仮説とプロトタイプを構築しています。このようにデジタルアバターを使用するためのアイデアがあれば、喜んで話し合います。

かわいいか嫌い？動きはこの効果を高めます。

おそらくマキシムはあなたが知っている誰かを思い出させるでしょう。あるいは、昨日同じような人と交渉したのかもしれません。彼は彼のコミュニケーションの仕方にかわいくて、それとも迷惑でしたか？いずれにせよ、マキシムのイメージは感情を呼び起こします。



作成の過程で、人間によるヒューマノイドロボットの知覚を調査した日本人の森正博が描いた「悪の谷」の効果を自分たちの経験でテストしました。これはWikiで詳しく説明されています、しかし要するに、ロボットが人に似ているほど、私たちはそれに同情を感じます。この効果はある時点まで大きくなります。ロボットが人とほとんど区別がつかないとき、私たちはそれを見て、不快感や恐れさえ感じ始めます-ロボットには、私たちがほとんどの場合識別して名前を付けることさえできない細部が与えられているからです。私たちの反応のこの突然の変化（グラフの失敗に対応）は「悪の谷」と呼ばれます。同時に、アニメーションはマイナスとプラスの両方の効果を高めますが、グラフからわかるように、人との完全な類似性はアニメーションの助けを借りてのみ達成できます。



ソース 



それで、私たちのマキシムは「不気味な谷」を越えましたが、1つのニュアンスが彼の知覚に悪影響を及ぼします-アニメーションがなければ、彼は顔の表情がまったくなく、すべての顔の筋肉がリラックスしています。したがって、彼は非常に孤立しているように見え、対話者を見ているのではなく、まるで彼を通しているかのように見えます。これは非常に不快です。 



マキシムは私たちにアバターファミリーの価値ある代表者のようです。 Digital Humanの人気が高まるにつれ、クライアントとパートナーがマーケティング目的でアバターを取得することを間もなく決定することを楽しみにしています。そうすれば、マキシムには理にかなった兄弟姉妹がいるでしょう。もちろん、人工的なものです。 



その間、マキシムだけがB2B市場がデジタルアバターに開かれる機会を模索しています。2020年10月に、彼は会議に参加します。「スマートソリューション-スマートカントリー：新しい現実のための革新的なテクノロジー」とDisartiveデジタルアート展では、ソーシャルメディアでLANITの製品とサービスを宣伝し、場合によってはいくつかのインタビューを行います。

デジタルヒューマンの新興市場

ロシアには、私たちと同じような方向に取り組んでいる企業があります。しかし、すべてが公開されているわけではありません。多くの人がgamedevスタジオとやり取りし、ゲームのキャラクターを作成します（そして、この世界は独自のルールに従って生活しており、スタジオは請負業者を開示せずにハリウッドモデルを使用することがよくあります）。 



最も有名な会社は、おそらく、Sberbankが1000万ルーブルを投資したMalivarです。彼女は仮想キャラクターのAlionaPoleを所有しています。これは、「デジタル服」のコレクションのアーティスト、モデル、作者です。 





ほんの一瞬で、デジタルモデルは赤いブラウスを青いブラウスに変え、動きを止めずに新しい外観を試します。そして、Instagram StoriesとTikTokで育った視聴者は、生きているモデルには利用できない素晴らしい数の変換を含む短いビデオを喜んで見ています。



アリオナはモデルだけのイメージから徐々に離れ、Instagramですべての新しい人間の特徴を獲得しています。彼女は世界に対する環境にやさしい態度を促進し、人格の境界のトピックを哲学し、通常の現実と仮想の現実を混ぜ合わせ、個性と身体の積極性に「溺れ」ます。



世界市場には興味深いデジタルアバタープロジェクトがあります：Samsung- Neon..。もちろん、開発者はまだ新しい生命体を作成することにはほど遠いですが、彼らは3Dモデルがうまく動くように教えました。音声をテキストに変換できるインターフェースのおかげで、モデルは着信情報を分析し、それをソリューションに変換し、腕やその他の体の部分を動かすための内部コマンドを提供します。 CES 2019で、同社は看護師、テレビプレゼンター、国立公園スカウト、フィットネストレーナー、その他数名のアバターを特集しました。 上記のSoulmachines



アシスタントを作成するニュージーランドのプロジェクトについて書きました。おそらく、注目に値する他のプロジェクトがありますが、深刻な資金が現在デジタルアバターの開発に投資しているにもかかわらず、それらには重要なニュースフィードがほとんどありません。



アバターについてどう思いますか？ズームミーティングに参加し、上司とコミュニケーションをとるために、デジタルクローンを持っていたいです。もちろん、デジタル服のセット（常にアイロンをかけたシャツ、ジャケット、ネクタイ）すべてです。