教える、癒す、戦う、そして救う：モーションキャプチャテクノロジーの珍しいアプリケーション

今日、ほとんどの場合、モーションキャプチャ（モーションキャプチャ）テクノロジは、映画やビデオゲームで使用されています。しかし、それらを使用するための他のオプションがあります：今日、モーションキャプチャは、最高のマシンオペレーターの称号を競うのに役立ち、歩行を診断し、将来の世代のために小さな人々のダンスを保存することができ、将来的には居心地の良いバンカーから実際の戦争を行うことができます。

馬、モデルプロレタリアン、核爆発：モーションキャプチャの作成者は何を撮影しようとしていましたか？

1878年、カリフォルニア州知事でスタンフォード大学の創設者で乗馬愛好家のリーランド・スタンフォードが友人たちと賭けをしました。彼は、ある瞬間にギャロップで走っている馬が4本の足すべてを地面から持ち上げると主張した。友人たちは同意せず、その仮定を視覚的に証明または確認することは不可能でした。スタンフォードはその後、論争を解決するために有名な写真家で動物運動研究者のエドワード・ミュイブリッジを連れてきました。パロアルトにあるリーランドの農場には、特別な「フォトドローム」が建てられました。白い壁と反対側の壁からカメラに向けられたカメラで構成される囲いです。ロープは囲いの道を横切って伸び、カメラのゲートに結び付けられました。馬がギャロップを始めたとき、ライダーはそれをフォトドロームに導き、動物の足がロープに触れ、ゲートが機能し、一連の写真が現れました。



これがクロノフォトグラフィーの誕生であり、25,000ドルの紛争を解決するのに役立った最初のモーションキャプチャテクノロジーです。





スタンフォードは彼が正しいことを証明しました。ギャロップでは、馬は実際に4本の足すべてを地面から持ち上げますが、さまざまな時代のアーティストがよく描いているように、現時点では、足は体の下に隠れており、前後に伸びていません。この小さな発見は、XIX-XX世紀の変わり目に、芸術評論家や芸術家の間で怒りを引き起こしました。ちなみに、撮影には黒い馬だけが使われていました。その動きは、フォトドロームの白い背景に対してより明確に記録されています。出典：Eadweard Muybridge / Wikimedia Commons



しかし、モーションキャプチャの技術は、賭けに勝つ機会があるという理由だけでなく、その後、クロノフォトグラフィーの原理に基づいた複数の装置が登場したという点で興味深いものでした。たとえば、写真家のアーノルド・ロンドは、神経学者のジャン・シャルコットの患者の顔の表情を捉えるために、1891年に12レンズのクロノフォトグラファーを発明しました。それから現在まで、主で最も困難なタスクは、キャプチャされたアクションを再現することでした。



この機会に最初に興味を持ったのは乗数でした。 20世紀の最初の10年間に、人形または手描きの漫画の時代が始まりました。アーティストは、描かれたキャラクターの動きの可能性を最大限に高めることを目指しました。これは、1914年に弟のデイブと一緒に回転スコープ（「フォトシフト」）を発明したアメリカの発明者マックスフライシャーによって達成されました。最初は、実際の俳優が撮影されました。次に、この記録はフレームごとに拡大され、ガラスの内腔に投影および再生されました。アーティストは、トレースペーパーで各フレームをトレースしました。その結果、リアルに動くキャラクターの新しい映画ができました。



, , , . Tantalizing Fly (« ») . . «», « 7 », « », «-», «», « » . : Mohamed El Amine CHRAIBI / YouTube



労働の科学的組織に熱心な当時のソビエトロシアの科学者に興味を持った彼らのビデオキャプチャによる動きの現実的な再現。プロレタリアの最高の代表者の動きを徹底的に研究すれば、他の労働者に教えることができます-これはソビエトの指導者と科学者の論理でした。このトピックは、モスクワで作成され、人間の動きを研究するバイオメカニクスの科学的方向性の創設者であるニコライ・バーンスタインによって監督された中央労働研究所（CIT）によって扱われました。バーンスタインは彼の研究室でサイクログラム測定研究を実施しました。被験者は、マーカーの役割を果たした数十個の小さなランプからなる特別なスーツを着ていました。次に、高速撮影（100〜200フレーム/秒）を使用して、サイクログラムが取得されました。動いている人や走っている人の位置を測定する際の誤差はわずか0.5mmでした。



バーンスタインは長年にわたり、アスリート、労働者、ミュージシャンの動きを研究してきました。これは、競技会でのパフォーマンスを向上させ、さまざまな分野での指導方法を開発するのに役立ちました。 「コスモポリタン」との闘いの期間中の不名誉にもかかわらず、バーンスタインは依然として無重力状態への宇宙飛行士の適応についての勧告を何とか与えました。出典：Thomas Oger / YouTube



バーンスタインが、人体に取り付けられたセンサーが現在でも使用されている光学的および音響的モーションキャプチャの出現を予測したことは注目に値します。



このアイデアは、アナログマイクロ回路と陰極線管を実験したアメリカのリーハリソンIIIによって開発されました。 1959年に、彼は内蔵の電位差計（調整可能な抵抗器）を備えたスーツを設計し、陰極線管上で俳優の動きをリアルタイムで記録およびアニメーション化することができました。それは原始的な設定でしたが、アニメーション化された俳優は画面上の光の柱のように見えましたが、これは最初のリアルタイムモーションキャプチャでした。



並行して、高速または異なる視角から物体を撮影することによってモーションキャプチャが達成されたとき、光光学的方法はその道を押し進めました。 1940年代に作成されたRapatronicCameraの発明者であるHaroldEdgertonは、これに大きく貢献しました。わずか10ナノ秒の露光時間で静止画を記録することができます。この装置のおかげで、科学者は落下する水滴から核爆発までの水の飛沫から、非常に速いイベントを捉えることができました。





ラパトロニックカメラによってキャプチャされた、爆発後のほんの一瞬の核電荷の爆発の瞬間。出典：米国連邦政府/ウィキメディアコモンズ



20世紀の終わりまでに、モーションキャプチャの2つの主要なテクノロジーが形成されました。これらは、従来はマーカーとマーカーレスと呼ばれていました。最初のケースでは、モーションキャプチャは、人体に配置されたマーカーまたはセンサーを使用して行われます。それらは異なる可能性があります：赤外線、磁気、ジャイロスコープ。赤外線は反射（パッシブ）または放射（アクティブ）光のいずれかであり、磁気光は磁束を歪め、ウェーブレシーバーは空間内の位置を決定します。ジャイロスコープセンサーは、空間内の体の位置の変化に関する情報も送信します。



マーカーレスシステムは、光キャプチャに基づいています。部屋にはたくさんのカメラが取り付けられており、さまざまな角度から撮影します。結果の画像は、3Dモデルに結合されます。もう1つのタイプは、体に取り付けられてアニメーションモデルを作成し、動きをキャプチャする外骨格です。





キャプチャされたキャラクターのモデルを後で仮想環境に配置する必要がある場合は、緑の部屋（クロマキー）で撮影されます。緑は人体の色と非常に対照的であるため、コンピューターはフレームから緑のピクセルをトリミングするのに優れています。出典：東芝



モーションキャプチャは主に映画やビデオゲームで使用されます。しかし、毎年、このテクノロジーはエンターテインメント業界以外で、製造、医療、文化遺産の保存、スポーツ、軍事などでますます使用されています。

私の後に繰り返します：東芝はモーションキャプチャを使用してファイリングする方法をどのように教えていますか？

あなたは火、水、そして誰かがどのように働くかを際限なく見ることができます。そして時々あなたはそれから利益を得ることができます。東芝では昔から考えていたので、コーポレートマニュファクチャリングエンジニアリングセンターにはモーションキャプチャのスペシャリストである中村博明氏がいます。最近、彼は、ベーキングから溶接まで、さまざまな分野の職人のための特別なコンテストである全国専門家選手権の参加者がどのように機能するかを熱心にフォローしています。



2018年、東芝企業の若手労働者である岡部春樹が、このコンテスト、特に小型機器の組み立てに参加することを決定しました。それを組み立てるとき、競技者はいくつかの部品の最終処理のために古き良きファイルを使用します。この業界の一流の技術者は、0.001 mm以下の加工精度を達成できると考えられています。そうしないと、デバイスは機能しません。これは、私たちの競技者が弱く、競争での勝利を逃したことが判明した場所です。



東芝は、同社の企業で50年以上ファイルとして働いていた66歳の松井達夫インストラクターを若手専門家の指導に派遣した。しかし、ユニークなスキルを持っているすべての人が、それを伝えることができる優れた教師として生まれているわけではありません。問題はマシンの競技者の位置にあると彼は説明したが、問題はそれ以上進行しなかった。次に、両方をモーションキャプチャコスチュームでドレスアップしました。それらはマーカーの原理に従って「縫い付け」られます。つまり、センサーは動きを記録するために使用されます。この場合、加速度計はスマートフォンとほぼ同じです。複数のカメラよりもはるかに安価です。



彼らのデータを比較したところ、彼らの足のバランスに大きな違いがあることに気づきました。





縦軸はサポートの抵抗[N]、横軸は時間[S]です。若年労働者の重心は経験豊富な労働者に比べて前脚に集中しているため、青と緑の曲線の間に大きなギャップがあります。（若年労働者の岡部は左利き、教師の松井は右利きなので、図では線が逆になっています。）出典：東芝



若年労働者の重心は、経験豊富な専門家と同じようにではなく、大きく前方にシフトしていることがわかった。このため、ファイルを操作するときに競技者はすぐに疲れ、これにより結婚が発生します。岡部は自分の過ちに気づき、ファイルの品質を向上させることができました。そして、彼は日本全国プロ選手権でブロンズを取りました。おそらく私たちの子孫は松井ファイルでの作業の記録から学ぶでしょう。そして、私たちは彼らのために別の種類の消える芸術、つまりダンスを救うこともできます。

: ?

ユネスコの世界遺産リストについては、おそらく誰もが聞いたことがあるでしょう。このリストには、人類が保存し、将来の世代に引き継ぐことを目指している1,000を超える自然および人工の場所が含まれています。 2000年代初頭、多くの人が、手で作られたものではなく、自然で作られたものではないもの、つまり歌、儀式、演劇、工芸品を保存する方法について考えました。このようにして、2003年から蓄積され保存されてきた無形文化遺産（ICH）の概念が現れました。また、モーションキャプチャテクノロジーは、ICHの主要なオブジェクトの1つであるダンスを維持するのに役立ちます。



世界中のいくつかのプロジェクトが、世界中の人々のダンスをデジタル化しています（Wholedance、i-Treasures、AniAgeなど）。ほとんどの場合、ダンスを録音するときは、ダンサーの体に配置されるアクティブセンサーとパッシブセンサーが使用されます。



アクティブセンサーを備えたモーションキャプチャシステムは、独自の光を発するLEDを使用します。たとえば、Phasespace Impulse X2モーションキャプチャシステムは、変調されたLEDを使用して動きを検出できる8台のカメラで構成されています。ダンサーは38個のセンサーとアクティブなLEDを備えたスーツを着て、踊り始めます。



WholoDanceプロジェクトは、視覚化ツールとしてMicrosoftHoloLensを統合することを試みました。 Autodesk MotionBuilderからヘッドセットにワイヤレスでデータをストリーミングすると、ダンサーや振付師はリアルタイムでホログラムを見ることができます。出典：Jasper Brekelmans / YouTube



パッシブキャプチャシステムでは、センサーは信号を発しませんが、スーツを作るための特別な素材を使用して信号を反射するだけです。このテクノロジーは、ダンサーに大きな行動の自由を提供し、鋭い動きをさせ、アクロバティックな要素を実行することを可能にし、同時に固定の精度と速度を低下させません。現在、科学者は、ダンサーの模倣と衣装がダンスに関与しているため、モーションキャプチャマーカーテクノロジーと3D撮影を統合することを期待しています。



同様のモーションキャプチャテクノロジーは、ダンスよりもはるかに単純な形の身体活動、つまり歩行分析に使用されます。

歩行から学ぶ：歩行研究は医師にどのように役立ちますか？

歩行は人の健康について多くを語ることができます。ペンシルベニア州立大学のティモシー・ニーラーはこれを知っています-彼はモーションキャプチャ技術を使用して世界最大の人間の歩行のコレクションを収集します。彼は18歳から65歳までの人々を、12台の高速カメラの下を自分の研究室に招待しています。 Niilerは、約40個の反射センサーを研究参加者の体に取り付けています。このようにして、歩行データベースが形成され、その後、医師によって使用されます。まず第一に、通常の歩行の知識は、成人で発生するほとんどすべての整形外科の問題を特定するための基礎を提供します。たとえば、股関節または膝の置換の有効性を測定する必要がある場合、医師は患者の歩行を「記録」し、データベースの平均歩行パラメータと比較します。





? 1/3 . 1/3 . : 2/3 . 2/3 . : Motion Analysis



GaitTrackなどのモーション分析システムは、すでに医療センターで直接使用されています。この技術を使用して、医師は歩行または走行時の基本的な生体力学的パラメーターを計算して一般化し、関節疾患を早期に診断し、起こりうる怪我のリスクを検出します。コーチとアスリートは、同様の方法でモーションキャプチャを使用します。

より速く、より高く、より良く：モーションキャプチャはバスケットボール選手にどのように役立ちましたか？

モーションキャプチャはスポーツで広く使用されています。プレイヤーの行動を分析することで、プレイヤーのミスを特定したり、さまざまな機器をテストしたりできます。キース・パムメントは、車椅子ユーザーで構成されるバスケットボールチームのヘッドコーチです。彼はエンジニアでもあり、モーションキャプチャがバスケットボールチームのパフォーマンスをどのように改善できるのかと長い間考えてきました。特に、Perception Neuronモーションキャプチャシステムは、障害のあるバスケットボール選手にとって最も効果的な車椅子を見つけるのに役立ちました。衣装を着たアスリートは、トレーナーが16台のカメラを使用してリアルタイムでアニメーションの動きを研究しながら、6種類の椅子を交互に使用しながら、スプリント、操作、ドリブル、1対1で行いました。



アニメーション化されたアスリートのアバターは、車椅子の3Dモデルと統合されました。出典：Rockets Science CIC / YouTube



プレーヤーのトレーニングを研究したある日、キースは、アスリートのスキル、長所、短所、動き、プレイテクニックに基づいて、チームのスポーツチェアの技術的基準を作成しました。現在、コーチは同じアスリートと一緒に働く同僚のためにコース全体を準備しています。



したがって、今のところ、モーションキャプチャテクノロジーは、相対的な「若さ」とその結果としての技術的な制限のために、人間の活動の「ニッチ」な領域で使用されています。しかし、ロボティクス、機械学習、および拡張現実と仮想現実の開発により、それらの応用分野は拡大するでしょう。

次のステップ：ロボットアバター、テレポーテーション、仮想現実

ロボットはますます機敏に、より速く、そして賢くなりつつあります。つまり、人々は行きたくない場所にロボットを送るようになるでしょう。しかし、今日では、自動車の遠隔制御用のインターフェースの中で、ジョイスティックまたは外骨格が主に使用されています。そのような手段は常に効果的であるとは限りません-それらの主な欠点は、何らかの形で、ロボットを遠隔操作する人自身の動きを妨害または複雑にすることです。光学式モーションキャプチャテクノロジーは、この問題を解決できます。



2018年、イギリスとイタリアの科学者のグループが、モーションキャプチャを通じて、Centauroと呼ばれるロボットを壊れやすい女の子の行動に屈服させることに成功しました。これを行うために、彼らは赤外線センサーとカラー画像認識（RGB）機能を含む安価なASUS XtionPROモーション認識システムを使用しました。彼女はモーションキャプチャを担当していました。受信した情報は、RGBカメラからの2D画像を使用してリアルタイム（8〜10 Hz）の人体の動きを検出できる機械学習ベースのアルゴリズムであるOpenPoseによって処理されました。システムから得られた人間の関節と手足の三次元座標は、ろ過後、Centauroロボットを制御するために送信されます。



3D- , . : Dimitrios Kanoulas / YouTube



もちろん、Centauroはアサルトライフルで武装して経験豊富な海兵隊員の管理下に移すことはできませんが、将来的にはそのようなシステムの作成は可能です。 2012年、米国国防総省の防衛先端研究プロジェクト庁（DARPA）は、「アバター」という予想外の名前のプロジェクトを発表しました。これには、「兵士が2本の足で半自律型マシンと効果的に連携できるようにするインターフェイスとアルゴリズムの開発が含まれています（バイペダル）兵士の代理として。」明らかに、そのようなシステムは実際にロボットに経験豊富でよく訓練された兵士のスキルを与えることを可能にすると同時に、リモートコントロールのおかげで最も困難な操作環境でそれを生き続けることを可能にします。その後、研究の進捗状況は報告されませんでした。



2018年、XPrize Foundationは、ANAアバターXPrizeロボットアバターを作成するためのコンテストを発表し、2020年末に77チームがロボットアバターの開発を発表するために選ばれました。競争条件によると、開発者はモーションキャプチャ、高感度テクノロジー、ARおよびVRの分野のソリューションを組み合わせる必要があります。500万ドルの費用がかかる最終的な目標は、オペレーターがリモート環境でさまざまなタスクを表示、聞き取り、移動、および実行できるシステムです。



アバターには、次の3つの操作モードが必要です。

1. 完全制御モード：ロボットは人間のコマンドのみを実行します。
2. 上級：環境分析やマッピングなど、いくつかのタスクを個別に解決します。
3. 半自律的：独立した意思決定。

実際、私たちは、ロボットの制御点にいるという効果を生み出す人の「テレポーテーション」について話しているのです。将来的には、これらの技術により、火山の火口、宇宙空間、自然災害地帯、戦争など、人間にとって不利な環境での人型ロボットの遠隔制御が可能になります。2020年には最初の開発が見られ、2021年には誰が最高であり、さらなる研究のために500万ドルを受け取るかがわかります。