光学追跡システムの作り方

2015年に戻った。 Oculus DK2バーチャルリアリティグラスが発売されたばかりで、VRゲーム市場は急速に人気を博していました。



そのようなゲームでのプレーヤーの機会は限られていました。頭の動きの6自由度のみが監視されました-モニターに固定された赤外線カメラの視野内での回転（ガラスの慣性による）と少量の動き。ゲームのプロセスは、ゲームパッドを手にした椅子に座って、頭をさまざまな方向に回転させ、吐き気と戦うことで構成されていました。



あまりクールに聞こえませんでしたが、これは、エレクトロニクス開発の経験と新しいプロジェクトへの欲求を利用して、何か面白いことをする機会だと思いました。このシステムをどのように改善できますか？



もちろん、ゲームパッドやワイヤーを取り除き、プレイヤーに空間内を自由に移動し、手足を見て、環境、他のプレイヤー、実際のインタラクティブオブジェクトと対話する機会を与えます。



私はそれをこのように見ました：

1. 私たちは何人かのプレーヤーを連れて行き、VRメガネ、ラップトップ、そして腕、脚、胴体にセンサーを装着します。
2. いくつかの部屋、廊下、ドアで構成される部屋を取り、追跡システムを装備し、ドアにセンサーと磁気ロックを掛け、いくつかのインタラクティブオブジェクトを追加し、仮想の場所のジオメトリが実際の部屋のジオメトリを正確に繰り返すゲームを作成します。
3. ゲームを作成します。このゲームはマルチプレイヤークエストで、複数のプレイヤーが装備を身に付けて仮想世界にいることに気づきます。その中で、彼らは自分自身を見て、お互いを見て、その場所を歩き回り、ドアを開け、共同でゲームの問題を解決することができます。

私はこのアイデアを友人に話しました。友人は意外にも熱心にそれを受け入れ、組織的な問題を引き継ぐことを申し出ました。そこで、スタートアップを混乱させることにしました。



宣言された機能を実装するには、2つの主要なテクノロジーを作成する必要がありました。

1. プレイヤーの体の部分の位置を追跡する腕、脚、胴体のセンサーで構成されるスーツ
2. 3D空間でプレーヤーとインタラクティブオブジェクトを追跡する追跡システム。

この記事では、2番目のテクノロジーの開発について説明します。多分後で私は最初のものについて書きます。

追跡システム。

もちろん、これらすべての予算がなかったので、すべてをスクラップ材料から作らなければなりませんでした。宇宙のプレイヤーを追跡するために、VRメガネに取り付けられた光学カメラとLEDマーカーを使用することにしました。私はそのような開発の経験はありませんでしたが、OpenCV、Pythonについてすでに何かを聞いて、それができると思いました。



計画どおり、システムがカメラの位置と向きを認識している場合、フレーム上のマーカー画像の位置によって、このマーカーが配置されている3D空間の直線を決定できます。このような2つの線の交点が、最終的なマーカーの位置を示します。







したがって、カメラは天井に固定して、空間内の各ポイントが少なくとも2台のカメラで表示されるようにする必要がありました（プレーヤーの体が視界を遮らないように、できればそれ以上）。想定される敷地を約100平方メートルの面積で追跡してカバーするには、約60台のカメラが必要でした。私はその時に最初に利用可能な安いusbウェブサイトを選びました。







これらのウェブサイトは何かに接続する必要があります。実験によると、usb延長コード（少なくとも安価なもの）を使用すると、カメラに不具合が発生し始めました。そのため、ウェブサイトを8つのグループに分けて、天井に固定されたシステムユニットに貼り付けることにしました。自宅のコンピューターには10個のusbポートしかなかったので、テストベンチの開発を開始します。



私が思いついたアーキテクチャは次のとおりです。

ガーランドのアクリル製のつや消しボールにRGBLEDを接着して、各グラスに吊るします。複数のプレイヤーが同時にゲームに参加することになっていたので、識別のために、R、G、B、RG、RB、GB、RBの色でそれらを分けることにしました。これがその外観です







。実行する必要がある最初のタスクは、フレーム上のボールを見つけるためのプログラムを作成することです。



フレーム上のボールを見つける



カメラから来た各フレームで識別できるように、ボールの中心の座標とその色を探す必要がありました。簡単そうですね。OpenCV for Pythonをダウンロードし、カメラをusbに接続し、スクリプトを作成します。フレームへの不要なオブジェクトの影響を最小限に抑えるために、カメラの露出とシャッター速度を最小限に設定し、LEDの輝度を高くして、暗い背景に明るいスポットを取得します。最初のバージョンでは、アルゴリズムは次のとおりでした。

2. ( , , – ).
3. .
4. ( )

うまくいくようですが、ニュアンスがあります。



まず、安価なカメラでは、マトリックスにかなりのノイズがあり、2値化されたクラスターの輪郭が絶えず変動し、その結果、中心がぎくしゃくします。プレイヤーがVRメガネで絵をひねることは不可能なので、この問題を解決する必要がありました。異なるパラメーターを使用して他のタイプの適応二値化を適用しようとしても、あまり効果はありませんでした。



次に、カメラの解像度は640 * 480しかないため、ある距離（それほど大きくない）では、ボールはフレーム内の数ピクセルとして表示され、エッジ検索アルゴリズムは正常に機能しなくなります。



私は新しいアルゴリズムを考え出さなければなりませんでした。次のアイデアが思い浮かびました。

1. 画像をグレースケールに変換する
2. Gaussian blur – ,
3. ,

これははるかにうまく機能し、ボールが静止しているときは中心の座標が静止しており、カメラから遠く離れていても機能します。



これらすべてが1台のコンピューターの8台のカメラで機能することを確認するには、ストレステストを実施する必要があります。



負荷テスト



8台のカメラをデスクトップに接続し、それぞれが光るドットを見るように配置し、説明したアルゴリズムが8つの独立したプロセスで機能し（Pythonマルチプロセッシングライブラリのおかげで）、すべてのスレッドを一度に処理するスクリプトを実行します。



そして...私はすぐに失敗に遭遇します。カメラの画像が表示されたり消えたり、フレームレートが0から100に跳ね上がる、悪夢。調査の結果、コンピューターの一部のusbポートが内部ハブを介して同じバスに接続されていることがわかりました。そのため、バス速度が複数のポートに分割され、カメラのビットレートには不十分です。カメラをコンピューターのさまざまなポートにさまざまな組み合わせで接続すると、独立したusbバスが4つしかないことがわかりました。私は8つのバスを備えたマザーボードを見つけなければなりませんでしたが、それはかなり難しい探求でした。





負荷テストを続けます。今回は、すべてのカメラが接続され、通常のストリームを出力しますが、すぐに次の問題である低fpsに遭遇します。プロセッサは100％ロードされており、8つのWebサイトのそれぞれから毎秒8〜10フレームしか処理できません。







コードを最適化する必要があるようです。ボトルネックはガウスブラーであることが判明しました（フレームの各ピクセルに対して9 * 9マトリックスで畳み込む必要があるため、驚くことではありません）。カーネルを減らしても状況は保存されませんでした。フレーム上のスポットの中心を見つけるための別の方法を探す必要がありました。



解決策は、OpenCVに組み込まれているSimpleBlobDetector関数で突然見つかりました。彼女は私が必要としていることを正確にそして非常に迅速に行います。この利点は、さまざまなしきい値を使用した画像の順次2値化と、輪郭の検索によって実現されます。その結果、CPU負荷が40％未満で最大30fpsになります。負荷テストに合格しました！



色分類



次のタスクは、マーカーをその色で分類することです。スポットピクセル全体の平均カラー値は、非常に不安定で、カメラまでの距離とLEDの明るさによって大きく変化するRGBコンポーネントを示します。しかし、優れた解決策があります。HSVを使用したRGB空間からの変換（色相、彩度、値）です。この表現では、「赤」、「青」、「緑」の代わりにピクセルが「色相」、「彩度」、「明るさ」のコンポーネントに分解されます。この場合、彩度と明るさは単純に除外し、色相によってのみ分類できます。









そのため、現時点では、多数のカメラからフレーム内のマーカーを見つけて識別する方法を学びました。これで、次の段階である宇宙での追跡に進むことができます。

追跡

私は、すべての光線がマトリックスの焦点長にある点を通ってマトリックスに当たるピンホールカメラモデルを使用しました。







このモデルは、フレーム上の点の2次元座標を、空間内の直線の3次元方程式に変換します。



マーカーの3D座標を追跡するには、異なるカメラから空間内で少なくとも2つの交差する線を取得し、それらの交差点を見つける必要があります。 2台のカメラでマーカーを確認することは難しくありませんが、これらの線を作成するには、接続されているカメラについてすべてを知るシステムが必要です。カメラがぶら下がっている場所、角度、各レンズの焦点長などです。問題は、これのどれも知られていないということです。パラメータの計算には、ある種の校正手順が必要です。



トラッキングキャリブレーション



最初のバージョンでは、トラッキングキャリブレーションを可能な限りプリミティブにすることにしました。

1. 8台のカメラの最初のブロックを天井に吊るし、同じ場所に吊るされたシステムユニットに接続し、最大ゲームボリュームをカバーするようにカメラを向けます。
2. レーザーレベルとレンジファインダーを使用して、すべてのカメラのXYZ座標を単一の座標系で測定します
3. カメラの向きと焦点の長さを計算するために、私は特別なステッカーの座標を測定します。私は次のようにステッカーを掛けます：
   
   
   • カメラからの写真を表示するためのインターフェースで、2つのポイントを描画します。1つはフレームの中央にあり、もう1つは中央の右側に200ピクセルあります。
     
     
   • フレームを見ると、これらのポイントは壁、床、または部屋の中の他のオブジェクトのどこかにあります。紙のステッカーを適切な場所に掛け、マーカーでドットを描きます
   • 同じレベルとレンジファインダーを使用して、これらのポイントのXYZ座標を測定します。合計で、8台のカメラのブロックの場合、カメラ自体の座標と、それぞれにさらに2つのポイントを測定する必要があります。それら。座標の24トリプレット。そして、そのようなブロックは約10個あるはずです。それは長い退屈な仕事になります。しかし、何も、後でキャリブレーションを自動化します。
   • 測定データに基づいて計算を開始します
   
   
   

2つの座標系があります。1つは部屋に関連付けられたグローバルで、もう1つは各カメラにローカルです。私のアルゴリズムでは、各カメラの結果は、その位置と方向を含む4 * 4のマトリックスになり、座標をローカルからグローバルに変換できるようになります。







アイデアは次のとおりです。

1. 回転とオフセットがゼロの元のマトリックスを使用します。
2. , .
3. , .
4. , . , . . 200 . , .
5. (, 200 ).

確かにこの問題は分析的に解決できますが、簡単にするために、勾配降下の数値解法を使用しました。怖くないから計算は、カメラの設置後に1回実行されます。



キャリブレーション結果を視覚化するために、マップを使用して2Dインターフェイスを作成しました。このインターフェイス上に、スクリプトがカメラのラベルとマーカーが表示される方向を描画します。三角形は、カメラの向きと表示角度を表します。







追跡のテスト



視覚化の実行を開始できます。これにより、カメラの向きが正しく識別されているかどうか、およびフレームが正しく解釈されているかどうかが示されます。理想的には、カメラアイコンからの線は1点で交差する必要があります。



何が起こったのか：





真実のように見えますが、精度は明らかに高くなる可能性があります。頭に浮かんだ不完全さの最初の理由は、カメラレンズの歪みです。これは、これらの歪みを何らかの方法で補正する必要があることを意味します。



カメラのキャリブレーション

理想的なカメラには、焦点の長さという1つの重要なパラメーターしかありません。実際のカメラカーブでは、レンズの歪みとマトリックスの中心のオフセットも考慮する必要があります。

これらのパラメータを測定するために、標準の校正手順があります。この手順では、チェッカーボードの一連の写真が測定されたカメラで撮影され、正方形間の角度がサブピクセルの精度で認識されます。







キャリブレーションの結果は、2つの軸に沿った焦点長と、光学中心に対するマトリックスオフセットを含むマトリックスです。これらはすべてピクセル単位で測定されます。







また、







ピクセル座標変換を使用してレンズの歪みを補正できる歪み係数のベクトルもあり ます。



これらの係数を使用した変換をフレーム上のマーカーの座標に適用することにより、システムを理想的なピンホールカメラのモデルにすることができます。



新しい追跡テストの実行：







はるかに優れています！見た目も良さそうなので、うまくいくようです。



しかし、キャリブレーションプロセスは非常に面倒であることが判明しました。各カメラの座標を直接測定し、各カメラからの画像の表示を開始し、ステッカーを切り、各ステッカーの座標を測定し、結果をテーブルに書き込み、レンズをキャリブレーションします。これにはすべて、数日と1キログラムの神経が必要でした。私は追跡を扱い、より自動化されたものを書くことにしました。



マーカー座標の計算



それで、私はたくさんの直線を空間に散らばらせ、その交差点にマーカーがあるはずです。空間内の直線だけが実際には交差しませんが、交差します。互いにある程度の距離を置いて通過します。私の仕事は、両方の直線にできるだけ近いポイントを見つけることです。正式に言えば、両方の線に垂直なセグメントの中点を見つける必要があります。







セグメントABの長さも有用です。得られた結果の「品質」を反映しています。短いほど、直線同士が近くなり、結果が良くなります。



次に、ペアで線の交点を計算し（同じ色で、互いに十分な距離にあるカメラから）、最適なものを探し、それをマーカー座標として使用する追跡アルゴリズムを作成しました。次のフレームでは、同じペアのカメラを使用して、他のカメラでの追跡に切り替えるときに座標がジャンプしないようにします。



並行して、センサー付きのスーツを開発しているときに、奇妙な現象を発見しました。すべてのセンサーは、それぞれが独自の北を持っているかのように、ヨー角（水平面の方向）の異なる値を示しました。まず、データフィルタリングアルゴリズムやボードのレイアウトに間違いがないか確認するのに役立ちましたが、何も見つかりませんでした。それから私は磁気計の生データを見ることに決め、問題を見ました。

私たちの部屋の磁場は垂直に下向きでした！どうやら、これは建物の構造の鉄によるものです。



しかし、VRメガネも磁力計を使用しています。なぜこの効果がないのですか？確認します。彼も眼鏡を持っていることが判明しました...じっと座っていると、仮想世界がゆっくりと、しかし確実にランダムな方向にあなたの周りを回転する様子を見ることができます。 10分で、彼はほぼ180度を離れます。私たちのゲームでは、これは必然的に仮想現実と現実の現実の間の同期のずれや壁にぶつかったガラスにつながります。



ガラスの座標に加えて、水平面での方向を決定する必要があるようです。解決策はそれ自体を示唆しています-1つではなく2つの同一のマーカーをグラスに置くことです。 180度の精度で方向を決定することができますが、内蔵の慣性センサーの存在を考慮すると、これで十分です。







小さなわき柱はあるものの、システム全体が機能しました。しかし、クエストを開始することが決定されました。これは、ミニチームに参加したgamedev開発者によって完了されようとしていました。プレイエリア全体が破壊され、センサーと磁気ロック付きのドアが設置され、2つのインタラクティブオブジェクトが作成されました。







プレイヤーはグラス、スーツ、コンピューターのバックパックを身に着けてプレイエリアに入った。追跡座標はwi-fiを介して送信され、仮想キャラクターの配置に使用されました。すべてが十分に機能し、訪問者は満足しています。最も楽しいことは、仮想の幽霊が暗闇から彼らを攻撃した瞬間に、特に印象的な訪問者の恐怖と悲鳴を見ることでした=）

スケーリング

突然、銃を手にした8人用の大型VRシューターの注文を受けました。そして、これらは震える必要がある16のオブジェクトです。幸運なことに、追跡を4人ずつの2つのゾーンに分割する可能性を想定していたので、問題なく注文を受け付けて何も気にしないことにしました。自宅でシステムをテストすることは不可能でした。広い面積と多くの機器を顧客が購入する必要があったため、インストールする前に、トラッキングキャリブレーションの自動化に時間を費やすことにしました。



自動校正



カメラを向けたり、これらすべてのステッカーを掛けたり、手動で座標を測定したりするのは非常に不便でした。私はこれらすべてのプロセスを取り除きたいと思っていました-ブルドーザーからカメラを切り、空間内のマーカーをランダムに歩き、キャリブレーションアルゴリズムを実行します。理論的にはこれは可能であるはずですが、アルゴリズムの作成方法は明確ではありません。



最初のステップは、システム全体を一元化することでした。プレイエリアを8台のカメラのブロックに分割する代わりに、すべてのカメラのフレーム上のポイントの座標を一度に受信する単一のサーバーを作成しました。



アイデアは次のとおりです。

1. カメラを吊るして、目でプレイエリアに誘導します
2. サーバーで記録モードを開始します。このモードでは、カメラからのすべての2Dポイントがファイルに保存されます。
3. マーカーを手に持って暗いゲームの場所を歩き回る
4. 記録を停止し、すべてのカメラの位置、向き、焦点の長さを計算するキャリブレーションデータの計算を開始します。
5. 前の段落の結果として、カメラで満たされた単一のスペースが得られます。なぜなら このスペースは実際の座標に関連付けられていません。ランダムなオフセットと回転があり、手動で減算します。

私は線形代数に関する膨大な量の資料を調べて、何百行ものPythonコードを書かなければなりませんでした。それがどのように機能するかを私はほとんど覚えていないほどです。











これは、プリンターに印刷された特別なキャリブレーションスティックがどのように見えるかです。

大規模なプロジェクトのテスト

問題は、プロジェクトの開始の数週間前に施設でのテスト中に始まりました。 8つの異なるマーカーの色を識別することはひどく機能し、テストプレーヤーは常に互いにテレポートし、一部の色はショッピングコンプレックスの外部のハイライトとまったく異ならなかった。眠れない夜ごとに何かを直そうとする無駄は、私をますます絶望に追いやった。これはすべて、1秒あたり数万の直線を計算するときのサーバーパフォーマンスの欠如によって悪化しました。



血中のコルチゾールのレベルが理論上の最大値を超えたとき、私は別の角度から問題を見ることにしました。マーカーの数を減らすことなく、色付きのドットの数を減らすにはどうすればよいですか？追跡をアクティブにします。たとえば、各プレーヤーが常に左側のホーンに赤いホーンを持っているようにします。また、サーバーからのコマンドの到着時に2番目のコマンドが緑色に点灯することがあるため、一度に1人のプレーヤーだけが点灯します。緑色のライトが1人のプレーヤーから別のプレーヤーにジャンプし、赤色のライトへのトラッキングバインディングを更新し、マグネトメーターの方向エラーをリセットしているように見えることがわかりました。



これを行うには、最寄りのチップディップまで走り、LED、ワイヤー、トランジスター、はんだ付けアイロン、電気テープを購入し、このために設計されていないスーツボードにLED制御機能を吊るす必要がありました。念のため、ボードを配線するときに、コンタクトパッドに2本のフリーのstm-kiレッグを掛けておくとよいでしょう。







追跡アルゴリズムはかなり複雑にする必要がありましたが、最終的には機能しました。プレイヤー同士のテレポーテーションが消え、プロセッサーの負荷が下がり、フレアが干渉しなくなりました。





プロジェクトは成功裏に開始されました。まず、アクティブトラッキングをサポートする新しいスーツボードを作成し、ハードウェアを更新しました。

どうやって終わったの？

3年間、世界中に多くの娯楽施設を開設してきましたが、コロナウイルスは独自の調整を行ったため、仕事の方向をより社会的に有用な方向に変える機会が与えられました。現在、VRでの医療シミュレーターの開発に大成功を収めています。私たちのチームはまだ小さいので、積極的にスタッフの拡大を目指しています。Habrの読者の間で仕事を探している経験豊富なUE4開発者がいる場合は、私に書いてください。

記事の最後にある伝統的な面白い瞬間：

定期的に、多数のプレイヤーを対象としたテスト中に、プレイヤーが数メートルの高さまで短時間突然テレポートされるというグリッチが発生し、それに対応する反応が発生しました。私のカメラモデルは、マトリックスとマーカーからの無限線との交点を想定していることがわかりました。しかし、彼女はカメラの前面と背面があることを考慮していなかったため、ポイントがカメラの後ろにある場合でも、システムは無限の線の交点を探しました。そのため、2台の異なるカメラが2つの異なるマーカーを見る状況がありましたが、システムはそれが数メートルの高さの1つのマーカーであると見なしました。







システムは文字通りお尻を介して動作しました。