合成データ：知覚アルゴリズムの改善と境界の検索の最適化

現実の世界で遭遇するすべてのエッジケースをカバーするために、クリティカルセンシングシステムは膨大な量のデータを必要とします。自動運転車のトレーニングアルゴリズムへの最も一般的なアプローチの1つは、実際の運転データの選択とラベル付けです。 CVPR 2020で、Andrey Karpatyは、Teslaもこのアプローチを使用していると述べました。彼らの車はオブジェクトタグをオンラインで適応させます。自走式車は分析が必要な新しいシナリオに常に直面しているため、エンジニアはデータにラベルを付けるためのオントロジーと方法論を絶えず適応させているため、「変動と制御」は非常に重要です。



ただし、このデータ駆動型アプローチには、スケーラビリティ、データ収集コスト、およびデータセットに正確にタグを付けるために必要な労力のために、さまざまな制限があります。このテキストでは、応用チームが合成タグ付きデータアプローチについて説明します。このアプローチにより、無人車両の重要なアルゴリズムの学習と開発がより速く、より費用効果が高くなります。







参照マーキングのあるカメラからの画像の合成データの例。元のRGB画像（左上）、2Dフレーム（右上）、セマンティックマークアップ（左下）、および3Dフレーム（右下）。

データマークアップおよび関連する問題への最新のアプローチ

図2は、タグ付きデータセットを作成するための一般的なアプローチを示しています。これは非常に時間のかかるプロセスです。テストドライバーは、複数のセンサーを搭載した車両を手動モードまたは無人モードで操作します。これらの旅行中に、車に埋め込まれた特別なソフトウェアが、センシング、制御、および計画モジュールからの生のセンサーデータとプログラム出力を記録します。シリアル車両はデータ収集に必要な正確なセンサーが不足している可能性があるため、開発プロセスでは、特別な車両を作成する必要がある場合があります。データを収集した後、マークアップされるデータのサンプルを作成するという難しいタスクが発生します。これには、特定の興味深いイベントを慎重に選択する必要があります。その後、データセットが企業に送信されます。マークアップに従事している（マークアップを節約するために、データセットのサイズを最小化することをお勧めします）。これには、ログ内の特定のエッジケースの検索が含まれる場合があります（高速道路を飛んでいるパケットなど）。また、センサーの構成を更新するときに、再収集とラベル付けが必要になる場合があります。







2:



マークアップは、自律運転アルゴリズムのトレーニングに必要な生データを準備する唯一の方法かもしれませんが、このアプローチの主な欠点は、十分にスケールアップするために必要な投資です。テストドライバーは、エッジケースを検出するために、数百または数千キロメートルを移動する必要がある場合があります。たとえば、Teslaには、100万台を超える生産車があり、さまざまな言語、さまざまな場所、データ検証など、すべて会社に代わって膨大な量のデータを収集しています。ほとんどのOEMには、そのようなデータセットを収集するのに十分な車両がありません。膨大な量の運転データが入手できたとしても、それでも保証はありません。このデータはデータセットで利用できること。この場合、このようなデータを収集するには、特別なキャンペーンを実施する必要があり、開発コストと時間枠が増加します。



別の側面は、特定の条件の可用性と可用性です。この記事を書いている時点で、米国は極端な気象条件を経験しています。空はオレンジ色になります（時には赤くなります）（図3）。これらの条件のある地域に車両がない場合、そのようなデータを収集するのに何年もかかります-極端な条件が再発するために。そうしないと、そのような条件のサンプルが提供されないため、データセットにバイアスがかかります。







図3：極端な状況は、自動運転車両のデータセットで予測およびキャプチャするのが困難です。出典：CBSニュース。



さらに、自動運転車両の開発者は常に新しい設計を探しており、データを効率的に処理するには重要なインフラストラクチャが必要になります。このデータに対する多くのクエリは、データにすでにタグまたはマークアップがあることを前提としています。問題は、この方法が以前に使用されたことがない場合、それらが存在しない可能性があることです。最後に、データのタグ付けのコストは非常に高く、データは手動でタグ付けされることがよくあります。エラーや不正確さの可能性が高くなります（たとえば、画像内で1台の車が別の車と重なっている場合）。

合成データの使用とその利点

合成データは、よりスケーラブルで正確な代替アプローチを提供します。合成データはシミュレーションから生成されますが、信頼できる情報（セマンティック車両ラベルまたは道路標識のテキスト）が正確に配信されます。シミュレーションでは、シーン内の各オブジェクトのアルベド、深度、後方反射、粗さに関する正確なデータを提供することもできます（図4）。さらに、オブジェクトにはピクセルマスクとセマンティックラベルがあります。これにより、センサーからのデータに手動でタグを付けることなく、注釈を自動的に作成できます。個々の注釈を生成するには、専用の実世界の抽出ソフトウェアが必要になる場合がありますが、新しいラベルクラスを作成して使用できるようにするのは1回限りの投資です。







4: . : , , , , .



合成データマークアップのもう1つの注目すべき利点は、世界中を旅して運に頼ることなく、同じシーンのさまざまなバリエーションを作成できることです。合成データを使用すると、開発者が関心を持つ特定のオブジェクトに焦点を当てることもできます。適切なアルゴリズムを設定すると、数百万の道路標識のバリエーションを数時間でシミュレートできます。これらのオプションには、さまざまな照明条件、オブジェクトの配置、さまざまな障害物や損傷（錆、油汚れ、落書き）が含まれる場合があります。したがって、合成データは、実世界から取得したデータを補完することができます。複合実世界イベントは、元のシーンの何千ものバリエーションが作成される開始点として使用できます。



地理的な観点からも多様性は重要です。個々の国で使用されている特定の変更を加えた外国の道路標識に対応するために、テスト車両はそれらの国に移動する必要があります。また、テストカーは特定の道路標識を見つけるために数百キロを移動することができますが、最終的には学校のバスによって半分ブロックされたことが判明しました。これらの問題はすべて、合成データセットを使用して必要なシーンを即座に作成することで回避できます（図5）。合成データに基づいてさまざまなシナリオを作成できるため、多くのエッジケースでアルゴリズムをテストできます（図6）。この投稿では、Kodiak Robotics（自動運転トラックを扱う）が合成シミュレーションを使用してアルゴリズムとテストをトレーニングする方法について説明します。KodiakDriverシステムがさまざまなエッジテストケースを適切に処理することを確認します。











図5：ヨーロッパと米国のさまざまな道路標識の例







図6：合成データの道路状況とマーキングの変更



もう1つの重要な使用例：センサーから収集したり手動で追加したりできない参照データサンプルを取得する。典型的な例は、1つまたは複数のレンズを備えたカメラからの正確な深度抽出です。実際のデータでは、個々のピクセルの深さはわかりません。また、正確に計算したり、手動でマークアップしたりすることはできません。

合成データの要件

センサーデータ



合成データマークアップが自律型車両のアルゴリズムのテストとトレーニングに役立つためには、シミュレートされたセンサーと注釈からのデータが特定の基準を満たしている必要があります。センサーモデリングに関する投稿で以前に書いたように、無人車両の開発に使用される人工センサーからの大規模なデータセットは、安価かつ迅速に（数日で）生成されるはずです。また、人工センサーは、特定のタイプのセンサーに固有の基本的な物理的原理を考慮してモデル化する必要があります。最も重要な要素は、作成されたモデルの精度のレベルです。可能性のギャップ（アルゴリズムが実際のデータと合成データをどのように異なる方法で認識するか）とデータ収集速度の間にはトレードオフがあります。このギャップは、シミュレートされるセンサーのタイプ、周囲のオブジェクト、および環境条件によって異なります。このギャップを定量化し、結果の推定値を使用して合成データを使用するための戦略を形成できることも非常に重要です。例として、リダーモデルが濡れた道路にどのように反応するかを示す図7を見てください。写真では、リダーが地上レベルで信号を返し、周囲の車両からスプレーするためにどのように反応するかを見ることができます。写真では、リダーが地面レベルのフィードバックと周囲の車両からのスプレーにどのように反応するかを見ることができます。写真では、リダーが地面レベルのフィードバックと周囲の車両からのスプレーにどのように反応するかを見ることができます。







7:







合成データを操作するときに発生するもう1つの重要な側面は、これらのメディアに含まれるさまざまなメディアと素材です。図8に示すように、環境は実際のマップとデータから迅速に生成する必要があります。このような環境を迅速に作成できるかどうかは、手続き型の生成手法によって異なります。世界中のあらゆる地理的領域をモデル化できることは、実際のデータに対する合成データのもう1つの驚くべき利点です。ただし、さまざまな場所を簡単に作成できますが、メソッドの構成が間違っていると、領域とデータが重複する可能性があります。現在、この分野で非常に重要な側面は、データの繰り返しと現実世界の多様性の反映との関係を見つけることです。多様性は、マクロレベル（ルートの1キロメートルのセグメントで路面がどの程度変化する可能性があるか）の両方で考慮に入れる必要があります。ミクロレベル（たとえば、環境のさまざまな材料がどのように異なる可能性があるか）。



物理的に信頼できる環境をレンダリングする際のマテリアルの重要性については、以前の投稿で説明しましたが、通常、これらのマテリアルを構成するテクスチャは実際の表面のスキャンです。生成されたデータに多様性を追加するためにこれらの材料の組み合わせとバリエーションを作成することは、トレーニングアルゴリズムとそれらのテストの両方で重要になる可能性があります。







図8：手続き的に生成された高品質の都市環境。



注釈



データ注釈の要件は、使用例とアルゴリズムの両方によって異なります。実世界から取得したデータ注釈のタイプを表1に示します。







表1：実世界のデータの注釈の種類



合成データの場合、収集されたデータに取り込むことができる同様の注釈を生成するために、はるかに信頼性の高い情報を利用できます。基になるデータもドット/ピクセルの精度で再現されます。最後に、センサーデータと注釈の両方を任意の参照フレーム（世界、システム自体、個別のセンサーなど）で処理できます。



表2は、モデリングによって生成されたデータの標準タイプの注釈を示しています。さらに、多くのフォーマットとデータタイプをさらにカスタマイズできます。







表2：合成データの注釈タイプ



これらの追加の参照データタイプをすべて使用すると、アルゴリズム開発が大幅にスピードアップします。利用可能なデータの規模、利用可能なデータの品質と量により、エンジニアはより迅速に意思決定を行うことができます。







図9：ピクセルパーフェクトな2Dボックスを示す注釈付き合成データ

---

• コントローラーの機能分離を備えたデュアル燃料エンジン用のロシア初のシリアル制御システム
• 現代の車では、コードの行数が...
• 自動車、航空宇宙、ロボティクス、エンジニアリングの無料オンラインコース（50歳以上）
• マッキンジー：自動車のエレクトロニクスソフトウェアとアーキテクチャを再考する