オブジェクトトラッキングがYOLOとDeepSortでどのように機能するか

オブジェクトトラッキングは、数十年にわたって研究および進化してきた非常に興味深い分野です。今日、この分野の多くの開発は深層学習に基づいています。これは、ニューラルネットワークが関数をより適切に近似できることが多いため、標準的なアルゴリズムよりも優れています。



しかし、オブジェクト追跡はどの程度正確に機能しますか？この問題には多くのディープラーニングソリューションがありますが、今日は一般的なソリューションとその背後にある数学について説明したいと思います。



したがって、この記事では、次のことについて簡単な言葉と式で説明しようと思います。

• YOLOは優れたオブジェクト検出器です
• カルマンフィルター
• マハラノビス距離
• ディープソート

YOLOは優れたオブジェクト検出器です

すぐに覚えておく必要がある非常に重要なメモを作成する必要があります-オブジェクト検出はオブジェクト追跡ではありません。多くの人にとって、これはニュースではありませんが、多くの場合、人々はこれらの概念を混乱させます。簡単に言うと、



オブジェクト検出は、画像/フレーム内のオブジェクトの定義にすぎません。つまり、アルゴリズムまたはニューラルネットワークがオブジェクトを定義し、その位置と境界ボックス（オブジェクトの周囲の長方形のパラメーター）を記録します。これまでのところ、他のフレームの話はなく、アルゴリズムは1つだけで機能します。



例：







オブジェクト追跡はまったく別の問題です。ここでのタスクは、フレーム内のオブジェクトを識別するだけでなく、オブジェクトを失わないように、またはオブジェクトを一意にするように、前のフレームからの情報をリンクすることでもあります。



例：







つまり、Object Trackerには、オブジェクトを判別するためのObject Detectionと、新しいフレームのどのオブジェクトが前のフレームのどれに属しているかを理解するためのその他のアルゴリズムが含まれています。



したがって、オブジェクト検出は追跡タスクで非常に重要な役割を果たします。



なぜYOLO？はい。YOLOは、オブジェクトを識別するための他の多くのアルゴリズムよりも効率的であると考えられているためです。YOLOの作成者からの比較のための小さなグラフを







次に示します。ここでは、YOLOv3-4が最新バージョンであり、以前のバージョンよりも効率的であるため、ここで見ていきます。

さまざまなオブジェクト検出器のアーキテクチャ

したがって、オブジェクトを定義するために設計されたいくつかのニューラルネットワークアーキテクチャがあります。それらは一般に、RCNN、高速RCNN、高速RCNNなどの「2層」と、YOLOなどの「1層」に分類されます。



上記の「2層」ニューラルネットワークは、特定のオブジェクトがその領域にあるかどうかを判断するために、図のいわゆる領域を使用します。



通常は次のようになります（リストされている2層システムの中で最も高速なRCNNの場合）。

1. 画像/フレームが入力に供給されます
2. フレームはCNNを介して実行され、機能マップを形成します
3. オブジェクトを見つける可能性が高い領域は、別のニューラルネットワークによって決定されます
4. 次に、RoIプーリングを使用して、これらの領域が圧縮されてニューラルネットワークに送られ、ニューラルネットワークが領域内のオブジェクトのクラスを決定します。

しかし、これらのニューラルネットワークには2つの重要な問題があります。全体像を見るのではなく、個々の領域だけを見るということと、比較的遅いということです。



YOLOの何がそんなにクールなのですか？このアーキテクチャには上から2つの問題がなく、その有効性が繰り返し証明されているという事実。



一般に、最初のブロックのYOLOアーキテクチャは、他の検出器と「ブロックのロジック」の点で大きな違いはありません。つまり、画像が入力に送信され、CNNを使用してフィーチャマップが作成されます（ただし、YOLOはDarknet-53と呼ばれる独自のCNNを使用します）。次に、これらのフィーチャマップは特定の方法で分析され（これについては後で詳しく説明します）、境界ボックスの位置とサイズ、およびそれらが属するクラスを示します。







しかし、ネック、密な予測、および疎な予測とは何ですか？



スパース予測については少し前に説明しました。これは、2層アルゴリズムがどのように機能するかを繰り返したものです。つまり、領域を個別に定義してから、それらの領域を分類します。



ネック（または「ネック」）は、予測の精度を高めるために（上の図に示すように）前のブロックとは別のレイヤーからの情報を集約するために作成された別のブロックです。これに興味がある場合は、「Path Aggregation Network」、「Spatial Attention Module」、「SpatialPyramidPooling」という用語をグーグルで検索できます。



そして最後に、YOLOを他のすべてのアーキテクチャと区別するのは、（上の写真では）DensePredictionと呼ばれるブロックです。これは非常に興味深いソリューションであり、YOLOがオブジェクト検出の効率のリーダーに侵入することを可能にしたため、もう少し焦点を当てます。



YOLO（You Only Look Once）は、画像を1回見るという哲学を持っており、この1回の表示（つまり、1つのニューラルネットワークを介した画像の1回の実行）で、必要なすべてのオブジェクト定義を作成します。これはどのように起こりますか？



したがって、YOLOの作業からの出力では、通常、これが必要です。







データから学習するときにYOLOは何をしますか（簡単な言葉で）：



ステップ1：通常、画像はニューラルネットワークをトレーニングする前に、416x416のサイズに再形成され、バッチでフィードできるようになります（学習を高速化するため） ）。



ステップ2：（現在の精神のために）ピクチャを分割サイズの細胞内へのA X 、A。 YOLOv3-4では、13x13サイズのセルに分割するのが通例です（わかりやすくするために、後でさまざまなスケールについて説明します）。







次に、画像/フレームを分割したこれらのセルに注目しましょう。グリッドセルと呼ばれるこれらのセルは、YOLOのアイデアの中心です。各セルは、境界ボックスが接続されている「アンカー」です。つまり、オブジェクトを定義するためにセルの周囲にいくつかの長方形が描画され（長方形が最適な形状が明確でないため、一度に複数の異なる形状で描画されます）、それらの位置、幅、および高さは、このセルの中心を基準にして計算されます。







これらのバウンディングボックスはケージの周りにどのように描かれていますか？それらのサイズと位置はどのように決定されますか？ここで、アンカーボックス手法（翻訳ではアンカーボックス、または「アンカー長方形」）が役立ちます。これらは、ユーザー自身が最初に設定するか、YOLOがトレーニングするデータセット内のバウンディングボックスのサイズに基づいてサイズを決定します（K-meansクラスタリングとIoUを使用して最適なサイズを決定します）。通常、1つのセルの周囲（または内部）に描画される3つの異なるアンカーボックスがあり







ます。これはなぜ行われるのですか？ YOLOがどのように学習するかについて話し合うときに、これで明らかになります。



ステップ3.データセットの画像は、ニューラルネットワークを介して実行されます（トレーニングデータセットの画像に加えて、オブジェクトの実際の境界ボックスの位置とサイズが必要です。これは「注釈」と呼ばれ、ほとんどが手動で行われます。 ）。



次に、出力で何を取得する必要があるかを考えてみましょう。



各セルについて、2つの基本的なことを理解する必要があります。

1. ケージの周りに描かれた3つのアンカーボックスのどれが私たちに最も適していますか、そしてそれがオブジェクトにうまくフィットするようにそれを少し微調整するにはどうすればよいですか？
2. このアンカーボックスの中にあるオブジェクトは何ですか？

では、YOLOの出力はどうあるべきでしょうか？



1.各セル







の出力で、次の情報を取得します。2。出力には次のパラメータを含める必要があります。







オブジェクト性はどのように決定されますか？実際、このパラメーターは、トレーニング中にIoUメトリックを使用して決定されます。 IoUメトリックは、次のように機能します。







最初に、このメトリックのしきい値を設定できます。予測された境界ボックスがこのしきい値を超えている場合、オブジェクト性は1に等しくなり、オブジェクト性が低い他のすべての境界ボックスは除外されます。特定の各オブジェクトの全体的な信頼スコア（必要なオブジェクトが予測された長方形の内側にあると確信できる程度）を計算するときに、このオブジェクト性の値が必要になります。



そして今、楽しみが始まります。私たちがYOLOの作成者であり、フレーム/画像内の人々を認識するように彼女をトレーニングする必要があると想像してみましょう。データセットからYOLOに画像をフィードします。YOLOでは、最初に特徴の抽出が行われ、最後に、画像を「分割」したすべてのセルについて通知するCNNレイヤーが取得されます。そして、このレイヤーが画像内のセルについての「嘘」を示している場合は、大きな損失が必要です。これにより、後で次の画像がニューラルネットワークに送られるときに損失を減らすことができます。



非常に明確にするために、YOLOがこの最後のレイヤーを作成する方法の非常に単純な図があります。







写真からわかるように、このレイヤーは、写真の「各セル」について説明するために、13x13（写真の場合、元のサイズは416x416）です。この最後のレイヤーから、必要な情報が取得されます。



YOLOは5つのパラメーターを予測します（特定のセルのアンカーボックスごとに）：







理解しやすくするために、このトピックに関する優れた視覚化があります。







この写真から理解できるように、YOLOのタスクは、写真内のオブジェクトを可能な限り正確に決定するために、これらのパラメーターを可能な限り正確に予測することです。また、予測された境界ボックスごとに決定される信頼スコアは、完全に不正確な予測を除外するための一種のフィルターです。予測された境界ボックスごとに、そのIoUにこれが特定のオブジェクトである確率を乗算し（確率分布はニューラルネットワークのトレーニング中に計算されます）、可能な限り最高の確率を取り、乗算後の数が特定のしきい値を超えた場合、この予測を残すことができます写真のバウンディングボックス。



さらに、信頼スコアの高い境界ボックスのみを予測した場合、予測（視覚化されている場合）は次のように







なります。NMS（非最大抑制）手法を使用して、次のような方法で境界ボックスを除外できるようになりました。 1つのオブジェクトのうち、予測される境界ボックスは1つだけでした。







また、YOLOv3-4は3つの異なるスケールで予測されることも知っておく必要があります。つまり、小さなオブジェクトも表示するために、画像は64グリッドセル、256セル、および1024セルに分割されます。セルのグループごとに、アルゴリズムは、上記で説明した予測/学習中に必要なアクションを繰り返します。



YOLOv4では、速度をあまり落とさずにモデルの精度を高めるために多くの手法が使用されています。しかし、予測自体については、高密度予測はYOLOv3と同じままでした。速度を落とさずに精度を上げるために作者が魔法のように何をしたのか疑問に思っているなら、YOLOv4について書かれた優れた記事があります。



YOLOが一般的にどのように機能するか（より正確には、最後の2つのバージョン、つまりYOLOv3とYOLOv4）について少しお伝えできたと思います。これにより、将来このモデルを使用したいという願望が目覚め、その動作についてもう少し学ぶことができます。



オブジェクト検出におそらく最適なニューラルネットワーク（速度/品質の観点から）がわかったので、最後に、特定のYOLOオブジェクトに関する情報をビデオフレーム間で関連付ける方法に移りましょう。前のフレームの人が新しいフレームの人と同じであることをプログラムはどのように理解できますか？

ディープソート

このテクノロジーを理解するには、最初にいくつかの数学的な側面を理解する必要があります-マハロノビス距離とカルマンフィルター。



マハロノビス距離



マハロノビス距離とは何か、なぜそれが必要なのかを直感的に理解するための非常に簡単な例を考えてみましょう。多くの人はおそらくユークリッドの距離が何であるかを知っています。通常、これはユークリッド空間のあるポイントから別のポイントまでの距離











です。X1とX2の2つの変数があるとします。それらのそれぞれについて、私たちは多くの次元を持っています。







ここで、2つの新しい次元があるとしましょう。







これらの2つの値のどちらが私たちの分布に最も適切であるかをどのように知ることができますか？すべてが目には明らかです-ポイント2は私たちに適しています。しかし、平均までのユークリッド距離は両方の点で同じです。したがって、平均までの単純なユークリッド距離は私たちにとってはうまくいきません。



上の写真からわかるように、変数は互いに非常に強く相関しています。それらが互いに相関していなかったり、相関がはるかに少ない場合は、目を閉じて特定のタスクにユークリッド距離を適用できますが、ここでは相関を修正して考慮する必要があります。



マハロノビスの距離はこれにちょうど対処します。通常、データセットには3つ以上の変数があるため、相関の代わりに共分散行列を使用します。







マハロノビス距離が実際に行うこと：

• 可変共分散を取り除く
• 変数の分散を1に等しくします
• 次に、変換されたデータに通常のユークリッド距離を使用します。

マハロノビス距離の計算方法の式を見てみましょう。式







の構成要素の意味を見てみましょう。

1. この違いは、新しいポイントと各変数の平均の違いです。
2. Sは、少し前に説明した共分散行列です。

非常に重要なことは、式から理解できます。実際、私たちは逆共分散行列を掛けています。この場合、変数間の相関が高いほど、距離が短くなる可能性が高くなります。これは、大きい方の逆数、つまり小さい数（簡単な言葉の場合）を掛けるためです。



線形代数の詳細についてはおそらく触れません。理解する必要があるのは、変数の分散とそれらの間の共分散を考慮に入れるような方法でポイント間の距離を測定することだけです。



カルマンフィルター



これが非常に多くの分野に適用できるクールで実績のあるものであることを理解するには、1960年代にカルマンフィルターが使用されたことを知っていれば十分です。はい、はい、私はこれをほのめかしています-月への飛行。往復の飛行経路での作業を含む、いくつかの場所で適用されています。カルマンフィルターは、金融市場の時系列分析、工場、企業、その他多くの場所のさまざまなセンサーのインジケーターの分析にもよく使用されます。少し興味をそそられたと思います。カルマンフィルターとその仕組みについて簡単に説明します。また、Habréについて詳しく知りたい場合は、Habréに関するこの記事を読むことをお勧めします。

DeepSORT-ついに！

これで、カルマンフィルターとマハロノビス距離が何であるかがわかりました。 DeepSORTテクノロジーは、あるフレームから別のフレームに情報を転送するために、これら2つの概念を単純にリンクし、外観と呼ばれる新しいメトリックを追加します。まず、オブジェクト検出を使用して、1つの境界ボックスの位置、サイズ、およびクラスが決定されます。次に、原則として、ハンガリーのアルゴリズムを適用して、特定のオブジェクトを、以前にフレーム上にあり、カルマンフィルターを使用して追跡されたオブジェクトIDに関連付けることができます。これにより、元のSORTと同様に、すべてが優れたものになります。..。ただし、DeepSORTテクノロジーを使用すると、たとえば、フレーム内の1人の人が別の人を一時的に妨害し、妨害された人が新しいオブジェクトと見なされる場合に、検出精度を向上させ、オブジェクト間の切り替え回数を減らすことができます。彼女はどうやってそれをしますか？



彼女は彼女の作品にクールな要素を追加します-フレームに現れる人々のいわゆる「外観」（外観）。この外観は、DeepSORTの作成者によって作成された別のニューラルネットワークによってトレーニングされました。彼らは、神経ネットワークを正しく予測させるために、1000人以上の異なる人々からの約110万枚の写真を使用しました元のSORTには問題があります-オブジェクトの外観はそこで使用されていないため、実際には、オブジェクトが複数のフレーム（たとえば、別の人や建物内の列）をカバーしている場合、アルゴリズムはこの人に別のIDを割り当てます-結果としてこれにより、元のSORT内のオブジェクトのいわゆる「メモリ」はかなり短命です。



そのため、オブジェクトには2つのプロパティがあります。動きのダイナミクスと外観です。ダイナミクスの場合、カルマンフィルターを使用してフィルター処理および予測されるインジケーターがあります-（u、v、a、h、u '、v'、a '、h'）、ここでu、vは予測された長方形のX位置であり、 Y、aは予測された長方形のアスペクト比、hは長方形の高さ、および各値に関する導関数です。外観については、次の構造を持つニューラルネットワークがトレーニングされました。







そして最後に、128x1のサイズの特徴ベクトルを生成しました。そして、YOLOを使用して特定のオブジェクトと、フレーム内で既に追跡したオブジェクトとの間の距離を計算し、マハロノビス距離を使用して特定のIDを割り当てる代わりに、著者は距離を計算するための新しいメトリックを作成しました。カルマンフィルターと「コサイン距離」を使用した両方の予測。別の言い方をすれば、オティアイ係数です。



その結果、特定のYOLOオブジェクトからKalmanフィルターによって予測されたオブジェクト（または前のフレームで観察されたオブジェクトの中にすでに含まれているオブジェクト）までの距離は次のようになります。







ここで、Daは外部類似距離、Dkはマハロノビス距離です。さらに、このハイブリッド距離は、既存のIDを持つ特定のオブジェクトを正しく並べ替えるために、ハンガリーのアルゴリズムで使用されます。



したがって、単純な追加メトリックDaは、多くの問題で使用され、オブジェクト追跡問題で非常に人気のある、新しいエレガントなDeepSORTアルゴリズムの作成に役立ちました。



最後まで読んだ人たちのおかげで、記事はかなり重いことがわかりました！何か新しいことをお話しし、オブジェクトトラッキングがYOLOとDeepSORTでどのように機能するかを理解するのに役立つことを願っています。