Clever Geek Handbook

トランスポートでのオブジェクトビデオ分析

コンテンツの処理と処理を「エッジで」、つまりデータソース（カメラ）のすぐ近くで実行する必要があるタスクは多数あります。特に、これは、たとえば、トランスポートインフラストラクチャを最適化するプロジェクトのフレームワーク内でのオブジェクトビデオ分析のタスクにも当てはまります。



のは、いくつかの関節のロシアインテグレータからの解決策を検討してみましょうラルガグループとオブジェクトのビデオ分析システムの開発COMBOX技術を。



画像



仕事：



  1. 販売されたチケットの数を制御し、ルートのコンテキストでの輸送の混雑に関する統計を取得するためのバス上の乗客カウンターの実装。
  2. ドライバーコントロール（喫煙の検出と携帯電話の使用）。


条項：



  1. トラフィックを最小限に抑え、通信チャネルの不安定性と高コストのために、ニューラルネットワークの推論と「エッジでの」分析の実行。
  2. 異なる検出器の共同使用および個別使用の可能性（拡張性）。
  3. モバイル通信チャネルを介したさらなる処理のためのデータ送信。


解決策として、AAEON VPC-3350Sを選択しました。これは、このデバイスが私たちにとって重要な次の特性を備えているためです。



  • 内蔵LTEモジュール。
  • IntelMyriadXアクセラレータで拡張可能なVPU。
  • ハードウェアデコーダーとエンコーダーを使用してビデオストリームを処理できる統合IntelHD Graphics500。
  • スイッチを設置せずにネットワークカメラを直接接続するための複数のLANポート。
  • 広い動作温度範囲（-20 + 70）。


AAEON VPC-3350S

AAEONVPC-3350S



検出器を個別に適用する最初のケースを考えてみましょう。カーシェアリングの分野では、レンタカーのサロンでの喫煙に対する罰金の形ですでに罰則があります。罰金の額は会社によって5から15000ルーブルまで異なります。オブジェクトビデオ分析および煙検出センサーと比較して、センサーは混合物を喫煙するためのアークや他のデバイスを検出せず、車の窓が開いているときも実質的に鈍感です。しかし、これは違反の事実を否定するものではなく、したがって、契約に従った罰金の形での法的罰を否定するものではありません。



さらに、喫煙の検出や携帯電話の使用の事実/時間の検出など、いくつかのニューラルネットワークをカスケード接続して（順次）トランスポートに適用できます。テレマティックスの統合や車のCANバスへの接続など、車が動いているときにのみ電話の使用を追跡するなど、このようなシステムをさらに拡張する必要があることは明らかですが、これらはすでに統合の詳細です。



私たちが具体的に検出し、結果として得られるものの実例：



車両運転者の手にある携帯電話の検出



車内の喫煙検知



テレグラムでのボットのデモンストレーション（入力-スマートフォンのカメラまたはギャラリーからの写真、出力-確率）：





具体的には、AAEONVPC-3350SのバージョンにはIntelAtom x5E3940プロセッサが搭載されています。 Intel OpenVINOフレームワークが使用されているため、必要に応じて、Intel MyriadXを使用して拡張カードを追加でインストールし、ニューラルネットワークの推論を大幅な変更なしでVPUに転送できます。



CPU、iGPU（Intel HD）AAEON VPC-3350、VPU Intel Movidius、および他のメーカーのソリューションを含むさまざまなデバイスの推論速度（FP16）を見てみましょう：



CPU、iGPU（Intel HD）AAEON VPC-3350、VPU Intel Movidius、およびサードパーティソリューションを含むさまざまなデバイスでの推論速度（FP16）

CPU、iGPU（Intel HD）AAEON VPCを含むさまざまなデバイスの推論速度（FP16） -3350、VPU IntelMovidiusおよびサードパーティソリューション



したがって、Intel Atom x5 E3940プロセッサのiGPUグラフィックスでは、54 FPSが得られ、Intel MovidiusVPUデバイスを補完します（さらに45 FPS）。喫煙の検出には、15 FPS /カメラで十分です。これにより、1つのプロセッサグラフィックスで最大3つのスレッドを処理できます。推論のためのリソースの割り当てと使用に加えて、着信RTSPストリームをデコードする必要があることにも留意する必要があります。デコーダーテストを



AAEON VPC3350デコーダーテスト

見てみましょう。AAEONVPC3350デコーダーテスト



最大CPUおよびグラフィックス負荷で、15FPSで30個の720pストリームをデコードします。つまり、720pで450フレームを取得します。1080pの場合、これは約150フレームです。



車の共有に使用するキットの構成とデータ処理の主な手順を検討してください。



  1. 車には、イーサネット、PoEを搭載したIPカメラが装備されています（1つはドライバー用、2つはドライバー、乗客用）。
  2. , AAEON NVR 3350.
  3. .
  4. .
  5. ( ). . , , 50%, ( ).
  6. /.
  7. (10 ), . :

    • ,
    • .
    • 車両識別子（静的GUID）
    • カメラ番号（0、1）
    • イベントタイプ
  8. 3G / LTEが利用可能になったときのイベントデータは、請求操作のための既存のカーシェアリング情報システムと統合された中央データ処理サーバーに送信されます。


AAEON VPC-3350Sを使用する2番目のケースに戻りましょう-バスの乗客の検出とカウンター：







実行された作業の段階：



  1. 準備作業（カメラのテスト、焦点の長さの選択、問題の境界条件の設定）：

    • 焦点長が異なる複数のカメラから600フレームをマーキング
    • nVidia GPUでのニューラルネットワークトレーニング、10kステップ
    • 検証データセットに対するモデルのテスト
    • モデルをIntelOpenVINOに変換する
    • 検証データセットを使用してIntelOpenVINOで結果のモデルをテストし、変換前のモデルと品質と速度を比較します
    • , (, CPU, VPU)
  2. ( + )
  3. , 20 .
  4. nVidia GPU
  5. OpenVINO
  7. :

    • gstreamer/ffserver
    • (, , , )
    • mongoDB/PostgreSQL
    • REST API
  8. « »




直接、学習プロセス：乗客のトラフィックに関するレポートを表示するクライアント用のラルガグループの個人アカウントのインターフェイス







：



画像

乗客のトラフィックレポートを表示するクライアント用のラルガグループの個人アカウントのインターフェイス



乗客のトラフィックに関するレポートを表示するクライアントの個人アカウント



バス入口エリアの人を検出し、ゾーンにマークを付けるプロセス



カウンター操作アルゴリズム：



  1. RTSPストリームをフレームに分割する
  2. すべてのフレームでの頭部検出
  3. 軌道解析（移動中は頭をフレーム内に保持）
  4. 事前にマークされた3つのゾーンの交差シーケンスに基づく移動方向の分析
  5. 移動方向（入口/出口）を考慮して、ローカルデータベースにイベントを記録する
  6. RESTAPIを介してサードパーティの情報システムおよびレポートシステムへのアクセスを提供する


ニューラルネットワークの推論（データセンターでのデータの一部のエッジと処理）のハイブリッドソリューションが最初に想定されていたため、両方のアプローチの長所と短所を検討します：







したがって、集中処理でデータセンターのフローの最小コストを取得しますが、高品質で高速なチャネルの可用性に対する高い要件がありますコミュニケーション。エッジソリューションの場合-コストは高くなりますが、通信チャネルの要件は最小限であり、予約の要件はありません。


More articles:


All Articles