移動するカメラからのビデオの安定化、またはすべてを固定座標系に変換する方法

Computer Vision（CV）機能は、現在、公共安全ソリューション市場の展望を完全に変えています。従来のビデオ監視システムで誰もが驚くことはもはや容易ではなく、公共の場所でそれを見つけられないのは不思議ですが、この分野でのAIの使用はまだ目新しいものです。

私たちは、さまざまな公安ビジネスタスクへのCVの適用を調査しています。この投稿では、移動中のカメラからのビデオを固定座標系に変換してさらに分析するオプションを提供します。

プロジェクト全体がGitHubにあります。

---

ある種のビデオがあり、オブジェクトの相対的な位置を評価するために、そのビデオの固定座標系を構築したいとします。

なぜこれが必要なのですか？公共監視のタスクでは、分析が必要なビデオが移動カメラで撮影されることがよくあります。このため、オブジェクトの相対的な位置を決定する際にいくつかの問題が発生します。

• オブジェクトの座標が変化した原因は明らかではありません。カメラまたはオブジェクト自体が動いています。
• カメラの回転によってシーンを変更すると、オブジェクトが静的であっても、異なるオブジェクトが同じ座標を取得する可能性があります。

図1-カメラの動きにより、同一のオブジェクトの座標が異なる

固定座標系を構築するには、次のことを行う必要があります。

1. 座標の原点を決定します。
2. 2つの連続するフレームを互いに比較します。
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

したがって、オブジェクトの相互の実際の位置を推定して、オブジェクトの座標をフレームに対する静止システムに変換できるコンポーネントを取得します。なぜなら このソリューションでは、キーポイントを使用して平面の変換を評価することが主な目的であり、上記のように、撮影条件が悪い場合（カメラの動きが鋭い、気象条件が厳しい、夜間の撮影など）でも問題を解決できます。