稳定来自移动摄像机的视频，或如何将所有内容转换为固定坐标系

计算机视觉（CV）功能现在正在完全重塑公共安全解决方案的市场格局。尽管用传统的视频监控系统使每个人都不再感到惊讶，并且在任何公共场所都找不到它很奇怪，但是在这一领域使用AI仍然是一种新颖。

我们正在研究CV在各种公共安全业务任务中的应用。在这篇文章中，我们提供了一个选项，可以将视频从移动的摄像机转换为固定的坐标系以进行进一步的分析。

整个项目在GitHub上。

---

假设我们有某种视频，并且我们想为其建立一个固定的坐标系，以便评估对象之间的相对位置。

为什么需要这个？在公共监视任务中，经常需要用移动摄像机拍摄需要分析的视频。因此，在确定对象相对于彼此的位置时会出现一些问题：

• 目前尚不清楚是什么原因导致了对象坐标的变化：相机或对象本身正在移动；
• 当由于摄像机旋转而改变场景时，即使对象是静态的，不同的对象也可以获得相同的坐标。

图1-由于相机移动，相同的对象具有不同的坐标

为了建立固定的坐标系，您必须：

1. 确定坐标原点；
2. 比较两个连续的帧；
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

因此，我们获得了一个组件，该组件允许我们估计对象相对于彼此的实际位置，以将对象的坐标转换为相对于框架的固定系统。因为 在此解决方案中，最主要的是使用关键点评估飞机的变形，然后，如上所示，即使在恶劣的拍摄条件下（清晰的相机移动，恶劣的天气条件，夜间拍摄等），也可以解决任务。