单眼深度计

最近,FaceBook上有一篇有趣的文章,内容涉及如何使用单眼相机拍摄出色的3D。该文章在实践中不太适用。但是图像质量令人着迷:

考虑了这一点之后,我决定简短介绍一下文章的内容,现代技术的来龙去脉以及在实践中可以期望得到什么。


让我们从基础开始。拍摄3D的方法有几种:

  • 主动式3D相机(激光,投影,TOF)。我们辐射,我们测量。

  • 立体声相机。我们根据几何估计深度。

  • 单眼。我们使用经验或摄影机偏移来估计深度。

在本文中,我们将分解单眼。有什么困难?是的,在这里:

这张图片很好地描述了主要问题。即使是一个人也无法从一个角度估计深度,虽然有些可以,但是精度将不是很好,并且可能会出现很多错误。

他们如何处理呢?相机应移动且场景不应改变。可以组合该图像的算法称为“ SLAM”。逻辑大致相同(我对此进行了大致描述):

  • 在第一帧中,选择一组功能部件并将它们放在一个普通袋中。

  • 在每个新框架上,选择功能部件,并将其与包装袋中的功能部件进行比较。

  • - , -

2014 ( ):

. . . 

.

SLAM- . AR Core ARKit, . :

:

  • 3 ()

OpenSource COLMAP. , .

?

SLAM 3D:

彩色地图
colmap
LSD-SLAM
LSD-SLAM

?

. , - . , - .

. “ ”? . “ ”, , , . .

- . - . KITTY:

- .

3 “ ”, - , “ ”, “ ”. , .

- - Depth Estimation, “” - .

. , “ ”, .

MiDaS

MiDaS. , :

  • . , , , ...

  • + .

MiDaS :

. ? - :

, . :

  • ( )

  • ,

, , :

. SLAM . , .

. DELTAS

TSDF , . . :

, :

, , TSDF.

? 3D . iPhone’ :

Consistent Video Depth Estimation

, ? , . . “Consistent Video Depth Estimation”.

, , SLAM . :

-, () . - - . 4-5 10- . :

? . , colab   .

State-Of-Art . .

. , :

, , depth . , , depth - - , , . . - .

Monocular Depth . , , , , .

p.s.

/. - (, ). , , 2-3 - .




All Articles