3D传感器在智能手机中起什么作用?解析中

我们越来越多地在智能手机中看到所谓的3D传感器或深度传感器。它们中的大多数也被称为ToF传感器,类似于同名的技术。据传言,这种传感器将被安装在新的iPhone中(在那里被称为LiDAR,我们在另一篇文章中对此进行了更详细的讨论)。这些传感器非常昂贵,但是并不是每个人都理解为什么需要它们。制造商声称,这些传感器使您可以拍摄出更好的照片和肖像,或者为增强现实添加芯片。但是真的是这样吗?





今天,我们将讨论为什么智能手机中需要3D传感器,其工作方式,当然,我们将进行一些测试并检查制造商的声明。



什么是3D传感器(深度传感器)



首先,让我们弄清楚什么是3D传感器?相机捕获周围世界到飞机上的投影。仅凭照片,就无法理解物体的真实大小-无论是瓶子的大小还是比萨斜塔的大小。而且到它的距离也很难理解。







为了了解照片中物体的实际大小,拍摄比例,以区分更接近相机的物体以及接下来的物体,需要3D传感器。长期以来,它们一直广泛用于机器人技术,自动运输,游戏,医学和许多其他地方。而且,我们的眼睛也是3D传感器。同时,与智能手机中的LiDAR和ToF传感器不同,眼睛是无源3D传感器。即,它不发射任何光,而仅基于入射光来工作。只有这样,我们才能以某种方式在空间中移动并与周围的物体互动。现在3D传感器已出现在智能手机中。



ToF如何工作?



iPad中的LiDAR以及Android智能手机中的所有3D传感器都是飞行时间或ToF传感器。它们确定到周围物体的距离,直接测量光线从相机传播到物体并返回所需的时间。这与山洞中的回声非常相似,在从墙壁反射回来后还会延迟返回。飞行1米的光需要3纳秒,而飞行1厘米需要30皮秒。一切似乎都很清楚。但是有一个问题。



这些间隔很小。相机如何测量?她不会每秒拍摄十亿帧,然后进行比较吗?解决此问题的方法主要有2种:dToF(直接ToF)和iToF(间接ToF)。更令人着迷的是:绝大多数Android智能手机仅使用iToF传感器,而Apple iPad以及即将推出的iPhone中的LiDAR则是dToF传感器家族的罕见代表。那么它们有何不同?



iToF-间接ToF







让我们从iToF开始。在这样的传感器中,发射器发送高频调制光,即,该光以每秒数千万次的频率不断地打开和关闭。由于光线需要时间才能飞向物体并返回,因此相位(即此状态在开和关之间的某个位置)的事实,返回相机的光线与发送时的光线相位略有不同。在传感器上,从对象返回的原始信号和反射信号相互叠加,因此,确定了相移,这使我们能够了解到对象每个点的距离。



dToF-直接ToF







dToF的工作方式略有不同。这些传感器直接测量发送光和检测光在传感器上的反射之间的时间差。为此,使用了所谓的SPAD:单光子雪崩二极管。它们可以检测到极小的光脉冲,实际上甚至可以捕获单个光子。这些SPAD位于传感器的每个像素中。作为这种传感器的发射器,通常使用所谓的VCSEL-垂直腔,表面发射激光器。这是一个激光发射器,类似于激光鼠标和许多其他地方使用的发射器。 LiDAR中的dToF传感器是与Sony合作开发的,并且是第一批量产的商用dToF传感器。



iPad为什么使用dToF传感器是每个人的猜测,但让我们重点介绍一下这种传感器的好处。首先,与iToF传感器不同,发射器不会发出坚固的光墙,而只会向不同的方向发光,从而节省了电池寿命。其次,由于所谓的多径干扰,dToF传感器不太容易出现深度测量误差。这是iToF传感器的典型问题。发生这种现象的原因是,光在进入传感器并使传感器的测量值失真之前,它们之间会发生反射。



我们弄清楚了它是如何工作的,现在让我们看看为什么3D传感器完全用于智能手机。



为什么智能手机需要它



1.安全







我们要归功于Apple和Face ID技术在智能手机中首次大规模引入3D传感器。使用三维数据的人脸识别比通过照片进行的经典人脸识别更加准确和可靠。对于Face ID,Apple使用结构化照明技术,我们将在下一次某个时候更详细地介绍该技术。



2. AR







大多数制造商声称,更好,更准确的增强现实模式是3D传感器的主要任务。而且,它也直接由Google支持。就在最近,他们提出了ARCore增强现实库的即将更新,该更新允许将虚拟对象更加真实地放置在现实中并与现实对象进行交互。



对于相同的任务,Apple已将LiDAR内置到iPad Pro中。这可以在没有3D传感器的情况下完成,但是所有操作都可以更准确,更可靠地进行,而且任务在计算上变得更加容易并减轻了处理器的负担。3D传感器将AR提升到另一个层次。



3.照片增强







三星和华为等多家制造商表示,3D传感器主要用于拍摄视频时更好的背景模糊和更准确的自动对焦。换句话说,它可以提高常规照片和视频的质量。



4.其他







一些智能手机可以公开访问传感器数据,因此越来越多的应用程序提供了新的应用程序。因此,例如,借助外部应用程序,可以将3D传感器用于对象测量,3D扫描和运动跟踪。甚至有一个应用程序允许您使用智能手机制作夜视设备。



测验



我们已经弄清了它在理论上是如何工作的,现在让我们看看它在实践中是如何工作的,以及旗舰店中这些昂贵的3D传感器是否有任何意义。为了进行测试,我们使用了Redmi Note 9S,它具有一个ToF传感器,并且以人像模式拍摄了几张照片,但是在第二种情况下,我们只是用手指覆盖了3D相机。这就是发生的事情。 很简单-如果ToF起作用,模糊实际上会更大更好。 为了实验的频率,我们选择了三星Galaxy S20 Ultra,它也配备了ToF相机。 并找到至少一个区别? 怎么了?事实是,根据制造商的不同,ToF相机的使用方式也不同,程度不同。



































可以说,一些智能手机制造商在其智能手机中放置ToF传感器不是为了营销,而是要添加另一个相机,而是为了以防万一。然后算法决定是否使用此相机? 同时,目前不需要LiDAR或ToF相机。所以这可能是更多的营销。










All Articles