汽车 3D 传感应用为什么选用飞行时间（TOF）技术？

飞行时间 (ToF) 技术在汽车内部和外部传感应用领域的发展势头非常迅猛。我们将 ToF 与其他 2D/3D 传感技术的优势进行了比较，以帮助您针对特定用例作出正确的选择。

内部传感应用

在安全性需求、舒适性要求以及自动驾驶快速发展的推动下，飞行时间 (ToF) 技术在车内的应用迅速增加。最新的系统主打驾驶员和乘客传感功能，可以感应其生物力学和认知状态，以及实现车内监控。
安全功能的应用包括 NCAP 规定的驾驶员疲劳检测功能，以及乘员/儿童座椅检测，可以实现更精确的安全气囊控制。使用 ToF 摄像头，还可以实现其他一些安全功能，例如手握方向盘检测、视线、头部姿势、身体姿势检测和高级安全带应用。
ToF 可以实现的舒适功能包括用于操作天窗、空调和收音机的手势交互（直观的人机界面）；通过身体、头部和面部监控实现的个性化；监测遗留在车上的物品；以及包裹的分类和识别等。车内安全功能一般主要是防伪面部检测，用于实现可靠的驾驶员识别以及在途支付授权。

图 1.汽车内部和外部主要应用一览

外部传感应用

纵观 ToF 技术的外部传感应用，随着自动驾驶市场规模的不断扩大，作为传统 2D 相机技术的补充，RADAR、LiDAR、双目相机、热感相机、短波红外相机和/或 ToF 摄像头等技术的应用日益广泛。可通过使用一系列传感器，解决汽车环境中可能出现的“盲点”。ToF 技术的外部用例包括近距离 ADAS 外部保护和高级泊车辅助。 

图 2.现代汽车中使用的辅助性距离传感和 3D 技术。

ToF 与其他可用的外部传感技术相比有何优势？又如何与这些技术相辅相成？以下是此类技术前景的基本概述。简要介绍了各种技术的运行原理和优缺点，并就各种技术最适合的应用给出了建议。首先，我们需要了解飞行时间技术（TOF）的基础知识。
关于定义的说明
根据所讨论的相关背景或行业，LiDAR 和飞行时间技术（TOF）经常被广泛使用和/错误使用。在最常见的传感领域，LiDAR 技术涵盖所有不同的飞行技术原理，不管是直接还是间接 ToF。因此，就本文所介绍的 Melexis 产品而言，LiDAR 特指 LiDAR 扫描技术（根据下文的定义）。飞行时间一般是指通过光的往返时间测量距离的原理，但对于 Melexis 而言，飞行时间指的是连续波飞行时间，这一点也会在下文进行介绍。

光学飞行时间 (ToF)

TOF传感技术能够从 3D 角度检测人员和物体以及其绝对位置、移动和形状。光学 ToF 系统使用主动红外线照明技术。此照明光源为 LED 或 VCSEL（垂直腔面发射激光器），通过光束整形光学元件照明场景。当光从场景反射回来后，ToF 摄像头将记录反射光，并测量所经过的时间或相移。然后，根据光的总飞行时间（按照光速）计算距离，这就是“飞行时间”一词的由来。
目前使用的 ToF 方法一般有直接法和间接法两种。

直接式 ToF (dToF)

直接式 ToF，又称 dToF，因传感器通过一种非常准确的时基来直接测量时间而得名。LiDAR 就是 dToF 的一个例子。由于短程准确性受内部计时微小波动的影响，大多数 LiDAR 都支持中程或远程 (>100m)。dToF 的电子元件非常复杂，不能很好地进行扩展以实现更高的分辨率。可采用扫描技术（机械、MEMS 等）来提高 LiDAR 的分辨率。

间接式 ToF (iToF)

另一种方法是间接式 ToF，又称 iToF，因为传感器测量的是周期性参考信号与从被测物体接收的反射之间的相移。iToF 对内部计时的偏移不太敏感，更适合较短的距离。间接式 ToF 有两种不同的方法；栅极 ToF (gToF)和连续波 ToF (cwToF)。
Melexis 解决方案基于连续波 ToF (cwToF) 方法，因为这种方法可通过 CMOS 图像传感器技术实现。cwToF 传感器在较大的温差范围内表现更为稳定（线性），在整个使用寿命及各种温度下更不易受到光脉冲变化的影响。
一流的汽车级 cwToF 传感器可以高帧率（超过 100 fps）实时生成 VGA 分辨率（640 x 480 像素）的 2D 和 3D 视频。在日光强烈的环境中，Melexis cwToF 技术的表现尤其可靠。

ToF 传感器输出数据

cwToF 以独特方式结合高分辨率深度和幅度（灰度）映射，可满足许多内部传感应用的需求。根据3D 深度差异进行分类，而而无需前景和背景之间存在颜色或灰度对比即可在许多复杂的应用中识别人员和物体。
ToF 摄像头可同时提供两个输出。第一个是深度图像视频流。在评估阶段，这些视频流通常显示为伪彩色图像（其中彩色代表深度）或点云。在产品应用中，视频流由检测算法和/或神经网路进行处理。第二个流提供代表反射信号强度的幅度图像，又称置信度图像。

图 3.车内使用 Melexis cwToF 进行记录的示例。左：3D 深度视频流。右：幅度/置信度近红外 2D 视频流，不受日光影响。

内部传感的 ToF 和视觉技术展望

Melexis 首款基于 ToF 的 3D 系统于 2015 年开始在汽车领域进入量产。该系统安装在顶部模块上，提供 QVGA 分辨率（320 x 240 像素）和较窄的视野。其主要功能是检测手势，用于操作信息娱乐功能。2019 年，汽车上使用的 Melexis ToF 传感器数量突破百万大关。 首批用于检测驾驶员疲劳的驾驶员监测系统 (DMS) 一般均采用传统的 2D 摄像头。 当应用需要高距离精度时， ToF 具有明显的优势。一般而言，ToF 传感器的图像处理深度精度比 2D 摄像头视频流要高。例如，在一米距离内，内部传感 ToF 系统利用一个 VCSEL 通常可实现 1%（也就是 1 cm）的距离精度。多个来源报告显示，目前的汽车 2D 摄像头无法达到这种精度。 此外，在提取深度信息方面，基于 ToF 系统所需的图像处理资源比 2D 系统要少，因此类似的检测算法可以依靠更小的处理器运行。 阳光鲁棒性是 ToF 系统的另一项潜在优势。2D 和 3D ToF 摄像头都通过滤光片实现日光抑制，除此之外，ToF 摄像头还采用了一项额外的日光抑制技术：ToF 像素读出。这是一种差模读出技术，可拒绝“稳定的光学干扰，例如未调制的日光。这种日光不变性可改善检测的稳定性，并简化检测和分类算法的开发，进而缩短算法的开发周期和/或减小人工智能深度学习的训练集规模。

外部传感的 ToF 和 3D 视觉技术展望

图 4.不同技术之间的比较。

2D 摄像头

业内广泛采用 2D 摄像头技术实现汽车视觉和传感。它们构成了高级驾驶员辅助系统 (ADAS)、全景影像系统 (SVS) 和驾驶员监测系统 (DMS) 的基础。结合使用红外照明技术，可以在夜间工作。2D 摄像头依靠强大的处理器、算法和神经网络处理这些图像。大部分OEM 在自动驾驶汽车上使用摄像头，通常与 RADAR、LiDAR 或其他技术结合使用。使用哪种传感器组合及需要多少颗传感器来实现“自动驾驶”的安全性，目前尚处于激烈的争论之中。
立体视觉需要使用两个摄像头来实现，它们需要根据彼此的相对位置准确放置。将这两个来源的图像相关联，可以生成深度图。这种关联的实现取决于多种因素，如观测场景中的照明情况和存在结构。

RADAR

RADAR（无线电检测与测距）使用无线电波检测一定距离内的物体，并确定其速度和倾向。数十年来，业界一直使用这种技术准确计算各类车辆的位置、速度和方向。许多现代汽车使用 RADAR 在高级巡航控制 (ACC) 和自动紧急制动 (AEB) 等功能中实现危险检测和测距。这些技术依靠来自多个 RADAR 传感器的信息（通过车载电脑来解读）来识别车辆或危险物的距离、方向和相对速度。与 ToF 和 2D 摄像头不同，RADAR 几乎不受恶劣天气情况的影响，能够在黑暗、潮湿或有雾的条件下可靠地工作。当前的 24 GHz 传感器分辨率有限，图像模糊不清，随着更准确的 77 GHz RADAR 传感器的推出，这一问题将迎刃而解。
RADAR 和 ToF 应视为互补性的技术。ToF 使用激光器发出的红外光作为照明源，而 RADAR 则使用无线电波。每种技术都有自己的极端状况。相比之下，RADAR 的检测距离更长，在恶劣天气下的表现更好。ToF 的检测距离较短，但不受反射影响（例如在城市环境中），具有更高的分辨率和距离精度。因此，这些技术各有所长，实际上成为关键应用的补充。

LiDAR

LiDAR（光检测与测距），又称 3D 激光扫描，与 RADAR 的工作原理相似，但与无线电波不同，发射的是快速激光信号，有时高达每秒 150,000 次脉冲，这些脉冲会从障碍物反射回。传感器会测量每个脉冲来回所需的时间（请参见“直接式 ToF”一节）。LiDAR 的优点包括准确性和精度。可以为自动驾驶汽车提供较远距离内周围事物的 3D 图像。LiDAR 与摄像头相比极其准确，因为激光器不会受阴影、日光或其他汽车前灯光线的影响。缺点包括成本高、尺寸大，存在干扰和干涉，在雾、雪和雨天的穿透能力有限。另外，LiDAR 不提供摄像头通常所看到的信息，例如标牌上的文字或者交通信号灯的颜色。
与 RADAR 一样，LiDAR 是间接式 ToF 的补充性技术。与 ToF 相比，高分辨率（扫描）LiDAR 的检测距离更长，但价格更昂贵。而低分辨率固态闪存 LiDAR 的检测距离仍然比 ToF 更长，但分辨率和深度精度通常较低。

超声波

超声波传感器可发出短的超声波脉冲，遇到障碍物会反射回来。随后会接收并处理回声信号。超声波传感器在雾、雨、雪等恶劣天气以及弱光条件下表现出色，且价格相对并不昂贵。缺点包括反应时间长、视野有限，比 LiDAR 的精度要低。另外，超声波传感器的极端状况包括检测快速移动的小物体或多个物体。
在外部保护和自动泊车应用中，ToF 具有取代超声波传感器的潜力。这主要凭借的是飞行时间传感器的高分辨率和高检测速度，此类传感器可以解决超声波传感器的许多极端状况。但遗憾的是，ToF 传感器的体积一般较大。这可以通过使用少数 ToF 传感器覆盖较大的范围来弥补。

FIR

FIR（远红外）摄像头，又称热感摄像头，可以收集来自物体、人员和周围事物的热辐射。通过感应远超可见光的红外光谱，FIR 摄像头可以访问不同于其他传感技术的电磁波谱波段。因此可以生成一种新信息，使车辆能够检测到摄像头、RADAR 或 LiDAR 不易察觉的物体。FIR 摄像头适用于大多数环境条件。但是，它无法提供距离或景深信息，而是提供热成像阵列信息（2D 视频流）。可以轻松检测到生物，但对温度与背景相同的静态物体的检测能力则有所欠缺。FIR 和 ToF 属于互补性技术，不存在竞争关系。

结论

从本文简洁的概述中可以看出，自动驾驶汽车需要综合运用多种传感技术才能完成人类驾驶员的操作，并且需要以重叠和互补的方式使用各种技术。光学飞行时间技术就是其中之一，最近问世的 ToF 传感器将最终定义面向未来的自动驾驶体验，满足内部传感用例和外部保护应用的各种需求。
Melexis 处于此类技术开发的前沿，充分证明了连续波 ToF 对于各类车内应用的适当性。我们设计并制造了首款满足车规要求的 ToF 传感器，已于 2015 年投入量产。短短四年后，我们的 ToF 3D 摄像头 IC 在汽车上的采用量已突破百万大关，证明了此技术在汽车行业的应用已臻成熟。