摘要

    毫米波雷达在自动驾驶领域有着广泛的应用。自2022年开始，各大汽车厂商和科技公司纷纷推出了基于4D毫米波雷达技术的设备和汽车解决方案，我司汽车电子产品线也布局其中。中研数智天津算法团队通过前期与汽车电子产品线的良好合作，有幸参与到其中，主要承担基于毫米波雷达和视觉的感知算法研发工作。

    数据的质量对感知模型的能力有着至关重要的影响，而搭建完善的数据采集系统需要较长的时间，特别是4D毫米波雷达处于新兴阶段，可采购到的器件非常少。为保证算法预研工作能顺利展开，团队对学界公开的毫米波雷达数据集做了全面的探索，本文将对几个主要的数据集进行介绍。

1 3D毫米波雷达数据集

    3D毫米波雷达通过对电磁波进行不同维度的多普勒解算，可以得到目标的距离、角度以及径向速度信息。经过极坐标系到笛卡尔坐标系的转换，可以得到“毫米波雷达点云”的表现形式,如图1所示。

Fig.1 3D点云示意图[1]

    3D毫米波凭借其高性价比、抗天气干扰等优势，已普遍用于自适应巡航、碰撞预警等L2级自动驾驶方案中。近年来，随着融合感知方向的研究成果不断涌现，“毫米波雷达+视觉”的配置普遍被研究人员看好，认为其具备代替激光雷达的潜力，从而大大降低自动驾驶硬件成本。这里我们主要介绍nuScenes[2]和RadarScenes[3]数据集。

2 nuScenes

    nuScenes数据集共包含1000个场景，每个场景持续20秒，包含多个车道，行人车辆以及不同路况和交通事件，是自动驾驶领域最著名的公开数据集之一。

2.1 传感器配置

Fig.2 nuScenes传感器配置[4]

    nuScenes采集设备的配置如图2所示。主要的传感器包括： 

• 1个32线激光雷达(Velodyne HDL32E)，频率20Hz，1.39M 点云/秒;
• 5个77GHz长距离毫米波雷达(Continental ARS 408-21)，频率13Hz；
• 6个摄像头(Basler acA1600-60gc)，分辨率1600x1200，频率12Hz；
• 一套IMU及GPS。

    由上述配置可以看出，nuScenes数据集具有三大优点： 

1. nuScenes的传感器配置更接近于量产车的配置；
2. 有完整的毫米波雷达数据，包括前雷达和角雷达，有效降低盲区，对于毫米波雷达算法研究非常友好；
3. nuScenes提供了360°的环视数据，相对来说一般数据集只提供前向视觉。我们知道，特斯拉在纯视觉感知方向的成功，引起了产学界的广泛关注，“BEV感知”方向越来越火热，而nuScenes的传感器配置刚好可以提供匹配的数据，这也导致越来越多的优秀成果基于nuScenes数据集上产生。

    但nuScenes也有一个不足，就是激光雷达的分辨率较低，这使得目前主流的激光雷达感知算法性能受限，在从KITTI等其他数据集迁移过来时，性能会打折扣。

2.2 毫米波雷达数据分析

    经过分析，我们发现nuScenes的毫米波雷达数据，对于多传感器的融合算法有一定的辅助作用，但在纯毫米波算法方面有它的短板。

    对于前一个问题，我们改造了在当时较为主流的纯视觉模型，通过简单的特征融合技术加入毫米波雷达数据，对比检测任务的性能变化。我们发现，在主要的目标类（小汽车、行人、自行车）上，AP均有一定程度的提升，如图3]所示：
 

Fig.3 在纯视觉模型上引入毫米波雷达信息的测试结果

    对于后一个问题，我们对毫米波数据的密度以及分布情况做了分析。密度方面，我们发现nuScenes的毫米波雷达点云密度非常稀疏，无论是对比其他毫米波雷达数据集，还是对比团队使用相同型号雷达采集的数据。

Fig.4 RadarScenes数据集点云[5]

 

Fig.5 团队自己采集的雷达点云数据

    nuScenes的点云密度情况参考图1，其中灰色背景是激光雷达数据，红色点为毫米波雷达数据，我们可以从激光雷达的点云大致了解采集的环境信息；图4为RadarScenes数据集，下方为radar点云鸟瞰图，上方为场景照片；图5为团队自己于上海某地采集的道路数据，左侧为图像信息，右侧为点云信息，其中前向雷达使用了和nuScenes相同的型号。

    可以看到，在场景基本类似的前提下，nuScenes数据集的radar点云密度明显低于后两者，具体造成这种情况的原因，有文献大致提到是因为雷达数据接口的问题，但真实原因还不得而知。我们知道，点云的密度直接影响到刻画轮廓和空间位置的能力，如果雷达点云数量过低，打到目标上只有几个甚至一两个点，仅凭这一种数据就无法有效感知目标。

    数据分布方面，我们对命中各分类的点云数量也做了统计，由表6所示：

Fig.6 nuScenes毫米波雷达数据命中目标框分布统计

• 分类数不均衡，汽车类的目标数明显多于其他分类，行人目标也较为丰富，其他类型的路面目标相对较少，如果不引入其他技术，通常模型在这些分类上识别会相对较差;
• 大多数的目标，命中的雷达点极少，行人自行车90\% 只有3个点，无法形成非常有效的特征，而路面上的一些小目标，比如锥桶，往往只有一个点，很容易和噪声相混杂，无法区分，而这些目标往往对安全驾驶非常重要。

2.3 小结

    综上可以看到，nuScenes数据集包含丰富的场景和相对充足的样本量，是进行融合感知算法研究的优选数据集之一；但对于纯毫米波雷达算法的探索，受限于硬件本身的采集情况以及数据分布问题，如果要研发满足量产要求的算法，还需要其他更高质量的数据集做补充。

3 RadarScenes

    RadarScenes数据集是一个专业的毫米波雷达数据集，由奔驰、大陆等德国著名的汽车及零部件公司的研发人员联合制作。和学界公开的数据集不同，由于其车企的背景，因此数据采集更符合实际场景，应用场景更为聚焦。

3.1 传感器配置

Fig.7 RadarScenes数据集传感器配置[5]

    RadarScenes的传感器配置如图7所示。在传感器方面，配置相对nuScenes数据集简单很多，即： 

• 4个毫米波雷达，型号未知，探测距离100米，FOV 120°；
• 一个普通相机，其用途是记录视频信息作为对比参考，并不能用于模型训练，且做了脱敏处理，掩去了具体的车辆和行人细节信息。

    但在覆盖范围上，由于前向拥有4个毫米波雷达，相对于1个前雷达2个角雷达的配置，盲区更小，且点云密度更高。因此更适合于毫米波雷达的算法研究。

3.2 毫米波雷达数据分析

    数据量方面，由图1和图4的对比可以看出，RadarScenes的点云密度明显高于nuScenes；在丰富程度方面，两个数据集相当，RadarScenes采集了大于100km的实际场景数据，4个多小时的有效录制时间；标注方面，RadarScenes最大的优点是提供了点云级别的标注，这是其他数据集不具备的，目标类型支持11个分类，减掉了nuScenes中锥桶等出现较少的目标，着重车辆、行人、自行车/摩托车、以及动物的识别。由此可见RadarScenes的目标明确，立足于对毫米波感知算法的实际应用提供支撑。

    RadarScenes在数据展示方面也很友好，提供了一个可视化工具（图8），提供了多帧连续显示、显示追踪结果、检测结果等功能，使得数据分析更直观，同时提供了数据读取的API接口，节省算法研究人员的开发成本。

Fig.8 RadarScenes配套的可视化工具

3.3 小结

    RadarScenes数据集非常适合纯毫米波雷达的感知算法研究，但由于传感器单一，不适合融合感知算法的研究，总体来说使用的场景更聚焦。

4 4D毫米波雷达数据集

    前文我们提到，3D毫米波雷达提供了距离、角度以及径向速度信息，在描绘目标二维信息的同时，也会带来一些问题。

    第一个问题是缺少高度信息。由于电磁波特性、安装角度等原因，毫米波雷达的检测范围并不能严格保证沿安装高度平行于地面的区域，因此一些稍高于安装高度（比如高度较低的桥）或地面上的强反射物体（如地面上的井盖，崭新的车道线标识等）都会被检测到。在经过转换后，由于缺少高度信息，都会被认为是正前方存在目标，这就会造成很多误检。

    第二个问题是较为稀疏，受限于发射天线个数，毫米波雷达点云数量相对激光雷达有显著的差距。再加上为了尽量减少杂波，使用时往往会将虚警的判定阈值设置得较高（如CFAR等），这在某种程度上也减少了一定的点云数量。

    为弥补上述两个缺陷，4D毫米波雷达应运而生。其中，4D代表在3D雷达提供信息基础上，增加了垂直角度的测量信息。因为有了垂直角度信息，使得4D毫米波雷达可以得到目标的高度信息，从而可以进一步结合应用算法分析出来自地面或空中的目标；另外，因为硬件设计上的需求和改进，增加了天线数量，从而也使4D雷达可以得到比3D雷达更密集的点云数据，对目标的轮廓和形状刻画得更精细。

    以上改进，使得汽车电子领域对4D毫米波雷达的前景产生了期待，业界普遍看好其市场规模，学界前沿也在充分挖掘其潜力，甚至有希望结合视觉信息代替掉昂贵的激光雷达，大大降低自动驾驶的硬件成本。我司汽车电子产品线也成为了较早的入局者之一，研发雷达设备及配套算法，目前已取得较大进展。

   算法团队承担了自研4D毫米波雷达感知算法的研发工作。前面提到，4D雷达产品尚属于新兴阶段，产业界虽有产品研发但量产不多，学界的研究成果也很少，这给团队工作开展造成了困难。为保证研究工作顺利开展，和硬件研发同步进行，团队对4D毫米波雷达的公开数据集进行了全面的调研。受限于篇幅，我们重点介绍其中一个数据集——RADIal[6]。 

5 RADIal

    之所以重点关注RADIal数据集，是因为其提供了ADC（Analog to Digital Conversion，模拟数字转换）数据。ADC数据相当于毫米波雷达的“原始数据”，FFT、CFAR等信号处理算法，都是在ADC数据基础上进行的，而点云数据只是经过了一系列算法之后得到的“后处理数据”，整个流程中丢失了很多信息。从ADC数据进行研究，可以使团队对雷达原理有更深刻的理解，从信号处理的各个环节寻找结合点，从而有更广阔的研究空间。

5.1 传感器配置

Fig.9 RADIal数据集传感器配置

    RADIal数据集的传感器配置如图9所示。可以看到，RADIal包含了开展研究的基础传感器，其中包括： 

• 1个500万像素的前置相机；
• 1个16线的激光雷达；
• 1个12发16收的4D毫米波雷达；
•  GPS;
• CAN总线信息，包括速度，方向盘转角以及横摆角速度等。

    传感器的具体参数如图10所示： 

Fig.10 RADIal数据集传感器参数

5.2 毫米波雷达数据分析

    RADIal属于中小型数据集，共采集91个片段，每个1到4分钟之间，总共时长2小时左右。场景方面，数据集包含城市街道、高速公路和乡间道路，且三种场景较为均衡。数据同步方面，因为各传感器有自己的触发时间，因此整体使用软同步方式，生成大约25000帧的同步数据（包含相机、激光雷达、毫米波雷达）。标注方面，25000帧中有8252帧被标注，共标注了9550个车辆目标，没有行人等其他类型目标。

    具体来说，各种传感器数据格式如下：

•  相机：照片被保存为MJPEG格式，并生成了一个低像素的预览视频；
• 激光雷达：点云保存成二进制文件；
• 毫米波雷达：ADC数据保存成二进制文件，每个雷达4个（雷达是4芯片级联方式，每个芯片的数据保存为一个文件）；
• GPS：数据保存为ASCII格式；
• CAN总线信息：保存为二进制格式；
• 最后，提供了一个log文件记录每个传感器的时间戳信息。

    同时，数据集还开源了配套的代码，如上文提到的同步数据工具，以及各传感器文件读取等代码，帮助使用数据集的研究人员快速上手。

5.3 不完美的RADIal

    在传感器配置和数据量方面，RADIal都基本满足了研发初期的需求，但当团队开始使用时，也逐渐发现了一些问题，很多问题很难克服，以至于限制了对数据集的充分利用。

5.3.1 2D标注质量欠缺

    首先遇到的就是2D标注不准确的问题。当团队尝试将毫米波雷达点云投射到图片上时，发现图片标签存在框过大、过小、相比前一帧漏标、两个目标标注成一个等各种问题。分析其原因，数据集作者在论文[7]中提到2D的标注是通过半自动化的方式结合2D检测神经网络和激光雷达的验证得到。由于使用的神经网络性能稍差（RetinaNet），加上激光雷达的分辨率不高，导致最终得到的标注结果不够精细。

    为了解决这个问题，团队尝试复现了若干SOTA和公认效果较好的2D检测模型，重新生成RADIal的2D标签，起到了较好的效果，如图11所示。可以看到，框过大、过小、漏标以及目标合一的问题都有效得到解决。不过针对一些特殊车辆（比如拖车等），模型仍不能很好的识别，可以依靠很少的人力进行手工调整即可。

Fig.11 RADIal数据集2D标注改进

5.3.2 多传感器数据对齐不准确

    在使用过程中，团队又发现了另一个问题：使用3D标注结果投射到相机图片时，发现明显的不对应，如图12所示。

Fig.12 RADIal数据集3D标注和图片位置不对应

    为了定位这个问题的原因，团队考虑可能有两方面原因：时间同步不准确和空间位置同步不准确。

    为了验证时间同步是否准确问题，考虑唯一的原因就是同步时间延后或者提前导致。于是团队将当前帧的标注结果，分别显示在提前若干帧和延后若干帧上，如果能找到较好的匹配，则说明是时间同步问题。

    如图13所示，无论是提前还是延后，都不能找到一个较为完美的匹配。我们又验证了多帧数据，均呈现这个现象，因此可以基本确定并不是时间同步出现问题。
 

Fig.13 当前帧的标注结果绘制在提前和延后若干帧

    进一步地，团队开始验证是否是空间位置同步不准确导致。为了验证这个问题，需要验证标注框在3D点云中标注是否准确，那么我们就需要引入标注工具，可以在3D空间中多角度观察。经过团队的调研，我们选取了一款使用较为便利的开源工具（如图14所示）：

Fig.14 通过标注工具验证3D标注在激光雷达点云中是否准确

    通过检查，3D标签在点云中的准确度较高。再投影到图片中，如图15所示：
 

Fig.15 3D标注和激光点云投影到图片，左：3D标注投影，右：激光点云投影

    可以看到无论是3D标注和点云，都和图片中目标的真实位置有一定出入。分析其原因，3D空间中的目标投射到2D空间，是需要经过外参和内参矩阵的变换的，因此可以推断，问题出在内外参矩阵的参数不准确。又因为外参部分和传感器的安装位置有关，一旦安装完成后就固定不变，在行驶中有微小的位置变化也不会造成特别大的偏差，而内参一般是通过标定板等标定方法得到的，如果标定过程不完善或者标定场地和采集数据的场景区别较大，容易产生问题，因此我们推断，很可能是内参矩阵出现了问题。

    针对这个问题，团队也做了一定的研究，考虑通过动态获取标定参数等思路去解决，不过没能成功，此问题也是影响团队研究的关键问题，特别是对融合感知算法影响较大。团队也在思考有无新的方法能更好的解决此问题。

6 小结

    RADIal数据集在数据集规模，传感器配置等方面，都非常适合研究初期使用，特别是提供了ADC数据，扩大了算法研究的空间。但是不巧的是，数据集存在的问题，又使得一些好思路无法在此数据集上验证，研究人员可以根据自身需求，取其精华，适当使用来验证自己的思路。

6.1 其他数据集

    在团队研究过程中，除了上述几个重点数据集外，还结合使用了其他一些优秀的数据集，在这里也简单列出他们的基本信息，有需要的研究人员可以依照列表选取适合的数据集进一步分析，如图16所示：
 

Fig.16 其他毫米波雷达数据集[7]

8 结语

    数据是开展算法研究，特别是深度学习感知算法的基础和必要条件。中研数智天津算法团队在参与4D毫米波算法研发的过程中，对3D、4D毫米波雷达数据集进行了一次深入全面的探索。在探索的过程中，团队学习到了很多传感器配置、数据处理、标签制作方面的知识；通过结合使用这些数据集，目前团队在几个细分方向已取得一定进展。

    诚然，这些数据集不能完全满足我们的研究需求，且随着研究的深入，需要的数据量也越来越大。在后续的研发过程中，团队也会配合汽车电子产品线一起，提升数据采集环节，特别是自研雷达的数据采集，研发出更鲁棒的、满足上路要求的、更适合于自研雷达的感知算法。 

参考文献

 1 R. Nabati and H. Qi, Radar-Camera Sensor Fusion for Joint Object Detection and Distance Estimation in Autonomous Vehicles, 2020.

2 H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan and O. Beijbom, nuScenes: A multimodal dataset for autonomous driving,.

3 O. Schumann, M. Hahn, N. Scheiner, F. Weishaupt, J. F. Tilly, J. Dickmann and C. Wöhler, RadarScenes: A RealWorld Radar Point Cloud Data Set for Automotive Applications, 2021.

4 nuScenes offical website, https://www.nuscenes.org/.

5 RadarScenes offical website, https://radar-scenes.com/.

6 RADIal github website, https://github.com/valeoai/ RADIal/.

7 J. Rebut, A. Ouaknine, W. Malik and P. Pérez, Raw highdefinition radar for multi-task learning, 2022,