黄岛建设局网站聂教练做0网站

基于汽车雷达检测点的深度实例分割

一个区别：

automotive radar 汽车雷达 ：

分辨率低，点云稀疏，语义上模糊，不适合直接使用用于密集LiDAR点开发的方法  ；

返回的物体图像不如LIDAR精确，可以在雨，雪，雨夹雪，冰雹，雾，泥和尘土中返回；

在夜间和阴天条件下也比激光雷达更准确；

发出的是无线电波而不是激光束

LiDAR 激光雷达：

激光波比无线电波短，因此激光雷达可以生成更详细的物体图像；贵

 左 LiDAR；右 RADAR  

============================================

提出问题：

从无线电雷达在点云实例分割上的实际问题出发：

问题一：雷达测点由于分辨率较低，比激光雷达测点云更稀疏、噪声更大，缺乏语义和几何信息，一些几何信息例如物体的形状，不能通过点的分布来反映，从而导致局部信息的缺乏。

问题二:  汽车驾驶需要对雷达数据进行实时处理的算法，雷达处理系统中的微中心单元(MCU)限制了模型的存储空间和可用的计算能力。

分析问题：

针对问题一：全局特征信息可以帮助分割任务，该如何设计一种深度学习算法来解决雷达检测点的稀疏性和模糊性 ,因为主流的pointnet++是模仿卷积思维，按照提取局部特征的思维来设计的，要很深的网络才能学到全局相互作用

针对问题二：性能提高的同时要兼顾实际场景，尽量轻量化

解决方案：

1、针对汽车雷达稀疏检测点的实例分割任务，设计了一种基于语义分割的聚类方法。该模型是基于PointNet++的语义分割版本设计的，新引入的头部估计点向中心偏移向量(CSV)--它表示从每个检测点到其相应实例的几何中心的偏移量。在聚类过程中，利用预测的CSV将每个点向其实例的中心移动，从而使属于同一实例的点更加接近，提高聚类精度

2、使用余弦相似性损失和归一化内积损失的和作为稀疏雷达检测点的语义分割训练过程中的损失，以提高性能的CSV引导聚类----为上述提出的中心偏移量适配的损失，来最小化 预测CSV 和ground-truth CSV之间的距离

3、提出使用gMLP来进一步提高模型的性能

得到的效果：

平均覆盖率(mCov)和平均精度(mAP)分别比基于聚类的分类方法高9.0%和9.2%，比端到端实例分割方法高8.6%和9.1%。同时，该方法及其轻量级版本的内存消耗保持在1MB左右，推理时间小于40 ms，适用于汽车雷达单片机

具体做法：

 N为样本量;C表示主干网络的输出通道数;Nclass是类的数量;Ndim为雷达原始探测点的尺寸。输入点首先通过逐点分类分支获得其预测类标号。然后根据csv预测分支对其预测的csv进行移动，使属于同一实例的点更加集中。然后，具有相同类标签的点被聚成簇(即实例)。在样例帧的实例分割结果中，不同的颜色表示不同的类，同一个圆中的点属于同一个实例。

 (a)PointNet++主干网络，采用两个SA水平和两个FP水平的结构，提取点特征

(b)预测头的结构，预测头为两层mlp，语义分割分支预测每个点的每个类的得分，而对于csv预测分支，预测每个点与其实例中心之间的差异。

(c) csv的图解，同一圆内的点属于同一实例

(d)可视化的整体结构的MLP增强PointNet++主干网络。可视化的MLP块在每个集合抽象级别和特征传播级别之后添加gMLP

 学习参考：

gmlp结构要看下原论文 ：Pay Attention to MLPs

实验上的叙述