首页 > 汽车技术 > 正文

毫米波雷达在多模态视觉任务上的近期工作及简析

2022-09-28 23:40:29·  来源:自动驾驶之心  
 
三、Segmentation

3.1 多模态融合的map分割

  • 题目:A Simple baseline for BEV Perception Without LiDAR(2022, MIT)

作者的出发点: 在BEV上通过BEVFORMER的方式"无参数化"地完成Lift操作(将图像特征转换到BEV空间),融合雷达点云特征图,用于分割任务,性能超越了之前的分割模型。

  1. 网络结构:

图片


  • 论文如其名,网络结构比较简单,可以看出很多论文的影子(例如BEVFORMER),作者就是通过显式的BEV-Queries采样图像特征,并且concate雷达特征并通过卷积进行模态对齐与融合,后面用于分割任务。

  1. 总结分析:

  • 雷达信息处理:

图片

雷达feature-map构成:0\1的occupy map,nuscenes提供的所有特征(RCS,X,Y,Z,V...)作为输入concate到一起作为输入特征。检测范围是[-100, 100m],网格的大小是200x200。

  • 性能提升

图片


  • 和主流的工作相比,作者的确在分割上提升非常大,作者将这归功于毫米波的功劳,

  • 消融实验

图片

总结为三点:对于分割任务,输入过多的属性提升不明显(occupy only已经达到53),对multi-path的毫米波雷达点滤除反而导致性能下降(意料之中,因为multi-path的毫米波虽然会导致噪声,但是其扫描到的物体可能正是位于被遮挡的区域),增加sweeps的数量性能也会提升(毕竟点云密度大了)。

四、密集点云生成

4.1 GAN

4.1.1 通过密集点云监督radar生成密集点云

See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar (2020, 斯坦福)

图片


4.2 Lidar Supervision

4.2.1 激光雷达点云监督毫米波生成occupy grid map

Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities作者的出发点: 通过lidar这种数据质量较高的模态,监督毫米波雷达生成质量较高的占据栅格地图,解决在这个过程中的两个问题:一解决occupy网格生成存在于传感器之间的内生性问题:传感器感知距离不一,传感器穿透性不一问题;二解决长距离网格生成问题;生成的occpy grid map可用于下游的路径规划等问题。

  1. 本文一些基本定义:

  • 极坐标系与笛卡尔坐标转化

    作者以笛卡尔坐标系的x,y中心为极坐标系的中心,笛卡尔坐标系的一周等同于极坐标系的一段(如下图所示的蓝色红色对应关系)

图片


  • 作者将radar中lidar的感知区域定位trainning-region,将其他范围内的毫米波点云作为inference的输入,如下图所示

图片


  • 毫米波雷达噪声来源:

    multipath reflection(多路径感染,在交通道路环境下工作的雷达越来越密集,其间产生的多径干扰会导致雷达出现虚假目标), speckle noise, receiver saturation, and ring-shaped noise

    关于以上噪声的成因:https://zhuanlan.zhihu.com/p/407095772

  • 本文各类颜色含义

图片

分享到:
 
反对 0 举报 0 收藏 0 评论 0
沪ICP备11026620号