寻找供应商
广告
首页 > 汽车技术 > 正文

ADAS的MR混合现实应用

2020-01-10 19:31:56·  来源：佐思汽车研究  
　
增强现实AR是把把虚拟世界叠加到现实世界，混合现实MR（Mixed Reality）则是把真实的东西叠加到虚拟世界。微软在今后的5到10年，将全力做MR。微软在MR领域铺了50
增强现实AR是把把虚拟世界叠加到现实世界，混合现实MR（Mixed Reality）则是把真实的东西叠加到虚拟世界。微软在今后的5到10年，将全力做MR。微软在MR领域铺了5000多研发人员，苹果有3000多人。
 
AR和MR听起来好像差不多，都是把现实和虚拟混到一起，其实差别很大。因为把虚拟叠加到现实里比较容易，现在连游戏都有了，就是在真实的画面上显示虚拟的东西就行。
 
MR要把现实叠加到虚拟里，就比较难。因为首先得把现实的东西虚拟化，也就是先得用摄像头捕捉画面，但摄像头捕捉的画面都是二维的，画面是扁平的，没有立体感，所以还得把二维的图像通过计算机形成三维的虚拟图像，叫3D建模。只有把现实物体虚拟化之后，才能把它很好地融合进虚拟3D世界里面。
 
2020CES上， Futurus展出了混合现实全景显示器，这款产品获得了 CES 2020 创新奖。据Futurus介绍，它能将道路信息、娱乐信息及人工智能助理形象等投射到透明挡风玻璃上，还能整合包括激光雷达、毫米波雷达、摄像头在内的诸多传感器，透明显示ADAS功能。
 
本文摘编自德国汽车软件公司Apostera技术负责人Sergii Bykov 在2019年发表的演讲。Apostera总部位于德国慕尼黑，在东欧设有研发中心，亚洲有办事处，主要产品是以ADAS为基础的MR方案。Apostera为ARHUD、导航供应商和原始设备制造商提供混合现实（MR）解决方案，这一方案基于增强现实、机器学习、计算机视觉和传感器融合技术，为传统导航系统增加智能分析能力。
 
Apostera公司的软件将现实世界与虚拟世界结合起来，基于前视相机和全景显示的帮助与数据智能融合，提供混合现实导航，保障行车路径安全和事故提醒。Apostera已经可以与TomTom导航工具集成，在驾驶时应用混合现实，以在HUD中突出显示最佳路线的车道。
Apostera参与实施的项目包括：
一、ADAS的挑战和Apostera的应对方案
当前的ADAS嵌入式平台面临如下挑战：
  • 能耗及性能
  • --侧重于性能且能耗较低
  • 低延迟及高频率响应
  • --对环境变化做出快速反应对于实时工作至关重要
  • 鲁棒性及质量
  • --在有难度的操作情况下保证鲁棒性及高质量
  • --要求一系列验证场景及自适应探索(heuristics)
  • 需要专用嵌入式实时系统架构
  • --为实时要求和可移植性设计以适合最有效的硬件平台
  • 硬件及软件传感器融合
  • --融合可用的数据源（传感器，地图等）以保证鲁棒性及质量
  • 大数据分析
  • --大量数据需存储用于开发及测试
  • 现场和非现场自动驾驶测试
  • --自适应启发式开发
  • --系统验证
  • --收集特殊案例
ADAS机器学习（Machine Learning, ML）也面临以下五个方面的挑战：
  • 机器学习需要大量高质量数据
  • --有必要保证ML更高稳定性及精确度；
  • --某些任务没有海量数据，限制了ML使用
  • AI 及期望
  • --理解技术的局限性
  • --解决替代人类工作的期望
  • 即将量产
  • --从模型化过渡到量产化的AI解决方案
  • 目前的ML不理解语境
  • --实时本地数据分析需求增加
  • --需快速再培训ML模型以理解新的数据
  • 机器学习安全性
  • --解决安全问题，比如信息完整性
Apostera系统的亮点在于
  • 硬件与传感器无关；
  • 融合/可视化可信度估计；
  • 实时且资源消耗低；
  • 延迟补偿及预测模型：
  • 可为不同的OEM设计不同的配置；
  • 可配置逻辑需求（包括模型及地区）：
  • --用户界面逻辑考虑可信度及输入数据的可能性；
  • --考虑动态环境和物体遮挡的逻辑
  • 与不同的导航系统和地图格式集成
  • --地图数据不精确补偿；
  • --精确、相对及绝对定位
 
MR对ADAS摄像头有一定的要求：低延迟，占用空间小，低能耗，高可靠度。
下表是部分ADAS摄像头采用的传感器参数对比：
ADAS混合现实应用中，传感器融合至关重要。Apostera开发了融合滤波器参数调整问题的解决方案，以适应具有不同底盘和转向轮模型/参数的不同车型。方案有以下功能特点：
  • 绝对及相对定位；
  • 导航推算；
  • 与车规级传感器（如GPS，方向盘，方向盘速度，轮毂传感器）融合；
  • 导航数据融合；
  • 复杂的方向盘模型确认，且可与现有模型集成；
  • GPS纠错；
  • 复杂条件（隧道，城市峡谷）下具备稳定性及鲁棒性
该方案利用先进增强目标定位技术，解决地图精度问题。
MR混合现实中的车道检测包括如下工作：
  • 低水平不变特征：
  • --单一摄像头；
  • --双目数据；
  • --点云
  • 结构分析
  • 概率模型：
  • --真实世界特征；
  • --实物；
  • --3D场景重建；
  • --道路情况
  • 3D空间场景融合（不同传感器输入）
  • 环境模型传播
Apostera正在进行的工作包括更多种类（物体）检测及可行驶区域检测。道路物体检测在保证当前检测质量的基础上，增加了交通信号识别（探测器+分类器） 和交通信号灯识别。
可行驶区域检测运用语义分割，模型基于Squeeze-net 和U-net, 目前运行参数 （Jetson TX2）为 输入640*320（lowres）,处理速度75ms/frame。
二、目标检测算法
目标检测常用的深度神经网络算法（DNN）的对比如下图所示，检测框架包括SSD、Faster RCNN、R-FCN，特征提取器采用了MobileNet，Inception V3, Resnet 101等进行对比。
SSD（Single shot multibox detector）将边界框的输出空间离散化为不同长宽比的一组默认框和并缩放每个特征映射的位置。在预测时，网络会在每个默认框中为每个目标类别的出现生成分数，并对框进行调整以更好地匹配目标形状。
相对于需要目标提出的方法，SSD非常简单，因为它完全消除了提出生成和随后的像素或特征重新采样阶段，并将所有计算封装到单个网络中。这使得SSD易于训练和直接集成到需要检测组件的系统中。
SSD模型架构
MobileNet作为一个特征提取器，使用深度可分离的卷积来构建轻量级深度神经网络。通过两个全局超参数，可以在延迟和准确性之间高效地进行折衷。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适的大小模型。在资源和精度折衷方面进行了广泛的实验，并且与ImageNet分类上的其他流行模型相比，显示了强大的性能。MobileNets有广泛的应用和案例，包括对象检测，细粒度分类，人脸属性和大规模地理定位等方面证明有效。
SSD-MobileNet组合模型的质量从以下几个方面考虑：
  • 速度及精确度：SSD-MobileNet 在针对实时处理的模型中拥有mAP优势。
  • 特征提取：特征提取器的精确度决定探测器的精度，但对于SSD来说不是很重要。
  • 目标体积：对于体积大的目标，SSD在只有一个简单提取器的情况下表现更好，在有更好的提取器情况下甚至能够匹配其他探测器的精度。但对于体积小的目标而言SSD和其他方法相比不具备优势。
  • 输入图像的分辨率：更高的分辨率可极大地改善体积较小的目标检测，对于体积较大的目标也有帮助。分辨率减少2倍，精度将降低；减少3倍，推理时间也将减少。
  • 内存使用：MobileNet占用很小的RAM空间，总计内存少于1Gb。
SSD-MobileNet 检测质量
SSD-MobileNet基本推理性能
推理优化方案从ROI、模型深度、运行时间三个方面进行。
1）将输入水平分辨率减少至640p以下时会导致狭窄对象（比如行人）的精度大幅降低。针对此采取的推理优化方案为仅通过高度进一步减少ROI , 将体积较小的对象从训练中移除：大多数道路对象占据中心框架的一半；使用水平方向动态帧；SSD可处理被截断/遮挡的近距离物体。
2）MobileNet 提供2个超参数，宽度乘数和分辨率乘数。宽度乘数α的作用是在每层均匀地减薄网络。通过减少宽度乘数α，减薄网络并移除多余的卷积。目前道路对象数据库选择的宽度乘数为0.75。
MobileNet精度及宽度乘数
2）运行时间和更新从CUDA8.0+cuDNN6 到CUDA9.0 +cuDNN7, 通过低开发成本实现性能升级。
运行时间性能比较
SSD-MobileNet优化后性能比较
三、HMI 人机交互
增强对象基元
HUD与LCD在硬件局限性（HUD在市场上少见，FOV和体积不同），时间控制（零延迟，司机眼睛位置），及司机感知（虚拟图像距离，信息平衡）方面都有所不同。
 
HUD及LCD上导航界面设计就不一样：
HUD及LCD上ADAS界面设计也完全不同：
MR混合现实系统需纠正HUD图像中微小的失真，通过拍摄一张由HUD投影的测试图案的图像，并由摄像头记录定制变形地图。
应用演示
最后总结一下，混合现实MR系统的技术要点：
1）深刻理解基本理论结果和最终需求之间的交叉与协同；
2）正规数学方法辅以深度学习；
3）坚实的GPU优化；
4）集成了车载数据的车规级解决方案，融合所有数据源；
5）在不同的天气和道路条件下具有高鲁棒性；
6）设计并执行闭环，以增强每个组件的速度和鲁棒性；
7）与V2X及各种导航系统集成；
8）系统架构支持分布式硬件设置，如有需要可与现有的车载组件 (环境模型，物体检测，导航，定位系统等）集成；
9）分层算法框架设计极大优化嵌入式平台计算；
10）与科研机构协作，整合前沿方法
 
 
分享到：
 
反对 0 举报 0 收藏 0 评论 0
  • 汽车测试网V课堂

    汽车测试网V课堂

  • 微信公众号

    微信公众号

  • 汽车测试网手机站

    汽车测试网手机站

• 充电桩GB/T-2023设计要点 • NVIDIA GPU 架构下的 FP8 训练与推理
• 利用 NVIDIA Holoscan 1.0 开发生产就绪型 AI 传感器处理 • 汽车CAN总线系统的挑战与设计
• 资料下载《Keysight高性能数字产品》：示波器、任意波形发 • 亚马逊云科技数据和人工智能副总裁 Swami 解读 Amazon Bed
• 新能源汽车动力电池结构及成组技术综述 • 电源完整性仿真域之仿真软件（附下载）
• AES，主动安全领域的“一代宗师” • 车载以太网与CAN总线有什么区别？
0 条相关评论
  • 广告

编辑推荐

最新资讯

  • 广告
  • 广告
沪ICP备11026620号