广告
车载摄像头的技术趋势 — 算法与芯片架构
2021-02-04 11:24:17· 来源：Astroys
DNN和机器学习如果自动驾驶系统无法理解传感器套件捕获的数据将毫无用处。识别与实时场景理解同传感和检测功能一样至关重要。AI和机器学习技术的进步在使用摄像
DNN和机器学习
如果自动驾驶系统无法理解传感器套件捕获的数据将毫无用处。识别与实时场景理解同传感和检测功能一样至关重要。AI和机器学习技术的进步在使用摄像头图像传感器进行物体检测和分类方面取得了惊人的成绩。DNN和CNN技术的进步为自动驾驶系统带来了更高的感知和分类精度。
运行DNN和CNN算法的汽车视觉系统可以精确地检测和分类车辆（汽车、公共车、卡车和两轮车）、交通标志、道路标记、行人、骑自行车的人和其他易受伤害的道路使用者。基于AI的内部监控系统还可以读取驾驶员和乘客的面部表情。
但是，DNN的有效性高度取决于开发人员使用的训练数据集。OEM、供应商、移动服务供应商和AV公司越来越多地在其自动驾驶系统中采用基于AI和ML的视觉系统。
下一代芯片架构
自动驾驶系统由多种传感技术支持，相互补充，以实现有效和可靠的感知。随着OEM和自动驾驶公司朝着更高的自动驾驶水平发展，这些传感器（尤其是摄像头和雷达）的数量正在不断增加。半自动驾驶车辆已经配备了8–10个摄像头、多个雷达和超声波雷达，在某些情况下甚至包括激光雷达。
具有基于AI和ML技术的智能视觉处理功能的汽车视觉系统是高度计算密集型应用。ADAS视觉系统必须处理高分辨率成像、高速串行通信、下游处理和识别功能，才能有效地了解车辆的环境。图像分辨率必须足够高，以使识别处理器可以准确地解码道路标志并区分物体和周围环境。为此，需要分辨率为1-2MP、帧速率为60fps，高色彩灵敏度和HDR的彩色摄像头。来自不同曝光度的多个摄像头的图像或摄像头和雷达数据流融合在一起，为自动驾驶系统提供更好的感知。
所有这些功能都需要计算性能，这在传统的半导体架构下是无法实现的。需要具有运行DNN和CNN算法能力的高性能多核芯片架构。该架构应可扩展以服务于多个自动驾驶级别。汽车半导体供应商正在提供多核多线程架构，其中包括用于运行AI和视觉处理算法的专用内核、针对传感器融合进行了优化的集成核处理器，以及用于处理全自动驾驶汽车计算要求的集成图像信号处理器（图像加速器）。新的芯片架构也需要高级别的ASIL（ASIL B及以上）认证。
英伟达、Mobileye、瑞萨和高通是一些提供可扩展和可编程计算平台的芯片供应商，这些平台具有专用CNN和DNN功能。产品范围从满足简单计算要求的单核架构到具有集成图像加速器和GPU的多核架构，均适用于完全自动驾驶的计算平台。
如果自动驾驶系统无法理解传感器套件捕获的数据将毫无用处。识别与实时场景理解同传感和检测功能一样至关重要。AI和机器学习技术的进步在使用摄像头图像传感器进行物体检测和分类方面取得了惊人的成绩。DNN和CNN技术的进步为自动驾驶系统带来了更高的感知和分类精度。
运行DNN和CNN算法的汽车视觉系统可以精确地检测和分类车辆（汽车、公共车、卡车和两轮车）、交通标志、道路标记、行人、骑自行车的人和其他易受伤害的道路使用者。基于AI的内部监控系统还可以读取驾驶员和乘客的面部表情。
但是，DNN的有效性高度取决于开发人员使用的训练数据集。OEM、供应商、移动服务供应商和AV公司越来越多地在其自动驾驶系统中采用基于AI和ML的视觉系统。
下一代芯片架构
自动驾驶系统由多种传感技术支持，相互补充，以实现有效和可靠的感知。随着OEM和自动驾驶公司朝着更高的自动驾驶水平发展，这些传感器（尤其是摄像头和雷达）的数量正在不断增加。半自动驾驶车辆已经配备了8–10个摄像头、多个雷达和超声波雷达，在某些情况下甚至包括激光雷达。
具有基于AI和ML技术的智能视觉处理功能的汽车视觉系统是高度计算密集型应用。ADAS视觉系统必须处理高分辨率成像、高速串行通信、下游处理和识别功能，才能有效地了解车辆的环境。图像分辨率必须足够高，以使识别处理器可以准确地解码道路标志并区分物体和周围环境。为此，需要分辨率为1-2MP、帧速率为60fps，高色彩灵敏度和HDR的彩色摄像头。来自不同曝光度的多个摄像头的图像或摄像头和雷达数据流融合在一起，为自动驾驶系统提供更好的感知。
所有这些功能都需要计算性能，这在传统的半导体架构下是无法实现的。需要具有运行DNN和CNN算法能力的高性能多核芯片架构。该架构应可扩展以服务于多个自动驾驶级别。汽车半导体供应商正在提供多核多线程架构，其中包括用于运行AI和视觉处理算法的专用内核、针对传感器融合进行了优化的集成核处理器，以及用于处理全自动驾驶汽车计算要求的集成图像信号处理器（图像加速器）。新的芯片架构也需要高级别的ASIL（ASIL B及以上）认证。
英伟达、Mobileye、瑞萨和高通是一些提供可扩展和可编程计算平台的芯片供应商，这些平台具有专用CNN和DNN功能。产品范围从满足简单计算要求的单核架构到具有集成图像加速器和GPU的多核架构，均适用于完全自动驾驶的计算平台。
广告
最新资讯
-
沃尔沃汽车王深刚出席哈尔滨天拓荣驰4S店开
2024-05-16 20:46
-
利用 Intrinsic Flowstate 和 NVIDIA Isaac
2024-05-16 19:36
-
沃尔沃EX30：斯堪的纳维亚设计美学的代表之
2024-05-16 18:04
-
2024年Q2 ASAM中国会员交流会成功召开
2024-05-16 16:44
-
NVH基础知识: 基于FFT分析的阶次说明
2024-05-16 16:37
广告
广告
