海信王智慧表示双目立体车载相机，通往自动驾驶的必经之路

3月20-21日，由佐思产研、佐智汽车主办，地平线、TTTech、魔视智能、海信网络科技、晶众股份、芯仑光电、PLK、中科慧眼等单位支持的2018第三届ADAS与自动驾驶国际论坛在上海银星皇冠假日酒店举办。超过400多位嘉宾参加了本次论坛， 海信集团技术研究所副所长王智慧博士发表了主题为《双目立体车载相机-通往自动驾驶的必经之路》的演讲。


王智慧：海信集团技术研究所副所长

王智慧：我演讲的题目是双目立体车载相机，通往自动驾驶的必经之路。

海信集团是一家全球性的公司，我们有12家生产基地，12个研发中心，产业遍布全球。业务板块中，家电是我们的主流业务，包括电视、冰箱、空调，市场占有率和销售业绩都非常好。海信集团的业务还向多个新兴产业扩展，包括光通信、智能交通、智能商用等，都有很大的市场份额。

青岛海信网络科技股份有限公司，业务覆盖城市交通、交通运输、轨道交通、运维服务、智慧建筑、公共安全、智慧城市。我们的业务还涉及到主动安全、智能驾驶等前沿方向。

首先，我们为什么选择了双目立体视觉？在前向智能驾驶辅助系统中主要有四种传感器，包括毫米波雷达、激光雷达、单目摄像头、双目摄像头。这四个传感器各有优劣，比如探测距离方面，毫米波雷达弊端是测距较近。譬如在高速上行驶时车速很快，毫米波雷达基本探测不到100米以外的物体，很难做到对前向障碍物的分析和实时预警。

在测距精度方面，单目摄像头方案又稍微差一些。在抗干扰方面，毫米波雷达抵抗性非常强，激光雷达在极端天气下效果不太好。对于视觉方案，单目、双目都有弊端，在夜晚光线不太好的情况下，它的检测识别效果就会变差。

穿透性方面，毫米波雷达有很强的穿透性，单目、双目的视觉方案，基本上就和眼睛差不多。在障碍物识别方面，基于深度学习做的单目分析，需要庞大的训练库来训练。

在成本方面，基于视觉的单目和双目则成本比较低。而激光雷达昂贵很多。

不管是单目方案还是双目方案，还是雷达方案，都不能从根本上解决所有问题，我们要走的路线就必须是多传感器融合。

单目和双目的区别在哪里？单目方案运用图像分析的技术，对训练样本里面的障碍物逐个识别。针对识别出的结果，再依据近大远小的原理进行距离估算。如果样本量足够庞大，训练的数据足够多，检测效果就很好。双目测距不是通过这种样本训练方式来检测的，而是通过一个几何三角测量原理进行，双目不是两个简单摄像头的拼接，而是通过平行定位的信息进行计算，不管前方是什么障碍物和外形轮廓，只要在视觉上看得比较清晰，这样就可以通过三角测量原理得到它的精确距离，通过景深的分析找到障碍物进行预警。它的优点是无需海量数据进行训练，也不受障碍物属性的限制，精度非常高。通过景深信息和路面分析，可以获得前面是否有危险。

举一个非常有代表性的例子，如果人只有一只眼睛是不允许考驾照的，因为人的两只眼睛不仅可以通过后天学习队人车和各种障碍物进行识别，还要通过双眼对前方进行测距，对各种各样的情况进行分析，得到最后的预警方案。

单张图像分析技术我们也要用，不管是车道线检测、固定障碍物属性分析，都要运用各种图象分析技术，包括机器学习、深度学习对它进行分类预估。

稠密视差图和稀疏视差图有一个明显的区别，稠密信息可以对路上细节进行精确的归类分析，比如前方道路上有沟坎的情况，有可能看不到，如果用稠密视差对道路进行分析，就可以很明显地发现前方的障碍和沟坎，可以通过预警的方式提醒驾驶员，让他降速或者其他操作规避颠簸风险。

中国地大物博，各种各样的道路情况，各种各样的车辆，多种多样的不规范物体都可能出现在路上，我们可以通过双目立体视觉，通过三角测量原理找到它的位置，在必要的情况下进行预警。

双目立体视觉安在汽车前挡风玻璃上方，通过对前方三车道信息进行精确提取然后判断识别。比如宽视野状态，通过52度的测量角可以清晰地看到前方三车道信息。测距范围是2米到100米，这个范围内测距精确度非常高，能通过相对速度和距离之间的分析进行精确预警，在提高预警精度的同时降低误报。

在精度上，我们做到了60米时误差在正负5%，也就是说60米的时候只有3米上下的误差，可精确的知道前方物体体积。

由于要挂在前方挡风玻璃，如果双目做的体积太大，就会影响驾驶员前方的视野以及产品的美观程度，我们做到了基线长12厘米。

在分辨率上，我们用了超高精度的1280×960。在数据处理上做到了30fps。

为了实现高精度的障碍物检测功能，双目立体视觉技术还有很多难点要攻克，总结为三点：第一是三维标定和图像校正方面，第二是高精度方面，第三是高实时的嵌入技术方面，都是双目立体视觉技术的难点。用摄像头获取的图像存在畸变，需要进行图像校正。要保证两个摄像头平行等位，对于安装精度要求非常高，我们通过自主研发的技术做到了在外方向上达到0.5个像素的误差。

为什么能够做到60米的时候误差非常小，主要原因是采用了高精度的亚像素匹配算法。双目立体视觉，在越远的时候视差越小，如果亚像素做的不好，有可能直接从50米跳到80米，这样会使得测距非常差。我们通过自己的技术手段弥补了这一弊端，使它达到高测距精度。

高实时的嵌入式技术方面，我们以30FPS的速度处理、立体匹配，然后利用景深图像，分析障碍物的距离和尺寸等信息，先测距再识别。

白天的光照条件下，我们对三车道车辆进行了精确分析，同时对车道线分析，这样就能做到两个功能：第一是前向障碍物分析预警；第二是车道偏离预警。

我们的产品会在2018年和大家见面，期待有机会跟大家一块交流、合作。非常感谢大家！

主持人：谢谢王博士，整个演讲我就浓缩成一句话，考驾照时一个眼睛是不行的，必须两只眼睛。我问你一个问题，未来汽车会不会用三只眼？

王智慧：我们将来会有多传感器的融合。在前向，我们采用双目立体视觉，高精度，52度。这对于真正的自动驾驶还不够，信息量不够多。我们可能会采用一个双目来进行测距，也有可能再加一个更大视角的单目，这样既能感知到正前方小视角的信息，也能感知车辆前面大视角的信息，这样就可能出现您说的第三只眼。