虚拟里程测试的应用

智能汽车是汽车､电子､信息通信､道路交通运输等行业深度融合的新型产业形态｡当前, 我国智能汽车产业进入快车道, 技术创新日益活跃, 新型应用蓬勃发展, 产业规模不断扩大,而相应的测试技术体系也在不断完善, 推动产业进步｡本书首先立足于整体现状对智能汽车测试体系架构进行综述, 并针对测试技术的发展趋势和整个核心技术进行详细描述;然后, 针对测试体系中每一测试过程的概念､核心思想､关键技术､测试方法､发展趋势等进行详细描述｡

注：本文节选自《智能汽车测试技术》第五章节，由机械工业出版社于2025年6月份出版

https://mp.weixin.qq.com/s/OpSNL9nC3aXP1M2uomBd0A

《智能汽车测试技术》目录 

第1 章

导论

1.1 背景与需求/ 001

1.2 基本概念/ 003

1.2.1 测试与评价的基本概念/ 003

1.2.2 产品全生命周期中的测评技术/ 004

1.3 现状与挑战/ 005

1.4 本书章节安排/ 006

第2 章

智能汽车

测评概述

 2.1 测评需求分析/ 009

2.1.1 安全性测试与验证/ 009

2.1.2 智能性测试与评价/ 012

2.2 测试方法论/ 015

2.2.1 安全性测试验证框架/ 015

2.2.2 智能性测试评估框架和体系/ 017

2.3 测试工具链及应用要求/ 023

2.3.1 测试工具链/ 023

2.3.2 测试需求与测试工具的适配性/ 027

2.4 本章小结/ 029

参考文献/ 030

第3 章

智能汽车

测试场景

3.1 场景基本概念/ 031

3.2 场景体系/ 033

3.2.1 场景要素与属性/ 033

3.2.2 场景层级/ 035

3.2.3 场景分类/ 036

3.3 场景生成方法/ 037

3.3.1 基于形式化描述的场景生成方法/ 037

3.3.2 基于驾驶员模型的场景生成方法/ 040

3.3.3 安全关键场景生成方法/ 048

3.4 场景采集与利用/ 051

3.4.1 场景采集技术/ 051

3.4.2 场景库搭建/ 052

3.5 本章小结/ 052

参考文献/ 053

第4 章

环境感知

系统的测试

技术与方法

4.1 环境感知系统测试需求分析/ 055

4.2 环境感知系统介绍/ 057

4.2.1 感知系统/ 057

4.2.2 硬件模组/ 058

4.2.3 认知算法/ 058

4.3 环境感知系统测试技术框架/ 059

4.4 各类感知环境介绍/ 060

4.4.1 封闭场地环境/ 060

4.4.2 道路交通环境/ 064

4.4.3 虚拟仿真环境/ 066

4.5 数据生成模型介绍/ 069

4.5.1 降雨图像生成方法概述/ 070

4.5.2 降雨图像生成模型介绍/ 071

4.5.3 降雨图像生成模型结果/ 075

4.6 具体测试案例/ 076

4.6.1 案例一:基于封闭场地环境的感知系统测试/ 076

4.6.2 案例二:基于虚拟仿真环境的硬件模组测试/ 078

4.6.3 案例三:基于虚拟仿真环境的感知系统测试/ 081

4.6.4 案例四:基于三类感知环境和数据生成模型的

认知算法测试/ 083

4.7 本章小结/ 086

参考文献/ 087

第5 章

决策规划

系统的测试

技术与方法

 5.1 决策规划系统的测试需求与挑战/ 089

5.1.1 测试需求/ 089

5.1.2 测试挑战/ 090

5.2 基于场景的测试技术与方法/ 092

5.2.1 静态试验设计测试方法/ 092

5.2.2 动态试验设计测试方法/ 094

5.3 基于真实里程的测试技术与方法/ 101

5.3.1 开放道路测试技术/ 101

5.3.2 重要度采样加速测试方法/ 103

5.4 基于虚拟里程的测试技术与方法/ 104

5.4.1 虚拟里程测试系统组成框架/ 105

5.4.2 用于虚拟里程测试的NPC 模型生成方法/ 106

5.4.3 用于虚拟里程测试的NPC 模型性能验证/ 113

5.4.4 虚拟里程测试的应用/ 118

5.4.5 小结/ 130

5.5 其他测试技术/ 131

5.5.1 自动化测试技术/ 131

5.5.2 错误注入测试技术/ 139

5.5.3 分布式自动化测试技术/ 152

5.6 本章小结/ 157

参考文献/ 157

第6 章

整车测试

技术与方法

6.1 整车测评需求分析/ 159

6.2 封闭测试场地平台/ 160

6.2.1 封闭测试场/ 160

6.2.2 动态模拟目标物系统/ 162

6.2.3 定位与数据采集系统/ 163

6.3 开放道路测试系统/ 164

6.3.1 测试方案制定/ 165

6.3.2 数据采集与数据闭环系统/ 165

6.4 本章小结/ 166

第7 章

智能汽车

安全性评估

7.1 基于具体场景的安全性评估/ 169

7.1.1 场景瞬时风险评估方法/ 170

7.1.2 多阶段安全评估/ 180

7.1.3 单个测试场景结果外推/ 181

7.2 基于逻辑场景的安全性评估/ 182

7.2.1 评估要求/ 182

7.2.2 面向逻辑场景评价的危险域识别方法/ 183

7.3 针对被测功能的安全性评估/ 192

7.4 本章小结/ 192

参考文献/ 193

第8 章

智能汽车

综合行驶

性能评估

 8.1 测评需求与研究现状/ 195

8.1.1 测评需求/ 195

8.1.2 研究现状/ 195

8.2 测评基本流程/ 197

8.3 典型测试场景矩阵/ 198

8.4 测试方法与流程/ 199

8.4.1 测试方案/ 199

8.4.2 背景车跟驰模型/ 199

8.4.3 测试数据输出/ 201

8.5 评价方法与流程/ 202

8.5.1 评价体系/ 202

8.5.2 评价流程/ 204

8.6 测评示例/ 206

8.7 本章小结/ 209

参考文献/ 209

附 录

附录A 测试工况参数设置/ 210

附录B 背景车跟驰模型/ 212

附录C 归一化方法/ 214

附录D 常见缩写词/ 216

5.4. 4 虚拟里程测试的应用

接下来将介绍两个具体的应用案例。

1. 应用一:智能性测试评价

在完成NPC模型生成后,可以采用模型构建测试环境,对决策规划系统的智能性进行测试评价,服务于本书2.1.2节的测试需求。在进行测试时,选用固定的NPC模型设置构建测试环境,将不同的SUT接入测试环境进行测试,并根据SUT在测试系统中的表现对其决策智能性进行评价。

(1)评价指标

对于决策规划系统的智能性,分别从安全性、行驶效率、交互效用三个维度进行评价。三个维度的设计和计算方法分别如下所示。

1)安全性。在对安全性的定义上,自动驾驶系统除了需要避免基本的安全碰撞工况以外,还需要避免车辆陷入可预见性的危险工况以降低发生安全事故的概率。

基于以上,定义两种安全性评价指标:碰撞与危险工况暴露收益,其中碰撞C用于统计车辆在整个仿真测试过程中的发生安全碰撞的总次数;危险工况暴露收益用于统计车辆行驶过程中发生潜在安全碰撞的工况所获取的收益,该指标与暴露次数E呈负相关。其中对潜在安全碰撞工况的定义为车辆行驶过程中TTC达到危险阈值以下或车辆当前减速度大小达到紧急制动减速度范围内时的行驶工况。根据碰撞总次数C以及暴露总次数E建立自动驾驶车辆决策智能性安全性评价公式如下:

2) 行驶效率。自动驾驶系统在保证车辆安全驾驶的基础上, 需要能够提供尽可能高的行驶效率。行驶效率可以从平均行驶速度、平均换道时间以及平均视野域车流密度三个指标进行评价。其中定义换道过程为车辆从做出换道决策起至车辆质心处于其他车道时所历经的时间。记v 为在被测试系统控制下的车辆平均行驶速度, 为平均车流密度, H 为场景中车辆总数, T 为在被测试系统控制下的车辆平均换道时间, 建立自动驾驶车辆决策智能性行驶效率评价公式如下:

表5-10 测试系统验证模型设置

表5 - 11 仿真测试系统的具体参数配置

首先,对于行驶安全性来说,将危险工况的定义设定为当自车处于紧急制动即ab<-6.0m/s2或者处于TTC<2s的驾驶工况。图5-26所示为不同SUT的仿真测试TTC分布,展示了不同决策系统在该项指标中仿真测试TTC的表现,从图中可以看出,Stackelberg在所有SUT中达到TTC危险工况次数最少,且其换道TTC主要集中在20~30s的区间内。其主要原因为Stackelberg决策作为博弈性质的决策,能够在前方有车的驾驶工况中提前判断并做出换道行为以摆脱当前危险工况。而MOBIL与Nilsson往往需要等到与前车距离足够近时才采取换道行为,此外Stackelberg决策的TTC分布跨度较其他两种决策较大,也体现了Stackelberg决策在寻求换道行为层面上的频繁性。

图5-26 不同SUT的仿真测试TTC分布

其次,在行驶效率方面,为了表征不同决策算法下车辆的行驶效率,本节对车辆的平均行驶速度进行了统计分析,结果如图5-27所示,从图中可以很明显地看出Stackelberg算法下的被测试系统平均行驶速度几乎全部集中于30~32m/s的区间内,MOBIL算法下车辆的平均行驶速度也有较为不错的表现,而Nilsson决策下的车辆平均行驶速度最低。

图5-27 不同SUT的仿真测试平均行驶速度分布

最后对于交互效用的评价,本节分别统计了当自车采取换道行为时,其视野域内周围背景车的平均速度波动与平均加速度波动,结果如图5-28所示。从图中可以看出三种被测系统对周围背景车平均速度波动影响为正,表明均有利好背景车行驶效率的能力。其中Stackelberg决策系统相比其他决策系统,其决策行为能够造成周围更多车辆的速度波动。在对场景中车辆加速度波动的影响指标中,Stackelberg尽管取得了与其他两者加速度波动中位数相近的水平,但是加速度波动的分布跨距较大,分布较为分散,这是由于Stackelberg决策系统的频繁换道。以上可以看出Stackelberg在整体交互能力上要稍微逊色于其他决策类型的车辆。

图5 -28 不同决策系统下场景车辆平均速度与平均加速度波动分布

对决策智能性公式中所有项目进行统计分析并给出三种SUT的最终评分,见表5-12。其中Stackelberg决策智能性最高,Nilsson决策智能性次之,MOBIL决策智能性最低。其中对于安全性评分来说,Stackelberg仅发生两次碰撞行为,因此其安全性评分最高,而Nilsson与MOBIL决策系统发生了近10次的碰撞行为;在行驶效率上,Stackelberg决策系统属于三者中最差,这是由于尽管Stackelberg系统平均行驶速度较高,但是Stackelberg频繁换道使其变道时间增长,并导致总体行驶效率下降;对于交互效用评分,Stackelberg决策系统由于换道行为次数过多,其表现稍逊于其他两个决策系统。同时从表5-12中有关两种基于规则的决策系统的决策智能性对比可以看出,本节的仿真测试场景能够对同一性质的决策系统中保持良好的区分度,从侧面验证了场景的有效性。

表5-12 不同决策系统的决策智能性评分

2. 应用二:安全性测试(未知危险场景生成)

根据本书2.1.1节中对国际标准ISO21448的介绍,具有恶劣天气、不良道路条件等触发条件的场景可能会导致自动驾驶汽车出现SOTIF问题。在ISO21448中用已知/未知、安全/危险两个维度将场景分为4类,其中如何缩小未知危险场景的范围是提升AV的SOTIF性能时最需要被解决的关键问题。

将经过性能验证的NPC模型按照5.4.1节的方法组成虚拟里程测试系统,并将SUT在环接入,即可开展虚拟里程测试。虚拟里程测试完成后,会产生大量的测试数据,可以通过合理的手段从中获取具有较高测试价值的场景,用于2.1.1节中所述的安全性测试与验证。

场景获取可以通过构建场景处理模块完成。场景处理模块包括两部分:场景识别和场景分类。这两部分用于从虚拟里程测试系统生成的测试数据中识别目标场景,然后将其分类为不同的类型。经过分类的场景输出到目标场景库,并可以用于对SUT的进一步测试。场景处理的本质是对时空连续场景进行切片,以获得所需的片段场景。场景处理模块的设置决定了生成未知危险场景的测试能力,因此需要与测试需求保持一致。

对于场景识别部分,需要通过设定场景描述规则,以确定需要筛选出的目标场景标准。场景描述规则通常是对目标场景共性特征的描述,通过与自动化测试框架的结合可以完成大批量场景的识别。例如,对于危险场景的识别,可以将场景描述规则设定为“发生碰撞”或“最小TTC小于0.5s”。

对于场景分类标准,需要根据目标场景的区别特征,设定每一类场景的分类标准。例如,对于危险场景,可以根据被测系统不同的失效模式对获得的场景进行分类,将场景分类为:碰撞场景、Near⁃Crash场景、违反交规场景、不合理行为场景,如图5-29所示。

图5-29 场景分类标准示例

(1)基于虚拟里程测试的场景生成性能评价方法

对于虚拟里程测试系统,通常需要其生成的测试场景具备有效性、复杂性、高效性、多样性、区分性等性能,因此需要在系统层级对系统的场景生成性能进行测试和验证评价。

有效性评价的是虚拟里程测试系统生成的所有测试数据,是生成场景测试价值的基础。有效性评价分为宏观有效性和微观有效性。

宏观有效性用于验证虚拟里程测试中的交通流密度在自然驾驶环境范围内。在虚拟里程测试中,危险场景大多来源于复杂环境下被测系统和背景车辆的交互。如果在测试过程中SUT周围有大量的背景车,可以增加被测系统与背景车辆的交互,提高未知危险场景生成的效率。然而,这可能会使交通流过于密集,使得环境缺乏真实性,因此系统需要具备宏观有效性。

微观有效性是用于验证背景车在场景中的行为是高度可解释的。它可以通过对背景车在生成场景中的行为进行定性分析来评价。复杂性用于评价每个已确定的关键场景,以量化虚拟里程测试系统生成场景的复杂程度。复杂性可以通过场景描述维度的数量来计算,计算公式如下。

式中,ci为第i个场景的复杂度;cn为归一化系数。

高效性用于评价生成目标场景的效率。它通过每单位时间生成的场景数量进行量化,并通过En进行归一化。如果N/t大于En,则效率结果取1。计算公式如下。

式中, N 为目标场景的生成数量; t 为场景生成时间。

多样性用于评价虚拟里程测试系统对不同类型场景的生成能力。对于一个性能良好的虚拟里程测试系统, 它应该具有在同一时间段内生成不同类型场景的能力。多样性用于评价SUT 的分类场景的分布。多样性通过对不同类型场景的分布标准差来量化。标准差越小, 多样性越好。计算公式如下。

式中, di 为第i 类场景的百分比; m 为场景类型的数量; σ 为场景分布的标准差。

区分性用于评价虚拟里程测试系统对不同SUT 的区分能力。由于SUT 具有不同的特征, 因此不同SUT 的生成结果应该存在差异。区分性的评价是针对不同SUT 产生的不同场景类型的分布。它通过场景分布之间的JS 散度来量化。计算公式如下。

式中, P 和Q 为不同SUT 生成的场景百分比的分布。

(2) 虚拟里程测试系统性能评价实践

本节采用5. 4.2 节中示例生成的NPC 模型和前面提到的性能评价方法, 对虚拟里程测试系统的评价过程进行展示。评价实践中使用到的模型除了5.4. 2节示例中采用强化学习方法生成的中立型、竞争型、合作型NPC 模型外, 还有3.3.2 节中介绍的Stackelberg、Nilsson 和MOBIL 模型。

1) 场景示例。采用DRL 模型作为NPC 模型、Stackelberg 作为SUT 的虚拟里程测试系统生成的场景示例如图5 - 30 所示, 图中红色曲线表示SUT, 其余曲线均为不同背景车(BV)。

如图5 -30a 所示, SUT 前方有车辆切入, 导致SUT 的行驶空间受到压缩,于是产生了换道意愿;此时SUT周围只有与右侧前方车辆的距离较远,于是SUT向右侧换道;但右侧车道后方的BV以比SUT更快的车速向前驶来,最后由于没有合理规避,SUT与其发生了碰撞。

对于图5-30b所示的场景,深红色车辆向左换道到SUT前方,压缩了SUT的行驶空间,SUT产生换道意图。此时SUT左侧车道前中后三个方向均有BV占据车道,因此只能向右侧换道。但位于匝道的BV即将行驶到匝道尽头,因此向左换道从匝道汇入主路,正好与SUT发生碰撞。根据轨迹点判断,二者做出换道决策的时刻相似,同时由两侧车道向中间车道换道。

对于图5-30c所示的场景,位于匝道的棕色车辆已行驶到匝道尽头,做出向左换道汇入主路的决策,切入行驶到SUT前方。SUT被阻挡后,产生换道意图。由于此时SUT左侧车道有车辆并行,因此做出了向匝道换道的不合理决策,最终导致驶向道路边界,发生碰撞。

图5-30 采用基于DRL背景车生成的场景示例

由于BV的行为均可以通过对其周围环境的分析进行合理解释,因此该虚拟里程测试系统具备微观有效性。

对于宏观有效性,将基于DRL模型生成的场景和highD数据集的统计结果进行了分析。highD数据集和虚拟里程测试系统中SUT周围环境的交通流密度和平均速度如图5-31所示。可以看出,当交通流密度相同时,虚拟里程测试系统中SUT周围车辆的平均速度低于自然驾驶数据的最大值。因此,虚拟里程测试系统的交通流量低于自然驾驶数据的最大值,该系统具有宏观有效性。

图5-31highD数据集和虚拟里程测试系统中SUT周围环境的交通流密度和平均速度

2)量化分析。进行量化分析时,为了对比不同试验设置对于场景生成效果的影响,开展了表5-13所示的对比试验。在大多数试验中,SUT被统一设置为Stackelberg模型;在区分性评价时,需要两个SUT,因此MOBIL模型也被作为SUT进行试验。 

①复杂性。对典型示例场景的分析表明, 危险场景的生成通常需要更多的环境条件约束, 从而使SUT 可以选择的安全行为更少, 更容易出现危险场景。因此, 环境的复杂性通常很高。根据本节中描述的方法对生成场景的复杂性进行量化, 获得的结果如图5 -32 和表5 -14 所示。

根据统计结果, 采用基于DRL 的背景车,虚拟里程测试系统生成的未知危险场景的最大复杂度和平均复杂度分别为14 和5.40。复杂度大于6 的高度复杂场景的比例达到32.41%, 如图5 - 32 所示。采用DRL 背景车的系统复杂性评价结果为0.34。

图5-32 生成的未知危险场景复杂度分布

表5-14 复杂性对比评价结果

相比之下,应用动态试验设计(AdaptiveDesignofDomain,ADOE)方法生成的场景通常只有1或2辆背景车。根据复杂性评价方法,最大复杂度为4。此外,采用DRL背景车的虚拟里程测试系统复杂性也略高于采用MOBIL和Nilsson模型作背景车的情况。因此,所提出的方法可以有效地提高生成场景的复杂性,并且采用基于DRL的背景车具有最好的性能。

②高效性。采用DRL背景车的虚拟里程测试系统平均每小时产生16.96个未知的危险场景,这意味着1km测试产生的场景可能需要在自然驾驶环境中行驶超过10000km。使用MOBIL和Nilsson作为背景车时,虚拟里程测试系统平均每小时产生5.01和12.79个未知危险场景。因此,基于DRL的背景车设置是最有效的设置。高效性的评价结果见表5-15。

表5-15 未知危险场景高效性的评价结果

③多样性。采用不同环境设置的虚拟里程测试系统生成的未知危险场景的分类分布见表5-16。与采用MOBIL和Nilsson背景车设置相比,采用DRL背景车的虚拟里程测试系统可以产生更多的违反交规场景和不合理行为场景,使结果更加多样化,如图5-33所示。采用DRL背景车的虚拟里程测试系统的多样性评价结果为0.67,明显高于其他几种背景车设置的结果。

图5 -33 不同类型场景比例分布

根据表5-16的评价结果,MOBIL作背景车时虚拟里程测试系统生成的场景多样性评价结果远低于采用DRL背景车时,这是由于MOBIL作背景车生成的场景多为碰撞场景,Near-Crash和违反交规场景的数量均较少;Nilsson作背景车生成场景的多样性略低于DRL模型,其生成的场景有大约一半为Near-Crash场景,碰撞场景数量明显较少,这是由于Nilsson模型是为了能够安全行驶和换道设计的,其换道行为较为保守,因此生成的场景相对危险性较低。

表5-16 多样性评价结果

④区分性。在区分性评价中,SUT被分别设置为Stackelberg和MOBIL用于场景生成。结果见表5-17。对于DRL模型作背景车的虚拟里程测试系统,MOBIL生成的碰撞和Near⁃Crash场景的百分比高于Stackelberg,Stackelberg具有更多的违规和不合理场景;此外,MOBIL几乎没有生成违反交规的场景。不同的场景百分比反映了SUT的区别。DRL作背景车时,区分性评价结果为0.032,大于Nilsson作背景车的设定。

表5-17 区分性评价结果

5.4. 5 小结

由于决策规划系统在仿真测试中具有较高的保真度,因此可以采用虚拟里程测试的方法对决策规划系统进行测试,进而对其智能度进行评价或对未知危险场景进行生成,极大地提升测试效率。虚拟里程测试通常由NPC模型、测试地图、仿真平台构成,其中NPC模型通常用作仿真模型中的背景车行为生成,是测试有效性来源的最关键因素,因此需要通过合理的方法生成NPC模型,并对其性能进行充分验证。

可以根据不同决策规划系统在虚拟里程测试系统中的行为表现,对其智能度进行测试和评价。可以从安全性、行驶效率和交互效用三个维度对决策规划系统的智能度进行评价,并且经过验证,在采用合适的NPC模型时,虚拟里程测试系统能够对同一性质的被测决策系统保持良好的区分度,从侧面验证了测试的有效性。

虚拟里程测试系统生成的大量测试数据可以通过场景识别和场景分类筛选出测试过程中生成的未知危险场景,并可以从有效性、高效性、复杂性、多样性、区分性等角度对虚拟里程测试系统的场景生成性能进行验证和评价,进而不断对系统进行优化,提升未知危险场景的生成性能,更快地实现对自动驾驶决策规划系统的SOTIF性能验证和优化。

本书首先立足于整体现状对智能汽车测试体系架构进行综述， 并针对测试技术的发展趋势和整个核心技术进行详细描述；然后， 针对测试体系中每一测试过程的概念、核心思想、关键技术、测试方法、发展趋势等进行详细描述。

本书可供智能汽车设计人员及测试人员阅读使用， 也可供车辆工程专业及相关专业师生阅读参考。

点击以下链接购买https://mp.weixin.qq.com/s/OpSNL9nC3aXP1M2uomBd0A

作者简介：

陈君毅,2009年毕业于同济大学汽车学院,获工学博士学位,任职于同济大学汽车学院｡长期从事自动驾驶汽车测试与评价方向研究工作,先后主持和参与国家级､省部级项目共11项,并与华为､路特斯､上汽大众､蔚来等企业开展了深度校企合作研究｡近5年,在国内外学术期刊和国际会议上共发表SCI/EI检索论文近30篇,其中以第一作者或及通讯作者发表的为20余篇;申请发明专利30余项(已授权7项)｡担任SAE汽车安全和网络安全技术委员会秘书､功能安全和预期功能安全分委会主席;是自动驾驶测试场景国际标准(ISO3450X)支撑专家组成员,以及CAICV联盟预期功能安全工作组核心成员;担任《汽车工程》和《汽车工程学报》青年编委委员,IEEE Transactions on Intelligent Vehicles､Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering､《中国公路学报》､《汽车工程》､IEEE Intelligent Transportation Systems Conference､IEEE Intelligent Vehicles Symposium等国内外期刊和国际会议审稿人,曾于多项国际学术会议担任分论坛主席｡

版权信息:

智能汽车测试技术 / 陈君毅等著. -- 北京 : 机械工业出版社, 2025. 5. -- (智能汽车关键技术丛书).ISBN 978-7-111-77871-4 Ⅰ. U467 中国国家版本馆CIP数据核字第2025X8D229号

本书由机械工业出版社出版，本文经出版方授权发布。