基于逻辑场景的安全性评估

智能汽车是汽车､电子､信息通信､道路交通运输等行业深度融合的新型产业形态｡当前, 我国智能汽车产业进入快车道, 技术创新日益活跃, 新型应用蓬勃发展, 产业规模不断扩大,而相应的测试技术体系也在不断完善, 推动产业进步｡本书首先立足于整体现状对智能汽车测试体系架构进行综述, 并针对测试技术的发展趋势和整个核心技术进行详细描述;然后, 针对测试体系中每一测试过程的概念､核心思想､关键技术､测试方法､发展趋势等进行详细描述｡

注：本文节选自《智能汽车测试技术》第七章节，由机械工业出版社于2025年6月份出版

https://mp.weixin.qq.com/s/RtAUb4gGthDTyfS6piB8uQ

《智能汽车测试技术》目录 

第1 章

导论

1.1 背景与需求/ 001

1.2 基本概念/ 003

1.2.1 测试与评价的基本概念/ 003

1.2.2 产品全生命周期中的测评技术/ 004

1.3 现状与挑战/ 005

1.4 本书章节安排/ 006

第2 章

智能汽车

测评概述

 2.1 测评需求分析/ 009

2.1.1 安全性测试与验证/ 009

2.1.2 智能性测试与评价/ 012

2.2 测试方法论/ 015

2.2.1 安全性测试验证框架/ 015

2.2.2 智能性测试评估框架和体系/ 017

2.3 测试工具链及应用要求/ 023

2.3.1 测试工具链/ 023

2.3.2 测试需求与测试工具的适配性/ 027

2.4 本章小结/ 029

参考文献/ 030

第3 章

智能汽车

测试场景

3.1 场景基本概念/ 031

3.2 场景体系/ 033

3.2.1 场景要素与属性/ 033

3.2.2 场景层级/ 035

3.2.3 场景分类/ 036

3.3 场景生成方法/ 037

3.3.1 基于形式化描述的场景生成方法/ 037

3.3.2 基于驾驶员模型的场景生成方法/ 040

3.3.3 安全关键场景生成方法/ 048

3.4 场景采集与利用/ 051

3.4.1 场景采集技术/ 051

3.4.2 场景库搭建/ 052

3.5 本章小结/ 052

参考文献/ 053

第4 章

环境感知

系统的测试

技术与方法

4.1 环境感知系统测试需求分析/ 055

4.2 环境感知系统介绍/ 057

4.2.1 感知系统/ 057

4.2.2 硬件模组/ 058

4.2.3 认知算法/ 058

4.3 环境感知系统测试技术框架/ 059

4.4 各类感知环境介绍/ 060

4.4.1 封闭场地环境/ 060

4.4.2 道路交通环境/ 064

4.4.3 虚拟仿真环境/ 066

4.5 数据生成模型介绍/ 069

4.5.1 降雨图像生成方法概述/ 070

4.5.2 降雨图像生成模型介绍/ 071

4.5.3 降雨图像生成模型结果/ 075

4.6 具体测试案例/ 076

4.6.1 案例一:基于封闭场地环境的感知系统测试/ 076

4.6.2 案例二:基于虚拟仿真环境的硬件模组测试/ 078

4.6.3 案例三:基于虚拟仿真环境的感知系统测试/ 081

4.6.4 案例四:基于三类感知环境和数据生成模型的

认知算法测试/ 083

4.7 本章小结/ 086

参考文献/ 087

第5 章

决策规划

系统的测试

技术与方法

 5.1 决策规划系统的测试需求与挑战/ 089

5.1.1 测试需求/ 089

5.1.2 测试挑战/ 090

5.2 基于场景的测试技术与方法/ 092

5.2.1 静态试验设计测试方法/ 092

5.2.2 动态试验设计测试方法/ 094

5.3 基于真实里程的测试技术与方法/ 101

5.3.1 开放道路测试技术/ 101

5.3.2 重要度采样加速测试方法/ 103

5.4 基于虚拟里程的测试技术与方法/ 104

5.4.1 虚拟里程测试系统组成框架/ 105

5.4.2 用于虚拟里程测试的NPC 模型生成方法/ 106

5.4.3 用于虚拟里程测试的NPC 模型性能验证/ 113

5.4.4 虚拟里程测试的应用/ 118

5.4.5 小结/ 130

5.5 其他测试技术/ 131

5.5.1 自动化测试技术/ 131

5.5.2 错误注入测试技术/ 139

5.5.3 分布式自动化测试技术/ 152

5.6 本章小结/ 157

参考文献/ 157

第6 章

整车测试

技术与方法

6.1 整车测评需求分析/ 159

6.2 封闭测试场地平台/ 160

6.2.1 封闭测试场/ 160

6.2.2 动态模拟目标物系统/ 162

6.2.3 定位与数据采集系统/ 163

6.3 开放道路测试系统/ 164

6.3.1 测试方案制定/ 165

6.3.2 数据采集与数据闭环系统/ 165

6.4 本章小结/ 166

第7 章

智能汽车

安全性评估

7.1 基于具体场景的安全性评估/ 169

7.1.1 场景瞬时风险评估方法/ 170

7.1.2 多阶段安全评估/ 180

7.1.3 单个测试场景结果外推/ 181

7.2 基于逻辑场景的安全性评估/ 182

7.2.1 评估要求/ 182

7.2.2 面向逻辑场景评价的危险域识别方法/ 183

7.3 针对被测功能的安全性评估/ 192

7.4 本章小结/ 192

参考文献/ 193

第8 章

智能汽车

综合行驶

性能评估

 8.1 测评需求与研究现状/ 195

8.1.1 测评需求/ 195

8.1.2 研究现状/ 195

8.2 测评基本流程/ 197

8.3 典型测试场景矩阵/ 198

8.4 测试方法与流程/ 199

8.4.1 测试方案/ 199

8.4.2 背景车跟驰模型/ 199

8.4.3 测试数据输出/ 201

8.5 评价方法与流程/ 202

8.5.1 评价体系/ 202

8.5.2 评价流程/ 204

8.6 测评示例/ 206

8.7 本章小结/ 209

参考文献/ 209

附 录

附录A 测试工况参数设置/ 210

附录B 背景车跟驰模型/ 212

附录C 归一化方法/ 214

附录D 常见缩写词/ 216

7 . 2 基于逻辑场景的安全性评估

基于逻辑场景的安全性评估的关键在于如何基于逻辑场景下所有具体场景的测评结果整合得到逻辑场景层级的测评结果。其本质是将连续的参数空间中离散的“点” 的评价外推至“体” 的评价, 即对逻辑场景中各具体危险场景所处子空间(以下统称为危险域) 的评价。

7.2.1 评估要求

基于逻辑场景的安全性评估需要满足全面性、准确性和可见性的要求。全面性和准确性是指准确且全面地评价被测系统在整个逻辑场景参数空间中的安全性能; 可见性是能够直观地给出被测系统在逻辑场景参数空间中危险域的具体参数范围, 这样有助于研发人员找到被测系统问题的所在。基于此, 将逻辑场景的评价指标概括为危险域模态、空间分布和占比三项指标。其中, 危险域模态数量即危险域所处的不同参数子空间数量, 以发现不同的危险场景类别,表征评价的全面性;危险域空间分布即危险域所处的不同参数子空间范围,表征被测系统所处危险场景的参数范围,以便于反馈至研发进行针对性改进,即评价的可见性;危险域占比大小即危险域参数范围与逻辑场景整体参数范围的比值,表征被测系统在逻辑场景层级整体安全水平的准确估计,即评价的准确性。因此,为保证评价的全面性和准确性,需基于测试结果评价发现所有的危险域模态,同时精细刻画输出其空间范围,并准确评估其占比大小。

7.2.2 面向逻辑场景评价的危险域识别方法

现有的危险与识别方法可以分为两类,一类是基于决策树的方法,另一类是基于聚类的方法。基于决策树的方法,利用决策树将参数空间中的危险域从参数空间中逐步划分出来。基于聚类的方法,利用聚类算法将参数空间中位置相近的危险样本点自动识别成一类,并输出每一类的危险域边界。

1. 基于决策树的危险域识别方法

面向逻辑场景评价提出全面性、准确性、可见性的评价目标。基于危险域模态、空间分布和占比的识别目标,进行逻辑场景危险域识别。首先,为保证逻辑场景模态的全面性,基于MeanShift算法实现对危险域的自动聚类分区,以发现不同场景类别。其次,为精细刻画各个危险模态对应的空间边界,采用基于特征选择记忆化的决策树算法(DecisionTreebyMemorizationFeatureSelec⁃tion,DT⁃MFS)进行空间划分,以保证危险场景所属最小危险域的完全划分和显式输出;最后,在准确刻画边界的基础上,基于对决策路径的解析自动化计算危险域占比,实现对逻辑场景层级的安全水平准确评估。危险域识别方法总体流程图如图7-11所示。

图7 -11 危险域识别方法总体流程图

(1)危险域模态识别

为保证评价的全面性,采用MeanShift算法,以自动识别高维空间中所有的危险域模态,避免危险域识别时漏掉某个模态。MeanShift算法能够自适应地确定类簇数量,适应非均匀、非平坦形状的类簇。能够将空间距离相近的样本划为同一区间并输出各样本对应类簇,符合预期的危险域需求。

(2)危险域分布识别

基于上述分区,为识别对应的危险域分布,需选取合适空间划分方法来划分出危险域。为保证高维空间决策边界的识别,选择C4.5决策树算法。该算法的决策边界平行于坐标轴,能够构成显式的超长方体决策区域,满足评价的可见性要求。

但现有的决策树算法存在特征划分不充分的问题,可能导致危险域识别不准确,从而影响逻辑场景整体评价的准确度。

特征划分不充分是指,在基于决策树算法的空间划分过程中,每次划分都会基于信息增益率或信息增益等指标,在特征集合中找到指标最小值对应的特征及数值,作为最优二值切分点。因此,可能存在某些特征未被划分,就已经实现完全的二分类,完成决策树的构建。

特征划分不充分示例如图7-12所示。该危险域的边界应为x=[-8,-6],y=[7,10]。而用原始的决策树进行危险域划分时,y=7这一边界(红色虚线)未被划分到,即特征划分不充分。因此,若在更高维度的空间中基于这一类特征划分原理进行危险域识别,会造成几何级的误差。

因此,需要改进决策树算法最优划分特征的选择策略,采用动态的候选集合,实现全维度的空间划分,得到危险场景所属的最小子空间,以准确识别危险域。

针对逻辑场景危险域识别问题,决策树算法的目标为:基于场景样本集,划分得到危险场景所属的最小子空间即危险域。由于计算危险域时,特征划分不充分会造成极大误差,因此算法要求各维度的上下边界尽可能都被划分。在此基础上,对各子空间再进一步细分,提高危险域识别的准确度。

基于上述目标,DT⁃MFS算法采用了记忆化的候选集合策略,其最优特征选择策略如下:

1)决策树构建前,设定候选特征集A为包含各特征上下边界的集合,用于子树划分过程中的特征记忆化。对应每个特征,分别采用上标l和u对应下边界和上边界。

图7 -12 特征划分不充分示例

2)最优划分特征选择时,对特征集A进行记忆化更新。每次从特征集中选择最优划分特征ai 后,删除对应子节点的最优划分特征,避免子节点后续选择最优划分特征时仍选择该特征。具体来说,①若相应子节点的判断条件是对特征ai 下边界的划分,则更新子节点对应的候选特征集A=A-al i ;②若相应子节点的判断条件是对特征ai 上边界的划分,则更新A=A-au。基于此,保证每一维度都能被划分到新的上边界和下边界,除非达到提前停止条件即代码段1中的3类递归返回情况。

3)节点对应的候选特征集A为空集时,表明该节点对应的决策区域全部维度的上下边界都已得到划分,即完成全维度划分,得到各类样本所属的最小子空间。

4)若子节点已完成全维度划分,后续划分策略为初始化特征集为A,并取消特征记忆化选择。即按照决策树算法的原始策略,采用固定候选集合进行最优特征划分,实现对参数空间的进一步细分。

记忆化的最优特征选择策略示意图如图7-13所示。

图7-13 记忆化的最优特征选择策略示意图

1)决策树构建前,设定候选特征集为

2)最优划分特征选择时,如节点0~4判断条件为a1 >-5,即对特征a1 的下边界进行划分,因此更新结点4对应的候选特征集A=A-a1l ={a1u, a2u, a2u, a3u, au}。如图7-13中的节点0至节点1判断条件为a1 <-5,即对特征a1 的上边界进行划分,则更新节点1对应的候选特征集

至此,完成对危险域的完全划分,实现基于DT⁃MFS算法的决策树构建过程。

针对决策树算法存在的过拟合即子节点过多的问题,需进一步将范围相近的危险子节点进行合并,以减少危险子节点数量,便于危险域的整合输出。具体的,两两比较决策树输出的所有危险子节点对应的空间,若两个子空间相近,满足合并条件,则将其合并为一个危险域,从而减少了危险域数量,提高评价结果的可见性,使各危险域分布更简洁明晰地反馈至研发,能够针对相应危险域进行功能迭代。

另外,由DT⁃MFS算法原理可知,在特征划分过程中存在提前递归返回的情况。对于这类情况,可能仍存在特征划分不充分问题。因此,为防止提前递归或误划分导致的叶子节点对应子空间的某个维度边界范围过大,在决策树构建完成后采用空间范围限定的策略,通过设定范围阈值和判断边界是否仍为原始边界,筛除原有危险子空间中边界范围过大的空间。

为识别危险域分布,需基于上述DT⁃MFS算法,解析决策树得到由决策边界表示的决策区域。根据决策树根节点到叶子节点的决策路径,将各节点对应的判断条件作交集,得到决策边界表达式见式(7-1)。其中判断条件如a1> v1,则表示被超平面a1= v1 分割开的两个区域中的一个。决策树算法中每个叶子节点对应的决策路径形成的区域交集即叶子节点对应类Ym 的决策区域,其决策边界与坐标轴平行。

对应危险域分布识别问题,决策树的判断条件即参数上边界或下边界的划分,各节点具有相应的关键/非关键的类别标签。因此,通过解析各关键叶子节点对应的决策区域,即实现超长方体危险域分布的识别,实现评价结果的可见性。

(3)危险域占比计算

基于上述高维超长方体的危险域分布,提出了一种危险域占比计算方法。为避免由于各维度空间分布识别不准确导致的各维误差乘积几何级增长,该指标将识别得到的各维度长度进行扁平化计算。设原始空间维度数为d,各维度边长为Li ,经上述方法识别得到N个关键子空间,单个子空间的单维度边长为lni ,其中n表示第n个关键子空间,i表示第i个维度。关键子空间占比指标为F,表示为

由式(7-2)可知,关键子空间占比F最大值为1,即原始空间全部为关键子空间;最小值为0,即整个空间无任何关键子空间。F指标可实现关键子空间占比的归一化评价,且数值随着关键子空间的增大而增大,满足评价结果的准确性。

2. 基于高斯混合模型的危险域识别方法

基于高斯混合模型的危险域识别方法利用多维高斯混合模型拟合搜索得到的危险样本点,并基于3σ原则输出危险域。另外,在输出危险域时会出现两个危险域边界重合的情况,须对可合并危险域进行合并后,再输出最终的危险域。其主要步骤包括危险参数预处理和危险参数聚类,如图7-14所示。

图7 -14 多维逻辑场景危险参数聚类流程

(1)危险参数预处理

由于给定多维度逻辑场景边界的限制,危险样本点集可能不会是一个完整的高斯分布范围。因此需要将危险样本点集在给定参数空间的危险边界按照不同的参数维度坐标轴进行对称。这样既可以将危险样本点集构建成一个完整的高斯分布,还可以保证后续标准化处理后的数据均值落在最危险参数点位置。

由于多维度逻辑场景参数类型不同,参数数值范围差异较大,因此需要对参数进行标准化处理。具体见式(7-3)。

式中,xf 为危险参数集X的第f维危险参数列向量;bf 为对称处理后的第f维危险参数列向量;bf _mean 为对称处理后第f维危险参数的均值;sf 为对称处理后第f维危险参数的标准差;下角标f代表多维度逻辑场景的第f个维度;d为多维度逻辑场景的变量维度总数。由此,可得预处理之后的多维度逻辑场景危险参数集X,见式(7-4)。X中的每一行向量xj (j=1,2,…,m)为每个危险测试用例所对应的参数向量。

(2)危险参数聚类

参数聚类首先需要确定聚类中心数量,本节中采用组内残差平方和计算危险参数聚类中心数量。组内残差平方和是指所有聚类中每个类内的要素距离其聚类中心的误差平方的总和, 见式(7 -5)。

当组内残差平方和变化速率变慢时, 即认为增大聚类数目也不能对聚类结果进行有效的提高, 该速率变化的拐点数即聚类中心数目。

当聚类中心为1 时, 可直接对危险参数进行单高斯模型聚类, 见式(7 -6)。

当聚类中心大于1 时, 应用最大期望值(EM) 算法对危险参数进行高斯混合模型聚类, 即将危险参数分解为多个高斯概率密度函数组成的模型, 见式(7 -7)。

通过上述单高斯模型或高斯混合模型, 可以得到模型参数, 即均值和标准差。利用这些聚类参数建立智能汽车安全性评价指标。

同时, 由于危险参数预处理时进行的对称处理会导致数据扩大, 因此需要对这部分多余的数据进行删除。坐标轴处数据分布在对称处理之后不会增加高斯分布的数量, 但是会造成区域扩大; 其他位置的分布在对称处理之后会导致高斯分布数量增加。因此在整个聚类完成之后需要删除该类多余的分布(多余分布的特点为均值存在对称性, 标准差等同), 并对坐标轴处因对称造成的区域扩大进行修正。对于那些删除数量少于(2d -1)的高斯分布类型, 即位于坐标轴处的高斯分布, 其标准差的修正过程见式(7 -12) 和式(7 -13)。

3. 方法验证

(1)危险域分布识别准确度验证指标设计

(2)危险域识别方法验证结果 

选取基于信赖域的贝叶斯优化算法在Holder⁃Table测试函数上开展加速测试,得到样本点,识别危险域,输出相应模态、分布和占比。进一步的,将基于决策树的危险域识别方法与基于聚类的危险域识别方法进行对比,分别计算两类方法的模态识别准确度、空间相似度以及危险域占比准确度,结果见表7-5。

表7-5 两类方法的识别结果对比

危险域占比准确度计算公式见式(7-15)。

式中, Ad 为危险域占比准确度;G为危险域占比真值;T为方法识别的危险域占比结果。图7-15展示了危险域占比真值为0.1时,危险域占比准确度随识别的危险域占比结果变化情况。可以看出,识别的占比和真值相同,均为0.1时,准确度为1;当识别的占比不为0.1时,占比值与真值0.1差距越大,准确度越小。因此,该指标可以准确反映识别的危险域占比的准确程度。

图7 -15 危险域占比准确度随识别的占比结果变化情况

实验结果分析如下:

1) 危险域模态识别方面, 在Holder⁃Table测试函数上两种方法均能识别危险域的所有模态。

2) 危险域占比计算方面, 基于决策树的方法的危险域占比准确度更高。由表7 - 5 可知, 其占比准确度为96.0% , 比基于聚类的方法的结果(91.5% ) 高4.5% 。

3) 危险域分布识别方面, 基于决策树的危险域识别结果的空间相似度比

基于聚类的方法更高。由表7 -5 可知, 其空间相似度为96.5%, 比基于聚类的方法的结果(88.3%) 高8.2%。

7 . 3 针对被测功能的安全性评估

针对被测功能的安全性评估就是对被测系统某个功能的整体安全性的评估。将上述得到的单逻辑场景中的被测智能汽车安全性评价结果与逻辑场景权重相结合, 即可得到被测智能汽车在多个逻辑场景中的综合评价:

式中, Sall为被测智能汽车在多个逻辑场景中的综合评价结果; wi 为第i 个逻辑场景的相对权重; Si 为被测智能汽车在单个逻辑场景中的评价结果, Si 可通过前面提及的任意一种方式在识别出危险域后获取, 即识别出危险域后, 通过计算危险域占比来得到。关于相对权重wi , 可以通过逻辑场景自身的属性包括暴露率、危害度等确定。其中, 暴露率是指该类逻辑场景在自然驾驶状况下出现的概率。危害度为该场景对被测智能汽车造成损害的严重性。

7 . 4 本章小结

本章基于三层抽象场景架构, 分三部分介绍了智能汽车安全性评估方法。第一部分介绍了基于具体场景的安全性评估方法, 主要内容为场景瞬时风险评估方法, 包括面向单一目标物的、基于可达集的和基于势场论的评估方法; 另外还介绍了基于多阶段安全评估和单个测试场景结果外推的具体场景安全性评估方法。第二部分介绍了逻辑场景的安全性评估方法, 以基于决策树的危险域识别方法和基于高斯混合模型的危险域识别方法为例进行了详细介绍和验证;第三部分介绍了针对被测功能的安全性评估方法。

参考文献

[1]InternationalOrganizationforStandardization.Roadvehicles⁃Testscenariosforautomateddrivingsys⁃tems⁃scenariobasedsafetyevaluationframework:ISO34502:2022[S].Geneva:ISO,2022.

[2]KILICARSLANM,ZHENGJY.PredictvehiclecollisionbyTTCfrommotionusingasinglevideocam⁃era[J].IEEETransactionsonIntelligentTransportationSystems,2018,20(2):522-533.

[3]JANSSONJ.Collisionavoidancetheory:Withapplicationtoautomotivecollisionmitigation[D].linköping:linköpingUniversityElectronicPress,2005.

[4]LIY,LUJ,XUK.Crashriskpredictionmodeloflane⁃changebehavioronapproachingintersections[J].DiscreteDynamicsinNatureandSociety,2017.DOI:10.1155/2017/7328562.

[5]NILSSONJ,ÖDBLOMACE,FREDRIKSSONJ.Worst⁃caseanalysisofautomotivecollisionavoidancesystems[J].IEEETransactionsonVehicularTechnology,2015,65(4):1899-1911.

[6]TYAGII.Threatassessmentforavoidingcollisionswithperpendicularvehiclesatintersections[C]//2021IEEEInternationalConferenceonElectroInformationTechnology(EIT).NewYork:IEEE,2021:184-187.

[7]HOSSEINISM,MURGOVSKIN,DECAMPOSGR,etal.Adaptiveforwardcollisionwarningalgorithmforautomotiveapplications[C]//2016AmericanControlConference(ACC).NewYork:IEEE,2016:5982-5987.

[8]WINKLERS,WERNEKEJ,VOLLRATHM.Timingofearlywarningstagesinamultistagecollisionwarningsystem:Drivers