自动驾驶协同测试白皮书 | 数据回放 Data Replay

2023-11-08 11:11:04·  来源:CASAM标准组织  
 

2022年ASAM Evolving Landscapes of Collaborative Testing for ADAS & AD白皮书正式发布。前序推文为读者梳理了基于场景的试验场测试的相关测试用例,本篇将详细介绍相关测试中的数据回放

01

数据回放

为了确保ADAS/AD系统的安全,在认证和发布策略中使用记录的真实数据至关重要。

数据回放Data Replay,DR)是一种开环测试方法,该方法将记录的数据集回放到被测系统(a system under test,SUT)的接口,并根据参考或路面真实(ground truth,GT)数据评估被测系统的响应情况。

目前,这种测试方法可以部署在多个测试平台上(test platforms),比如,软件数据回放(SW-DR,software data replay)或者硬件数据回放(HW-DR,hardware data replay)。

图片

被测系统SUT


02

测试用例

下面介绍测试中使用数据回放的相关测试用例。

图片

使用数据回放的测试用例

上图展示了使用数据回放对环境感知组件确认的测试用例。测试过程的多个阶段既包括环境感知组件的示例,也包括整个ADAS/AD功能图谱。

根据不同被测系统的性质,一旦将数据回放部署在目标系统(SoC)上,测试平台可以采用纯软件测试平台(软件数据回放)硬件测试平台(硬件数据回放)

整个测试从需求定义开始。在此阶段,需求工程师和测试经理规定数据回放测试活动的范围。

一旦确定了被测系统的成功和失败标准,例如上图给出的带有阳性对象检测百分比(the percentage of positive object detections)的示例,就必须清楚地确定功能的设计运行范围(ODD)。要利用数据管理软件从记录的数据字节中选择此设计运行范围内的相关数据集,这是关键的一步。

然后,测试设计人员执行这一特定任务,即从数据库中选择正确的数据集。此外,设计人员还为这些数据集的每个类别创建测试用例,选择数据回放测试平台(软件数据回放或硬件数据回放测试站),并选择被测系统版本(始终为最新的被测系统版本或固定的发布版本)。

测试人员还需负责在测试套件中对多个测试用例进行分组,以便将各个测试执行结果(the percentage of positive object detections)汇总在一个观点中(a single viewpoint)。

一旦执行了所有测试规范,测试工程师将接管自动测试的执行,可以通过迭代并行的方式执行测试。通常为了缩短测试周期和相应的上市时间,会首选并行执行测试。

最后,在测试报告中显示结果,并附上所有测试结果,如执行日志数据包括测试元数据。此外,如果测试失败,可使用预览工具进行测试调试。


03

测试规范

下表列出了数据回放示例中一些要求和特征,以便读者根据通用标准同其它测试用例快速结合和比较。

图片

有关测试规范的需求



分享到:
 
反对 0 举报 0 收藏 0 评论 0
沪ICP备11026620号