综述：自动驾驶应用中知识增强的机器学习方法（三）

最后剩下章节：

可视化是一种以令人印象深刻的形式表达抽象和复杂知识的好方法。因此，它也可以作为一个有效的工具来展示从机器学习模型中提取的知识。与文本、公式或其他符号解释不同，可视化可以提供一些复杂信息的直观印象。这种可视化可以启发人们更好地理解，甚至改进算法。

许多研究都集中在机器学习模型的视觉解释上。其中一个叫做视觉分析，旨在利用人类视觉系统和人类知识来识别或假设通常隐藏在大型数据集的模式。

7.1 视觉分析：作者是Cvejoski, Kelsch

视觉分析（VA）是一个研究领域，其中定义和调查采用人类视觉系统和人类知识对大数据集通常隐藏模式进行识别或假设的过程。这包括了许多长期以来数据可视化中使用的技术，并应用了统计学和数据科学，不过对复杂机器学习模型（如神经网络）进行彻底考察的需求也推动了VA在该领域的发展。

VA在机器学习生命周期的实际部署是灵活的，这也是其调研的基础和目标。在机器学习内，VA研究和开发了方法和组织过程，即机器学习开发生命周期不同阶段之间的反馈循环。以数据准备（Data Preparation）阶段为例，包括数据获取和标注、而模型工程（Model Engineering）包括架构搜索和训练方案，以及质量保证（Quality Assurance）。

首先也是最直接的一点，VA可以用作Data Preparation阶段的质量检查。调研的重点是在相似或相同的情况下比较数据点并检查相关标签的一致性。在这一点上，VA也经常用于执行数据集分析，例如，他们调研和量化不平衡分布，并识别缺失案例，从而反馈给数据采集过程。在Data Preparation阶段，可以直接报告和考虑各种见解。

其次，通过训练的模型，VA允许识别机器学习模型的优缺点，以及其系统性成功或失败的聚类语义形势。这些发现随后可以反馈到Model Engineering阶段，特别是模型定义或模型训练过程。

然而，如果缺乏输入数据或标注不足而明显无法执行所需的分析，则可以向Data Preparation阶段发出相应的请求。例如，VA可以支持为未来分析建议元数据的标注过程，以及直接搜索和选择操作。

这涉及到主动学习领域，其中操作员和经过训练的机器学习模型的相互作用推动了新数据点及其标签的选择。同样，直观可视化技术与可解释AI领域也有重叠，其目的之一是为难以解释的机器学习模型导出清晰的视觉表征。

总结一下VA过程：首先是 overview，然后是 zoom 和 filter，然后是details- on-demand。这基本定义了任何VA方法的主要组成部分：可视化、选择和搜索等方法。

VA是一个视觉技术得到极大发展的领域，可以更好地理解数据、模型构建和模型决策。在自动驾驶这样的安全-紧要领域，模型的透明度和问责制（accountability）非常重要。DNN在自动驾驶领域的利用率越来越高，这就需要开发出能够回答模型得出一定结论“为什么”和“为什么不”问题的技术。

在机器学习流水线的所有阶段使用VA技术，可以帮助专家更好地理解他们构建的目标检测模型优缺点。VA系统为构建 human-in-the-loop AI系统打开了一扇门，这有助于开发更好的感知模型。也提供视觉解释，例如“为什么一个目标被检测为人”，为什么不是狗。通过VA的技术，能够为感知、形势解释或规划任务建立更好的数据集。

7.2 显著图：作者是Hellert

热映射（heat mapping）、像素属性或显著性（saliency）图是获得可解释视觉表征的方法。这些方法正在生成热图，指示特定输入样本或一组输入样本中输入像素与输出的相关性。如图显示了显著性图的两个示例：红和蓝分别代表显著性的正和负。

因此，这些图可以直接用于手工解释或调试。有两种关于locality的方法，在可解释人工智能（XAI，Explainable Artificial Intelligence）的背景下，即局部和全局locality。局部方法仅对样本子集解释ML模型或再受限输入数据空间解释特定行为。

显著性图方法属于局部locality范畴，通常在非常相似的样本上用局部方法来评估模型是否对相同线索进行预测。例如，在行人分类，假设头部或身体等特定区域对分类结果很重要。全局XAI方法试图解释完整机器学习模型的行为。例如，图像分类任务，对于一个类来说，应该由多个部分组成。这些部分的每一个都被视为概念，全局方法将揭示一个类所有样本之间共享的概念。这些概念本身可以在语义上进行解释，就类别而言，车辆概念可以是轮胎、车窗或车灯。

此外，显著性图方法可以是模型特定或模型不可知。模型特定方法只能用于特定模型，例如CNN，而模型不可知方法将机器学习模型视为黑盒。通常，特定模型方法使用梯度，不可知模型方法使用扰动方法。下表给出显著图方法的概述：

这个表中列出的几乎所有方法都可以用做感知的局部解释。大多数方法可以应用于解决分类任务的模型，但其中一些方法已经或可以适用于目标检测，这是解决自动驾驶车辆中感知的主要任务。通常，局部解释用于调试或改进机器学习模型的性能，但这些方法的结果也可以在输入受干扰（例如，相机镜头的污垢）时给出感知组件鲁棒性的提示。

总的来说，所有方法都有一个主要缺点：它们只能对特定的输入进行局部解释，不可能泛化观察结果。但也有人试图从局部显著性图中获取全局信息。此外，特别是感知，显著性图方法的计算成本也是相当可观的。模型无关的方法，如RISE或LIME，需要对机器学习模型进行多次前向评估，而基于结构或基于梯度的方法，如LRP，只需要对输出进行一次后向传播。此外，像IG或SmoothGrad这样的平滑方法也需要一些前向和后向的运行，以确保稳定性。

显著性图不直接适用于形势解释。一方面，显著性图可用于获得目标之间的互连，其中某些特征有助于多个目标实例。另一方面，热图也可以作为额外的不确定性源。当然，缺点是额外的计算成本。对于规划，显著性图方法也适用，如果可以处理表格数据，对一些组件来说确实如此。因此，在自动驾驶车的预测轨迹，可以估计目标实例的重要性。这也让内部人士了解自动驾驶车和其他道路参与者的行为。从形式上讲，如果预测轨迹符合一组规则，则可以执行健全性（sanity）检查。此外，可以使用显著性图或解释性方法来揭示哪些目标影响了预测的轨迹。

7.3 可解释特征学习：作者是Kraft, Kreuser

基于视觉的机器学习模型性能，在很大程度上取决于它们的特征表征。计算机视觉领域的早期工作集中于开发手工特征，如HOG。随着深度学习的出现，特征表征可以从训练数据中自动学习，不再需要手动调整。已经证明，自动学习的特征比经典的手工设计有很大的优势，尤其是在图像分类和目标检测方面。

然而，在最先进的深度学习模型中发现的特征表示通常很难被人类理解和解释。这通常是其大维度和高复杂性造成的。Explainability & Interpretability 是非常重要的安全要求，因为在安全-紧要系统部署到实际应用程序之前，必须能够理解其局限性。因此，深度学习模型不透明的黑盒子性质很难满足这些需求。尤其是AI自动驾驶等应用，任何预测错误都可能产生严重后果。

一种神经网络学习可解释特征的方法，是基于解纠缠（disentangled）表征。解纠缠表征法的思想是训练神经网络，识别彼此不影响有意义的输入特性。因此，如果一个输入属性发生更改，其他属性基本上不会受到影响。

解纠缠表征的目的是解脱（disentangle）潜特征空间，并将其与预定义的概念对齐。这是通过学习一个白化矩阵来实现的，该矩阵对数据进行去相关和标准化，并沿潜空间轴最大限度地激活已知概念。总的来说，有不同的方法来实现解纠缠表征。非监督方法直接从数据中提取变化因子，而监督方法则使用具有所需语义属性的数据。

可解释性是自动驾驶中目标检测任务的重要前提。检测（2D或3D）通常类似于基于摄像头的场景感知主干。由于自动驾驶是一种安全-紧要应用，因此需要可解释的目标检测。其中一个挑战是，许多方法只关注图像分类任务。因此，研究如何在目标检测任务中扩展或改进这些方法将是一件有趣的事情。

自动驾驶车辆是安全-紧要系统，这意味着其故障可能具有严重的后果，例如，当行人被检测系统忽略时。因此，必须确保安全可靠地运行。尤其是应符合现有的安全原则和知识。其中一个原则是识别和处理不确定性，即可能导致系统以不可预测的方式运行的因素。

另一个原则是可解释性，也就是说，理想情况下，人类应该能够理解系统为什么做出特定的决定。为了改善这一点，DL系统的决策过程应该与人类决策更加一致，因果推理是人类决策的核心组成部分。

还有一个方面是符合有关自动驾驶汽车环境的现有知识。特别是，环境受到某些规则的约束，例如交通法规、自然法或人类常识。

8.1 不确定性估计：作者是Pintz, Wirth, Houben

传统的机器学习算法，如神经网络，只能预测单个最佳估计。默认情况下，不提供该单一估计正确的任何概率，也不提供所有可能估计正确的概率，即输出空间的分布。因此，无论是分类任务的（可靠）正确性概率，还是回归任务预测范围的测度，都不可用。然而，这些信息与自动驾驶等安全-紧要应用高度相关。

正确性或范围的衡量能确定下游任务使用预测是否安全，以及在多大程度上安全。此外，系统可能会识别输入何时偏离操作设计域（ODD），因此可能无法正确处理。此外，根据用例的不同，可以使用数字限制来“谨慎地犯错”或“乐观地犯错”。例如，在视觉目标检测时，应该对“免费停车”标志持保守态度（例如，如果肯定，只预测），但即使不确定，也应该预测行人。

特别是在城市场景中，还必须考虑道路使用者确切位置的不确定性，并根据可能的定位误差保持一定距离。在考虑其他道路使用者的轨迹预测时，还需要能够对高度不同的可能性做出反应（如转弯与直行），这需要根据正确性概率进行多个估计。此外，一些先进的机器学习方法，如主动学习或持续学习，明确要求某种形式的置信度或不确定性估计。

通常考虑两种不同类型的不确定性：任意（aleatoric）不确定性和认知（epistemic）不确定性。任意不确定性与数据相关有关，这意味着不能用更好的模型或更多的数据（例如，观测噪声或缺乏最佳解决问题的信息）来“解释”。认知不确定性是由机器学习模型及其训练的局限性引起的，理论上可以通过更多的数据或更好的方法消除。

在不确定性估计中，寻求在机器学习模型中找到描述不确定性的分布。分布通常在模型参数空间（用于描述认知不确定性）或输出空间（描述任意性不确定性或任意性与认知的不确定性组合）中。

确定性方法不需要蒙特卡罗采样进行推理，只需一次前向传播即可提供不确定性估计。这些方法避免了采样的固有成本，但可能会大幅增加网络的内存占用和操作数。因此要么计算成本高，要么仅在特定模型假设下工作，比如特定的激活函数。

确定性方法通过单个前向传播提供不确定性估计的能力，通常伴随着对不确定性分布的限制（例如，参数模型）。基于采样的方法允许近似得到更灵活、更复杂的分布。为此目的，一个通用工具是蒙特卡洛集成。例如，近似任意复杂的预测分布。这一想法产生了多种方法，试图从后验分布获得样本。此外，还有一些采用蒙特卡洛集成的非贝叶斯方法。

预测不确定性表示的方法，除了机器学习模型的原始性能指标外，还可引入一些额外的质量指标，如分类率、均方根误差、平均精度等。可以用适当的评分规则来评估不确定性估计的质量，其量化了预测分布与给定真实数据点的对齐情况。当预测分布与数据分布一致时，该估计达到最佳。常用的正确评分规则包括负对数似然（NLL）、Brier评分（用于分类）或连续排序概率评分（CRPS，Continuous Ranked Probability Score）。

另一种评估不确定性估计的方法，提供了标定框架。通常标定测量的是，类概率或置信区间估计是否符合实际模型误差。经过标定的分类器满足所有类预测，正确预测的分数为p，且估计类概率为p。可以用预期标定误差（ECE，Expected Calibration Error）对特性进行定量评估。需要注意的是，ECE受到多种反常变化的影响，应明确考虑。

通过比较类概率和分类准确度的可靠性图，可以进行一个定性评估。对于回归模型（基于真值输出如何符合预测置信区间）和某些应用领域（如目标检测），也存在类似的标定概念。为了进行更严格的评估，可能希望标定属性不仅适用于整个（评估）数据集，而且适用于数据集的局部区域，这是由对抗性组标定捕获的。

还可以在辅助任务中测量不确定性估计性能，例如数据外检测（out-of-data-detection）。将真检测与假检测或输入与输出数据分离是一项二元分类任务，其中类别通过阈值不确定性估计来确定。因此，可以对二元阈值分类器采用标准评估方法，包括绘制精度-召回或Receiver Operating Characteristic（ROC）曲线进行定性评估，或计算平均精度或Receiver Operating Characteristic（ROC）曲线下的面积。

另一种方法是比较每类输入（如in-data或out-of-data）的不确定性估计直方图（如方差或预测熵）。在技术应用中，计算复杂度，即与单点估计相比计算不确定性估计的开销，以及延迟，即计算复杂度中无法有效并行或流水线的部分，因此导致额外的推断时间，也被考虑到评估中。

在特定应用场景中进行不确定性评估的主要挑战包括：根据规则对专门层的处理，将不确定性纳入预处理/后处理步骤，处理异常数据结构，利用特定任务的假设和效率。

8.2 因果推理：作者是Latka

“如果我选择A路而不是B路，我会早点到达目的地吗？”这样的查询，看起来很熟悉，是人类推理的一个例子。上述例子可归因于因果论证（CR）的概念，这是因果推理（CI）的一个子类，也涉及因果发现（CD），即从数据推断因果关系，并将其编码为因果模型。

对于数学上等价的因果模型，有两种常见的描述框架：

1. Rubin因果模型（也称为Neyman-Rubin因果模型或Neyman和Rubin的潜效果框架）

2. 结构因果模型（SCM）。

Neyman和Rubin的潜效果框架仅采用反事实（counterfactual）表示法，而SCM则明确使用DAG的图形表征法，反事实表达式可以从中推断出来，如下图所示：SCM由一组因果机制（fX和fY）和一个DAG组成，DAG模拟变量之间的因果关系流（有向箭头）。这里SCM由原因（X）及其效果（Y）组成，两者都被潜变量（U）打败。为了清晰起见，这里省略了与外部噪声变量εX和εY相关的节点。

SCM的关键特征是，将每个变量表示为其直接原因以及原因不在SCM范围内的潜外部不确定性变量（εX、εY和U）的确定性函数（fX和fY）。

根据定义，因果推理是从因果模型中得出结论的过程，类似于概率论对随机实验结果进行推理的方式。然而，由于因果模型被认为是数据生成过程，比概率模型包含更多信息，因此更强大，允许分析干预或分布变化对目标变量的影响。

给因果模型提出的问题称为因果查询，是因果推理的核心，可以分为三个日益复杂的因果层次：

1. 关联（相关性），

2. 干预（积极改变因果机制），

3. 反事实（回溯推理）。

刚刚描述的因果层次（Causal Hierarchy）结构也经常被称为Pearl’s Ladder of Causation，如下表所示：

除此之外，还有不同类型的因果推理：

• •预测（及时推理），

• •外展（从证据到解释的推理），

• •转导（通过共同原因进行推理），

• •归纳（从经验到因果知识）。

8.3 规则一致性：作者是Vivekanandan, Bührle, Königshof

• 规则一致性的定义

根据ISO 9000:2000标准，符合性（conformity）定义为满足某些要求。规则是从当地法律和社会行为结构中衍生出来的一组正式代码，同时有效地考虑了算法的操作设计域（ODD）。试图对行动可能导致的风险进行分类，遵守规则是一个至关重要的因素，这使自动驾驶汽车（AVs）不仅对乘客安全、而且对行人和骑自行车者等其他交通参与者安全负责。

对交通规则子集形式化，将优先级与车辆相关联，不仅可以实现合规行为，还可以将车辆保持在安全状态。

• 规则和安全

可以定义一些数学规则，将常识概念/行为，例如保持车辆之间的安全间距、并入的安全行为，以及避免可能导致碰撞的操纵等形式化。根据ODD，可以根据形式规则对行为进行广泛分类；这些规则由法律规定，也可以从环境中衍生出来，包括停车标志、适当速度标志、双实线车道或虚线车道等标志。其中每一条规则都简要定义了需要整合到模型学习过程中的规律。

另一方面，与法律明确规定的规则相比，非正式规则很难公式化，但需要遵守，以避免碰撞或（和）提高乘客的舒适性。例如，给紧急车辆让路时候，可以穿过实线，或在交叉口处闯红灯，如果为救护车留出一个通道。在这种情况下，如果存在违反规则不会同时危及乘客和Vulnerable Road Users（VRU）的机动，在严格遵守安全要求情况下，可执行规定优先级的机动。

• 顺从但是有常识可循

对于自动驾驶车来说，何时遵守或放松规则是一个复杂的决策过程，能认识到此类行为的情况本身需要通用智力（General Intelligence），而由于隐含的常识概念，人类可以具有这种智力。

考虑一个例子，即在右侧车道行驶的相邻车辆意外并入的情况下，如何实现无碰撞操纵。为了产生顺从行为，该算法应该尊重下面迭代的属性。这个层次结构是从自车角度定义的，遵循一个简单的自行车模型。

1. 通过预测网络检测和跟踪周围的目标，该网络根据目标类别考虑不确定性。例如，与运动程度较高的行人相比，骑自行车人可能会散发不同的状态。

2. 计算正式规则定义的安全横向和纵向间隙。

3. 基于2；一条连续的轨迹，不仅符合交通规则，而且为相关乘客和VRU提供安全和舒适性保证。

• a） 如果不存在这样的有效路径，则应优先考虑下一个最佳计划，该计划可以以最佳成本进行切换。

• b） 备选计划可以（多模态轨迹预测）预先计算，方法是确保在放松法规的顺从性约束与乘客的安全之间保持微妙的平衡。例如，如果穿越双实线车道可以拯救生命，那么就应该采取行动。

• c） 还应评估将车辆置于最低风险状态（MRC，Minimal Risk Condition），使车辆处于安全状态。

在这项工作的当前范围内，不考虑不确定性的影响以及与人类生活有关的伦理问题。通常，这些规划应该在不确定性的情况下计算，减少现实世界带来的风险。

• 约束和一致性

定义输出空间的上下界，在学习函数嵌入约束，是确保神经网络符合特定目标的直接方法。现代自动驾驶车利用机器学习模型，通过正则化和优化用基于随机梯度下降的算法进行训练；在子空间中设置软约束。这里，正则化是一组用于微调预期行为的规则。

另一方面，当硬约束是神经网络结构的一部分时，网络应注意所涉及的物理性，其预测不应偏离所施加的上述约束。期望网络的输出仅限于物理子空间，确保符合给定的边界。与通过软约束训练的神经网络相比，物理原理引导的网络从不偏离边界，从而隐式地尊重边界。

通过对系统的时域属性进行推理，可以将规则的一致性重新表述为约束满足问题。确保规划运行期间车辆的安全是一项关键任务，这样就可以减轻可能发生的碰撞。因此，以时域逻辑的形式表达规则并满足这些规范，用Signal Temporal Logic（STL）验证系统属性，其中检查和验证规则的形式一致性。

尽管如此，有不同的方法通过Linear Temporal Logic（LTL）以关系层次结构的形式定义规则。这使得人们能够灵活地描述规则之间的相对优先级，从而向规划者发出控制命令，根据规范，这些命令被视为符合要求。这些可扩展的“规则手册”可以在一定程度上明确地捕捉自动驾驶环境中的常识和非正式规则。

-----完------