寻找供应商
广告
首页 > 智能网联汽车 > 正文

LMDrive：基于LLM的自动驾驶系统的训练与微调

2023-12-14 17:20:32·  来源：汽车测试网  
　

自动驾驶技术一直是人工智能领域的研究热点之一。近年来，随着大规模预训练语言模型（LLM）的崛起，其在自动驾驶系统中的应用逐渐引起关注。本文介绍了一种名为LMDrive的自动驾驶系统，该系统利用LLM进行动作预测，并通过两个MLP适配器对未来路点进行预测。为了提高监督信号，训练过程中对历史帧进行预测。在推理时，系统仅执行最新帧的预测。最终的控制信号通过两个PID控制器实现横向和纵向控制，按照LBC的方法来跟踪预测航路点的航向和速度。本文将深入探讨LMDrive的训练目标和两个关键阶段：视觉编码器的预训练和指令微调。


LMDrive的动作预测与微调


LMDrive的核心在于利用LLM进行动作预测。在接收到指令和视觉tokens序列后，系统通过LLM预测动作tokens。为了提高监督信号，系统在训练期间对每个历史帧进行预测，而在推理时仅考虑最新帧。此外，为了更准确地预测未来路点，LMDrive使用两层MLP适配器。这个适配器不仅提高了对未来路点的准确性，还通过一个标志表明给定指令是否已完成。这一设计使得LMDrive能够更灵活地应对不同驾驶情境，从而提高系统的鲁棒性。


训练目标与损失项


在微调LLM及其相关组件时，LMDrive考虑两个关键的损失项。首先是L1航路点损失，这个损失项确保系统对预测航路点的准确性有着高度的敏感性。其次是分类损失（交叉熵），用于确定当前帧是否完成了给定的指令。通过这两个损失项的结合，LMDrive在训练过程中能够更好地理解并适应驾驶任务，从而提高系统的性能。


LMDrive的训练阶段


LMDrive的训练分为两个关键阶段。首先是视觉编码器的预训练阶段，该阶段旨在通过LLM对驾驶场景进行深度学习表示的学习。这一步为系统提供了对复杂环境的抽象理解。第二阶段是指令微调阶段，系统在这一阶段通过与控制信号的对齐来微调LLM，以更好地适应具体的驾驶指令。这两个阶段的有机结合使得LMDrive在不同环境和任务下都能够表现出色。


LMDrive作为基于LLM的自动驾驶系统，通过动作预测和微调两个关键步骤，取得了显著的性能提升。未来，我们期待在该领域看到更多基于大规模预训练语言模型的创新应用，为自动驾驶技术的发展带来更多的可能性。LMDrive的成功经验为未来自动驾驶系统的设计和优化提供了有益的启示。

分享到：
 
反对 0 举报 0 收藏 0 打赏 0
  • 汽车测试网V课堂

    汽车测试网V课堂

  • 微信公众号

    微信公众号

  • 汽车测试网手机站

    汽车测试网手机站

• 基于AUTOSAR架构的车规MCU软件开发探讨 • 新能源汽车中基于车载以太网的LIN物理层、数据链路层、网
• 新能源汽车中基于车载以太网的CAN物理层、数据链路层、交 • 新能源汽车中基于车载以太网的刷写、路由及网络配置测试
• 新能源汽车中基于车载以太网的UDPNM测试 • 新能源汽车中基于车载以太网的DoIP测试方法详解
• 新能源汽车中基于车载以太网的SOME/IP协议测试 • 新能源汽车中基于车载以太网的AVB/TSN协议一致性测试
• 新能源汽车中基于车载以太网的TCP/IP协议一致性测试 • 新能源汽车中基于车载以太网的交换机功能和性能测试

编辑推荐

最新资讯

沪ICP备11026917号-25