解锁大模型和 AI Agent 在车端的革新应用和落地方法

出处：数治网综合

• 一是电子电气架构的中央集中，舱驾控三域融合甚至五域（智能座舱、智能驾驶、车身控制、底盘控制与动力控制）融合的中央计算平台已处于预研或上车阶段——其中复杂的域融合，给整个汽车软件的研发效率、质量、扩展性和延续性等带来了诸多挑战，亟需开放式的软件架构支撑。

• 二是 AI 大模型加速应用，一方面通过对软件工程等辅助开发，提升研发效率和质量；另外一方面则通过在自动驾驶、智能座舱等控制器的端侧部署，为用户带来全新体验，这些也对目前的软件架构带来了新的挑战。

一、AI 大模型

1. AI 大模型分类

• 语言大模型：专注于处理和理解自然语言数据，能够执行文本生成、机器翻译、情感分析等任务。

• 视觉大模型：处理图像和视频数据，执行物体检测、图像分类、场景理解等视觉相关的任务。

• 多模态大模型：结合语言、视觉等多种类型的数据，实现跨模态的理解和生成，例如通过图像理解场景并生成描述文字。

• 通用大模型：设计用于广泛的应用场景，具有较高的灵活性和适应性，但可能在特定领域的专业性上不如垂直大模型。

• 行业大模型：针对特定行业的需求定制，具备较强的通用性和适应性，能够处理多种任务，相当于 AI 成为行业专家。

• 垂直大模型：专注于特定领域或细分市场，具备高专业性和针对性，通常在特定任务上表现更佳，如面向 ASPICE（Automotive Software Process Improvement and Capacity Determination，汽车软件过程改进及能力评估，以下简称 ASPICE）汽车软件架构的汽车软件编码大模型。

2. 汽车行业垂直大模型

3. AI 端侧部署

二、车端应用场景

1. 智能座舱应用

2. 智能驾驶应用

• 环境感知：AI 大模型通过车载传感器（如摄像头、雷达、激光雷达等）获取车辆周围的环境信息，并对这些信息进行分析和处理，进行周围环境的实时感知，为自动驾驶提供基础数据支持。

• 决策规划：决策规划环节中，AI 大模型可以根据环境感知获得的信息，结合车辆的状态，制定出最优的行驶策略。即使遇到复杂的交通情况，AI 大模型也能够快速做出合理的决策，提高驾驶的安全性和舒适性。

• 控制执行：AI 大模型可以将决策规划转化为具体的控制指令，控制车辆的加速、减速、转向等操作。通过对车辆动力学模型的学习，AI 大模型可以实现精准的控制执行，提高车辆的操控性能和稳定性。

• 如今在智能驾驶领域，端到端解决方案正逐渐成为主流，这里对端到端技术做详细分析：

3. 智能车控应用

三、AI Agent 基础服务

四、AI 大模型应用落地方法

• 原型开发：快速开发初步的车载大模型原型，进行初步测试和演示

• 功能验证：验证模型的基本功能和性能，确保其满足 ToB 市场的基本需求

• 迭代优化：收集早期用户反馈，进行必要的调整，保证模型效果快速提升

• 性能优化：对模型进行深度优化，以提高其在车载环境中的性能和效率

• 多任务集成：将大模型与其他车载系统集成，以支持多任务处理

• 硬件适配：针对车载硬件进行模型适配和优化，确保兼容性和性能

• 安全与合规：确保模型满足汽车行业的安全和合规标准

• 大规模测试：进行更广泛的测试，包括道路测试和模拟测试，以验证模型的稳定性和可靠性这个阶段可能需要 1 到 2 年的时间，以完成全面的优化和测试。该阶段时间与阶段一可以有重叠。

• 底层优化：芯片厂商与模型厂商合作，从芯片底层算子和计算单元对模型进行优化，提高运行效率

• 资源管理：优化资源分配，确保模型能够在有限的车载计算资源下运行

• 软硬件协同：实现软硬件的深度协同，提升整体系统的性能