, (1)北京大学学报(自然科学版) 第62卷 第2期 2026年3月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 62, No. 2 (Mar. 2026)
doi: 10.13209/j.0479-8023.2025.094
中国科学院青年创新促进会项目资助
收稿日期: 2025–02–21;
修回日期: 2025–03–21
摘要 针对自动驾驶强化学习(RL)在复杂场景中直接训练面临样本效率低下、收敛困难的问题, 提出一种基于统一数据表征的跨仿真代理构建方法, 并在此基础上实现 DrivingGym 训练环境。该方法将状态输入抽象为传感器、状态和路网 3 个层面, 通过动作适配器实现不同仿真环境的控制接口统一。在 CARLA 和 Meta-drive 等常用仿真平台上的实验结果表明, 该方法能够支持 RLlib 和 Stable-Baselines3 等主流强化学习框架进行训练, 并实现简单环境到复杂环境跨仿真的自动驾驶策略应用。
关键词 自动驾驶; 强化学习(RL); 跨仿真环境; 代理构建
作为人工智能的重要分支, 强化学习(reinfor-cement learning, RL)凭借其通过试错学习获得最优策略的能力, 为构建自动驾驶决策策略提供了新的研究途径[1]。与传统的监督学习方法不同, 强化学习不依赖大量标记数据, 而是要求代理(Agent)能够持续与环境(Environment)进行交互来积累经验并优化决策策略, 这一特性使其特别适合解决自动驾驶中复杂多变的交通场景下的决策问题[2]。近年来, 强化学习在自动驾驶领域的应用研究取得显著进展, 从单车轨迹规划到多车协同决策, 展现出解决传统方法难以应对的复杂场景决策问题的潜力。
在自动驾驶的实际应用中, 出于对安全风险以及经济成本的考量, 强化学习算法无法直接在真实道路环境中进行大量采样训练, 研究者通常依赖仿真系统构建训练环境。然而, 自动驾驶任务场景复杂多变, 直接在复杂交通场景仿真环境下进行训练往往效率低下且收敛困难。一种可行的训练路径是先在简单场景中获取基础策略, 再迁移至复杂场景中进一步优化。目前, 自动驾驶仿真平台在场景复杂度上存在明显的梯度差异, 从场景相对简单的Highway[3]和 SUMO[4]到中等复杂度的 MetaDrive[5], 再到包含丰富城市道路和交通参与者的 CARLA[6]和 AirSim[7]等, 各有侧重。因此, 为实现从简单到复杂场景的渐进式训练, 需要跨仿真平台的策略迁移环境支持。
目前, 基于上述各类仿真平台已构建多种自动驾驶强化学习训练环境, 使强化学习算法能够与这些仿真系统进行交互训练。然而, 针对跨仿真平台策略迁移的需求, 现有环境普遍存在以下局限性。
1 )算法与仿真系统强耦合。基于 CARLA 的环境使用 Carla Client 获取仿真数据, 基于 SUMO 的环境则采用 TraCI 协议实现交互, 算法策略难以在不同仿真系统间迁移。
2 )接口设计碎片化。现有仿真系统对外提供的交互接口并不统一[8], 需针对不同平台开发独立的训练环境, 而研究者往往仅针对其提出的算法进行简单封装, 难以扩展应用于其他工作。
3 )缺乏统一的代理接口设计。现有环境中对代理观测空间、动作空间和奖励机制的定义各不相同, 导致在一个仿真平台上训练的代理难以迁移到其他平台。
为解决上述问题, 本文提出一种面向自动驾驶的跨仿真强化学习代理构建方法, 并实现一个强化学习训练环境 DrivingGym。该方法采用适配器模式, 实现仿真平台与强化学习训练环境的解耦, 通过设计统一的数据结构和接口, 抽象不同仿真系统的观测、动作和奖励空间, 为自动驾驶代理提供一致的交互方式, 从而支持跨仿真的策略应用。
强化学习在自动驾驶的变道、合流和路口通行等多种复杂场景中展现出优越的性能, 这些应用的实现依赖于合适的训练环境。强化学习是一种序列决策过程, 其中代理通过与环境交互学习一个策略(policy)来最大化累积回报(cumulative reward)[9]。在自动驾驶中, 代理可以代表被控车辆, 环境则由交通场景构成, 强化学习的目标是学习出能够安全、高效驾驶的策略。
一个典型的强化学习问题可以形式化为马尔可夫决策过程(Markov decision process, MDP), 可以定义为五元组:
, (1)其中, 
是状态空间, 表示环境的所有可能状态, 例如车辆速度、位置以及周围交通参与者等; 
是动作空间, 表示代理可以采取的动作, 如加速、刹车和转向等; P(s'|s, a)是状态转移概率, 表示在状态 s采取动作 a后转移到新状态 s'的概率; R(st, at)是奖励函数, 衡量时间步 t下采取动作 a后获得的即时奖励, 例如保持安全距离以及遵守交通规则等; 
是折扣因子, 用于权衡短期奖励与长期奖励的影响。代理的目标是学习最优策略p*, 即一个从状态到动作的映射, 使得期望累计折扣回报最大化:
。 (2)
强化学习具有在交互中学习的特性, 可以很好地应对自动驾驶中复杂的环境变化和不确定性[10],近年来已成功地应用于自动驾驶的多个关键任务中。Yavas 等[11]、Chen 等[12]和周荣良等[13]基于深度强化学习能够根据环境学习其他交通成员的意图的能力, 实现优于传统算法的安全变道行为策略。对于场景更加复杂的匝道合流场景, Lubars 等[14]、Triest 等[15]和罗归权等[16]将强化学习决策与传统控制器相结合, 实现更好的泛化性能。在无信号交叉路口这类没有明确驾驶规则的场景下, Seong 等[17]和 Ma 等[18]通过在强化学习代理观测中整合时空信息, 帮助代理完成合理决策, 相较于基线算法得到显著的性能提升。Zhou 等[19]考虑多车交互的决策控制, 挖掘面向多车协同的多代理强化学习方法。
强化学习训练的基础是代理与环境的持续交互, 因此训练环境的设计对算法性能与应用价值至关重要。对于自动驾驶, 理想的强化学习环境应当具备 3 个特性: 1)场景多样性, 支持从简单到复杂的各类交通场景配置; 2)仿真一致性, 确保环境可复现且训练结果可靠; 3)接口标准化, 方便实现算法的迁移应用。在 OpenAI Gym[20]提出的标准化环境接口框架的启发下, 研究人员已开发多个专门面向自动驾驶的强化学习环境, 这些环境基于不同的仿真引擎, 为自动驾驶强化学习研究提供了重要的实验平台。
表 1 为现有自动驾驶强化学习环境的主要特性。从场景复杂度看, 基于不同仿真系统的训练环境形成清晰的梯度, HighwayEnv 和 SUMO-RL[21]等环境专注于交通流仿真, 场景相对简单, 训练效率高, 适合高层决策策略的快速验证和初步训练。Metadrive 提供了中等复杂度的场景, 引入基础的三维场景渲染, 但其感知信息的真实度仍然有限。基于 CARLA 的环境提供高度复杂的城市场景和丰富的交通参与者, 能够支持更贴近现实的场景测试。由于各训练环境与其底层仿真系统强耦合, 而仿真系统采用不同的数据格式和接口设计, 导致现有环境在扩展性和模块化支持方面存在不足, 难以提供从简单到复杂场景的跨仿真策略迁移应用支持。
为了实现跨仿真代理的构建, 本文首先对自动驾驶代理的基本组成要素进行分析, 并对比不同仿真系统提供的功能特性。在此基础上提出一套跨仿真统一代理构建方法, 并设计和实现 DrivingGym训练环境。通过设计标准化的数据结构和调用流程, 该环境能够将不同仿真系统的原始数据映射为统一的表示形式, 支持自动驾驶代理策略在多个仿真平台间的迁移部署。
2.1.1 自动驾驶代理的构建
在自动驾驶强化学习中, 一个完整的自动驾驶代理包含观测处理、动作执行、奖励计算和任务目标四大核心要素。观测反映代理对环境的感知能力, 动作定义代理可以采取控制指令, 奖励和目标则指导代理进行策略优化。不同的仿真系统为代理构建提供不同的数据支持, 表 2 对比主流仿真系统可提供的关键数据项。
通过对仿真系统数据支持的分析, 本文将仿真系统向代理提供的状态输入抽象为 3 类基础数据: 传感器数据(相机和激光雷达等)、状态数据(车辆位置和速度等)和路网数据(车道信息和路网拓扑等)。基于上述数据, 提出一种基于统一数据表征的代理构建方法, 实现跨仿真的代理构建。该方法的核心是设计一种统一的帧数据(Snapshot)结构, 作为代理与仿真环境交互的基本单元。每个帧数据包含当前仿真时刻的时间戳、场景中所有参与者的状态信息以及传感器数据。在帧结构中, 不同仿真系统的原始数据统一转换为相同格式, 使代理可以在不关心底层实现的情况下处理来自不同环境的数据。通过维护和缓存帧数据, 系统能够支持时序信息分析, 满足强化学习中对历史状态的处理需求。
基于统一的帧数据表征, 代理的观测空间可以采用一致的方式构建。结合自动驾驶中典型的数据流特点, 观测构建过程遵循“感知–理解–决策”的信息处理链路, 从帧数据中提取多层面特征。在感知层面, 可直接使用传感器原始数据(如 RGB 图像和激光雷达点云), 满足端到端学习需求。在理解层面, 可提取语义级特征(如车辆相对位置和相对速
表1 现有自动驾驶强化学习环境对比
Table 1 Comparison of existing autonomous driving RL frameworks
环境框架仿真系统支持场景复杂度标准化支持扩展性支持模块化支持 HighwayEnvHighway简单场景GymnasiumAPI代理模块 SUMO-RL[21]SUMO简单场景Gymnasium, PettingZoo–– MetaDriveEnvMetadrive中等复杂场景Gymnasium, Gym–– Gym-Carla[22]CARLA 0.9.10复杂场景Gym参数配置– OATOMobile[23]CARLA 0.9.6复杂场景Gym参数配置– Carla-Roach[24]CARLA 0.9.10复杂场景GymAPI代理模块 Macad-Gym[25]CARLA 0.9.13复杂场景RLlib, Gym–– MATS_Gym[26]CARLA 0.9.15复杂场景PettingZoo参数配置– DrivingGymCARLA 0.9.12+, Metadrive, Highway, ...由简单到复杂的多样性场景GymnasiumAPI仿真适配器, 代理模块, 场景定义
说明: “API级别扩展”表示预留有基类或接口定义且支持动态加载, “参数配置级别扩展”表示可通过修改环境创建参数; 调节预设观测细节, 模块化支持表示可单独更换一个代码模块而不影响环境其他部分运行。
表2 主流仿真系统中的仿真数据
Table 2 Simulation data provided by mainstream simulators
数据项HighwaySUMOMetadriveAirSimCARLA 观测数据传感器数据RGB相机´´ÖÖÖ 激光雷达´´´ÖÖ 语义分割´´´´Ö 状态数据车辆位姿ÖÖÖÖÖ 车辆速度ÖÖÖÖÖ 车辆加速度ÖÖÖÖÖ 车辆控制量Ö´ÖÖÖ 路网数据路网拓扑´ÖÖÖÖ 交通规则´ÖÖÖÖ 导航路径´ÖÖÖÖ 动作数据油门控制Ö´ÖÖÖ 转向控制Ö´ÖÖÖ 决策控制ÖÖÖ´´
说明: Ö表示数据支持, ´表示数据不支持。
奖励计算和终止状态判断同样基于统一的帧数据来实现, 分别结合自动驾驶的行为表现和场景任务特点进行定义。奖励函数从安全性、效率性、舒适性和合规性等维度评估代理行为表现, 如碰撞风险、速度维持、加速平稳性和交通规则遵守等; 终止状态则根据场景任务特点, 设置不同的判断条件, 包括任务完成型(如到达目标位置)、安全违规型(如碰撞事故和车道偏离)以及资源限制型(如时间限 制)等。
在动作空间设计方面, 考虑到不同仿真系统对控制指令的具体要求存在差异, 本文结合自动驾驶的分层控制架构, 采用多层次的动作抽象设计, 并通过适配机制, 实现向具体仿真系统控制指令的转换。例如, 代理可以输出统一的“加速”、“减速”和“转向”等决策指令, 这些指令在不同仿真系统中会被转换为相应的具体控制参数。这种抽象处理既能保证算法层面动作空间的一致性, 又能兼顾不同仿真系统在控制接口上的特殊性。
2.1.2 DrivingGym环境设计
针对现有解决方案存在的仿真系统耦合性强、算法迁移成本高和扩展灵活性不足等关键问题, 本文提出“统一建模–标准接口–模块复用”的设计理念。在环境设计时聚焦 3 个维度的技术突破: 在系统兼容性维度, 通过双向接口标准化, 解决异构仿真平台与强化学习框架的集成难题; 在组件定制性维度, 采用模块化设计实现观测构建、动作映射和奖励计算等组件的灵活配置, 支持从高层语义决策到底层控制的多层次自动驾驶策略训练; 在跨仿真一致性维度, 建立涵盖数据表征、操作语义的统一标准体系, 使自动驾驶代理策略可以在不同仿真系统间迁移应用。在此基础上, 构建跨仿真策略迁移的基础环境 DrivingGym, 通过与策略泛化算法研究和领域特定迁移学习方法的结合, 能够更好地支持跨场景策略学习和应用验证。
DrivingGym 结合强化学习核心数据流和系统解耦原则, 对系统架构进行拆分。从强化学习数据流的角度, 完整的训练过程包含从仿真系统获取原始数据、代理加工形成观测状态、策略网络输出动作决策、执行动作反馈仿真的闭环流程; 从系统解耦的角度, 需要同时兼顾面向训练框架的标准化接口和面向底层仿真的适配交互。考虑这两方面因素, DrivingGym 将环境架构划分为环境应用层、核心控制层和仿真交互层 3 层结构(图 1)。
环境应用层是框架的顶层接口, 主要面向用户和各类强化学习训练框架, 提供业界最新的 Gym-nasium[27]标准接口。通过实现环境重置(reset)、环境步进(step)和环境可视化(render)等标准方法, 确保与主流强化学习框架的无缝集成。此外, 该层还提供一系列环境包装器(wrapper), 支持单代理封装、异构动作空间拼接和观测空间预处理等功能, 方便研究人员快速搭建实验环境。
图1 DrivingGym 整体架构
Fig. 1 DrivingGym Architecture
核心控制层是框架的中枢, 负责协调场景并代理与下层之间的数据交互。场景管理模块控制训练场景的加载与切换, 支持预设场景和随机场景生成, 并负责管理场景中的背景车辆、行人、障碍物与天气等环境要素。在数据交互方面, 该层向仿真交互层提供场景配置数据, 同时接收并处理仿真层返回的统一格式帧数据, 确保不同代理能够获取所需环境信息。代理模块采用模块化的设计, 将观测处理、动作执行、奖励计算和终止判断等功能解耦为独立模块, 分别对接收的统一表征数据进行处理。代理的各部分可通过组合灵活构建, 提供异构代理支持能力, 使不同代理可以采用不同的观测空间和动作定义。
仿真交互层通过适配器模式实现训练环境与仿真系统的解耦。仿真适配器模块定义了与仿真系统交互的标准方法, 包括场景加载、状态查询和控制命令下发等。各个仿真系统的适配器负责将这些标准接口映射到仿真系统特定的接口调用, 同时处理数据格式的转换。数据交互模块则负责训练过程中的数据采集与分发, 通过帧缓存机制, 确保数据的时序性和一致性。为确保不同仿真系统之间的数据一致性, 该层中对于仿真数据进行拆解划分, 包括传感数据、几何表示和高精地图, 并构建统一的数据格式进行表示。
2.2.1 跨仿真统一调用接口
在自动驾驶强化学习的训练过程中, 代理与仿真环境的交互遵循一个基本流程: 初始化环境®加载场景®获取状态®执行动作®仿真执行®重复循环直至终止、清理资源。然而, 不同仿真系统中用于实现这一流程的接口设计差异显著。例如, Carla基于 GRPC 封装底层仿真调用接口, 提供异步的世界状态查询和仿真操作接口; SUMO 基于 TraCI 协议提供基于 TCP 通讯的交通流控制接口; Metadrive采用基于 Panda3D 的同步调用模式, 通过一系列管理对象(Manager)控制仿真执行。这些差异导致基于不同仿真训练的强化学习策略难以跨平台应用, 需要针对每个仿真系统开发训练环境, 增加开发成本, 并阻碍策略迁移。
为解决上述问题, DrivingGym 采用适配器模式实现仿真系统接口的统一。适配器模式是一种结构型设计模式, 其核心思想是将一个类的接口转换成客户端所期望的另一个接口, 使得原本由于接口不兼容而无法工作的类能够一起工作[28]。Driving-Gym 通过定义抽象的适配器接口(AdapterInterface), 统一了与仿真系统的交互方式(图 2)。针对代理与仿真系统的交互流程, 适配器基类定义一组核心功能方法, 涵盖环境管理、场景控制、状态查询、控制执行和时钟同步等(表 3)。
不同仿真系统适配器通过统一接口, 将标准调用转换为特定仿真系统的接口调用, 从而实现训练环境与仿真系统的解耦, 使上层应用可以使用统一的代码, 与不同仿真系统交互。以 CARLA 适配器为例, 其实现需要处理异步接口到同步接口的转换。在 tick 方法中, 适配器首先等待当前仿真步骤完成, 然后采集所有注册传感器的数据, 并将这些数据转换为框架定义的统一格式。同时, 适配器还需要处理坐标系的转换, 确保返回上层应用的几何数据符合框架的统一标准。在 apply_control 方法中, 适配器将标准化的控制命令(如方向盘角度、油门和刹车)映射到 CARLA 特定的控制对象, 实现控制接口的统一。
2.2.2 跨仿真统一数据的结构
除调用接口外, 不同自动驾驶仿真系统在数据表示和组织方面也存在显著差异, 同样制约强化学习策略的跨仿真应用。图 3 以主流 CARLA 和 Meta-drive 仿真系统为例, 展示 DrivingGym 中的统一数据结构设计。通过将仿真系统的原始数据划分为传感器数据、车辆状态数据和地图数据, 并统一转换为标准格式, 实现数据表示的一致性。
图2 仿真适配器接口设计
Fig. 2 Adapter interface design
表3 适配器接口功能描述
Table 3 Functionalities of adapter interfaces
功能分类方法功能描述 环境管理initialize基于配置初始化适配器, 建立与仿真系统的连接 cleanup清理适配器资源, 关闭与仿真系统的连接 场景元素获取get_map获取仿真环境的高精地图信息 get_actors获取仿真环境中所有有效的代理标识符 get_sensors获取仿真环境中所有有效的传感器标识符 状态查询get_transform获取指定代理的位置和朝向信息(Transform) get_velocity获取指定代理的速度向量(Vector3D) get_acceleration获取指定代理的加速度向量(Vector3D) get_bounding_box获取指定代理的碰撞边界框(BoundingBox) get_sensor_data获取指定传感器的数据 get_control获取上一时间步施加的控制指令 场景控制load_scenario在仿真器中加载指定场景配置 register_callback注册每个仿真步骤中需要执行的回调函数 控制执行apply_control向指定目标施加控制指令 时钟同步tick推动仿真运算一个时间步, 返回当前仿真时间步
在传感器数据方面, 框架支持 RGB 相机、深度相机、激光雷达和雷达等常见的自动驾驶传感器。为了保持灵活性, 框架仅要求传感器数据以numpy 数组的形式返回, 具体的数据预处理(如图像尺寸调整和通道转换等)则交由观测处理器完成。这种设计既可以保证数据接口的统一性, 又能为不同任务定制传感器数据格式提供便利。
车辆状态数据是训练过程中的关键信息。Dri-vingGym 使用 Transform 类统一表示车辆的位姿信息, 其中 Location 类描述三维空间中的位置坐标, Rotation 类则表示方向。对于运动状态, 框架通过Vector3D 类表示速度信息, 并使用 BoundingBox 类描述车辆的几何外形。这些基础数据结构不仅支持状态查询, 还提供必要的几何运算方法。
地图数据的统一是实现场景一致性的基础。DrivingGym 设计了高精地图数据结构, 包括道路网络的拓扑结构、车道线属性和交通标志等信息。其中, Waypoint 类是基本单元描述道路采样点, 包含位置、方向和车道属性等信息。Lane 类描述完整的车道信息, RoadOption 则统一表示道路上的可行驶选项。
仿真数据通过 Snapshot 类进行封装, 形成完整的帧数据。每个 Snapshot 包含当前仿真时刻的时间戳、场景中所有参与者的状态以及传感器数据。这种设计不仅便于数据的序列化和存储, 也为回放和离线分析提供支持。DrivingGym 还实现高效的数据缓存机制, 确保在高频率仿真过程中的数据同步和一致性。
通过统一的数据结构体系, DrivingGym 提供对不同仿真系统间数据表示不一致问题的一套解决方案。上层应用可以使用统一的方式处理来自不同仿真系统的数据, 无需关心具体的数据转换细节, 同时也能为跨仿真的算法评估和对比提供可靠的数据基础。
代理模块是框架中负责封装强化学习关键要素的核心组件。该模块采用组合式设计, 将观测空间、动作空间、奖励函数和终止条件等要素进行模块化封装, 使得用户可以灵活地定制各个组件的具体实现。代理模块的类结构如图 4 所示。
观测处理器(ObsHandler)负责构建观测空间,支持多种预定义的观测处理方式, 包括图像观测、激光雷达观测和语义状态观测等。处理器将原始传感器数据转换为适合神经网络处理的标准格式, 同时支持多个观测源的组合使用。框架还提供观测堆叠(frame stack)和跳帧采样(frame skip)等实用功能, 方便用户根据算法需求构建复杂的观测空间。
图3 统一数据结构的抽象过程
Fig. 3 Abstraction process of unified data structure
图4 模块化代理设计
Fig. 4 Modular agent design
动作处理器(ActionHandler)统一了动作空间的定义和执行, 支持高层决策规划和底层精细控制多种模式。以车辆控制为例, 框架支持对油门、刹车和转向的精确控制, 同时也提供巡航、并线和转向等高层决策规划模式, 用户还可通过自定义动作, 实现更抽象的行为控制。分层的处理方式既满足不同控制粒度的需求, 也便于实现从规划到控制的完整自动驾驶决策链路。
奖励处理器(RewardHandler)采用模块化设计, 允许用户通过自定义奖励项构建复杂的奖励函数。该框架预定义了一系列通用的奖励设置, 如速度奖励、轨迹跟随奖励和碰撞惩罚等。这些组件可以通过权重配置灵活组合, 方便用户根据具体任务调整训练目标。
终止条件处理器(DoneHandler)负责判断当前回合是否结束。框架内置多种常用的终止条件, 如碰撞检测、偏离车道和达到目标点等。这些条件支持组合使用, 并返回具体的终止原因, 有助于训练过程的分析和调试。
为了方便配置和扩展, 所有组件都采用基于配置文件的初始化方式。模块化设计使得用户可以快速验证新的想法, 例如尝试新的奖励函数只需修改奖励处理器, 测试不同观测空间仅需更换观测处理器。同时, 模块间的解耦也简化了开发和调试流程, 开发者能够专注于单个模块的实现, 而无需考虑框架其他部分的复杂性。这种设计既支持算法的快速迭代, 也可降低代码的维护成本。
为了验证 DrivingGym 与主流强化学习算法框架的兼容性以及跨仿真系统的策略迁移能力, 本实验设计两组针对性实验: 不同强化学习框架的接入验证实验和跨仿真策略迁移应用实验。强化学习框架接入验证实验, 重点考察 DrivingGym 环境与主流强化学习算法库的兼容性, 展示基于统一数据表征的代理能够无缝支持多种强化学习框架进行训练。跨仿真策略应用实验则验证构建方法的跨仿真特性。考虑到不同仿真平台在底层车辆动力学模型和控制机制上存在显著差异, 选择对决策层面策略的迁移应用进行验证, 并考虑到从简单到复杂环境渐进式训练支持的目标, 设计一条从简单场景仿真系统 HighwayEnv 出发, 迁移至中等复杂度的 Meta-Drive 以及到高复杂度场景仿真系统 CARLA 的迁移路径。
本文实验选择 3 个代表性的强化学习框架: 分布式训练框架 RLlib[29]、单机训练框架 Stable-Base-lines3[30](SB3)以及支持离线强化学习的 D3RLpy[31], 在 CARLA 和 Metadrive 两个仿真后端进行测试。RLlib 和 SB3 选择 PPO 算法作为典型同策略强化学习算法, D3RLpy 选择 DQN 作为典型异策略强化学习算法, 训练过程中尽可能保持超参数配置一致。仿真场景设定为单车巡路驾驶, 每个回合随机选择起点和终点。代理均采用基于语义信息的状态观测, 包含自车与周围 5 辆背景车的语义信息数据; 离散化的动作控制, 直接学习车辆底层控制量; 奖励设置采用对应仿真系统现有强化学习框架中的典型来实现。关键实验参数配置见表 4, 完整的实验参数配置见附录。
图 5 展示 CARLA 和 MetaDrive 仿真系统中 3 种不同强化学习框架的训练效果。可以看出, 基于统一的数据表征和代理描述, 所有框架都能够成功地完成训练过程, 验证了本文框架与常见强化学习训练框架的兼容性。图 5(b)和(d)展示训练完成后, 均值奖励最高的模型在两个环境中的实际驾驶效果, 代理能够表现出预期的巡航行为。训练结果表明, 统一的代理构建方法成功地实现对不同强化学习训练框架的支持, 研究人员可以灵活地选择合适的算法框架进行自动驾驶策略训练, 无需关心底层仿真环境的实现细节。值得注意的是, 不同训练框架的训练效率和收敛特性存在差异, 主要源于各自的实现特点, 而非本文代理构建方法的限制。
表4 强化学习框架接入验证实验参数
Table 4 Parameter configuration in RL framework verification experiment
参数类别配置项参数值 训练配置训练步数1000000步 学习率线性衰减: 2.5×10–4(0), 10–4 (50000), 10–5(100000) 批处理大小384 折扣因子0.99 网络结构策略网络/价值网络类型全连接神经网络 隐藏层[256, 256] 激活函数ReLU Carla 代理设计观测空间维度70维语义状态 动作空间9维离散动作 奖励函数与Gym-Carla保持一致 Metadrive 代理设计观测空间维度259维激光雷达感知结果 动作空间9维离散动作 奖励函数与MetaDriveEnv保持一致
图5 不同强化学习算法框架的训练效果
Fig. 5 Training result of different RL frameworks
本实验首先基于简单场景仿真系统 Highway-Env 训练 DQN 模型, 该模型基于车辆状态信息进行决策, 输出保持车道(idle)、变道(left/right)和速度调节(speed up/speed down)共 5 个离散动作。对于观测空间, 在 3 个环境中均采用统一的表格形式数据结构, 具体定义如表 5 所示。该观测空间包含 5×5的数据矩阵, 记录自车及周围最多 4 辆车的位置和速度信息。在 3 个环境中, 感知范围均被限定为主车周围 50m 范围内最近的 4 辆车, 确保观测空间的一致性。
基于统一数据表征方法, 为 HighwayEnv, Meta-Drive 和 CARLA 构建相同的观测实现, 并通过动作适配器, 将模型输出的 5 个高层决策转换为各仿真环境对应的底层控制信号。为确保动作执行的可比性, 对各仿真环境的时间步长与控制参数进行调整, 使得每个动作的执行周期统一为 2s。测试场景选择类似的多车道高速公路环境, 验证通过本方法能否实现策略的跨仿真应用。
图 6 展示在 3 个仿真平台上执行相同策略模型的 3 种常见决策动作: 车道保持、左侧变道和右侧变道。实验结果表明, 虽然各环境的视觉表现和物理特性存在显著的差异, 但基于统一数据表征构建的代理能够在各环境中执行相似的语义决策。
表5 策略迁移应用实验观测空间设计
Table 5 Observation design in policy transfer application experiment
车辆ID横向位置(x)纵向位置(y)横向速度(vx) 纵向速度(vy) Ego全局坐标系下的x轴坐标全局坐标系下的y轴坐标自车横向速度自车纵向速度 Npc1Ego坐标系下的相对x轴坐标Ego坐标系下的相对y轴坐标与Ego的相对横向速度与Ego的相对纵向速度 ............... Npc4Ego坐标系下的相对x轴坐标Ego坐标系下的相对y轴坐标与Ego的相对横向速度与Ego的相对纵向速度
说明: “车辆ID”以0或1标记, 表示车辆是否在主车感知范围内, 1表示存在, 0表示不存在。
第1行是车道保持, 第2行是左侧变道, 第3行是右侧变道
图6 不同仿真平台的驾驶策略应用
Fig. 6 Application of driving policy in different simulators
为定量地分析 DrivingGym 在支持跨平台策略迁移应用方面的有效性, 本文设计一组标准化测试, 来评估策略输出动作在 MetaDrive 和 CARLA 环境中的迁移成功率。
测试在直道和弯道两类场景下进行, 初始速度分别设置为 15, 20 和 25m/s, 对 5 类基本动作(左并线、右并线、道路保持、加速和减速)各重复执行100 次, 统计迁移成功率。迁移成功的判定标准如下: 1)对于纵向控制动作(道路保持、加速和减速), 要求车辆在动作执行过程中保持在原车道内(与道路中心线的横向偏移不超过车道宽度的 1/4), 并且在动作执行结束后速度达到预期目标值(加速为初速+5m/s, 减速为初速–5m/s, 道路保持为初速±1m/s); 2)对于横向控制动作(左并线和右并线), 要求车辆在动作执行完成后正确定位于目标车道(与目标车道中心线距离不超过车道宽度的 1/3), 且最终行驶速度维持在初始速度的±5%范围内, 表明变道前后的车速稳定性。
表 6 展示 Highway 策略在 MetaDrive 和 CARLA环境中的动作迁移成功率。可以看出, 通过 Dri-vingGym 的统一代理构建方法, 高层决策策略能够在不同仿真平台间实现有效迁移, 所有决策动作均表现出较好的执行效果。
表6 跨仿真策略应用动作迁移成功率
Table 6 Action success rate of cross-simulation policy transfer application
策略迁移成功率/%左并线右并线道路保持加速减速 Highway®MetaDrive8689 9291 96 Highway®CARLA959410097100
通过统一的代理构建方法, 本文成功地实现将简单环境中训练的决策模型应用于中等复杂度及高复杂度仿真环境中。量化结果表明, 尽管 3 个环境在动作执行动力学特性上存在差异, 但通过适当的接口设计和参数调整, 能够实现语义层面的动作一致性, 验证了本文所提方法在支持跨仿真策略应用方面的有效性, 为高层决策模型的跨平台应用提供了基础。
本文针对自动驾驶中跨仿真强化学习代理构建的问题, 提出一种基于统一表征的代理构建方法, 并实现一个自动驾驶强化学习训练环境 Driving-Gym。通过将代理观测空间抽象为传感器、状态和路网 3 个层次, 实现不同仿真系统的状态表征统一; 通过设计基于适配器的动作转换机制, 解决了不同仿真环境下控制接口不一致的问题; 同时构建标准化的代理接口, 实现奖励计算和终止判断的统一定义。通过强化学习框架接入验证和跨仿真应用两组实验, 验证了该方法的实现环境在支持主流强化学习框架和实现跨平台策略应用方面的有效性。
基于本文的跨仿真代理构建方法, 可以进一步探索策略迁移学习的技术路线。1)可深入研究连续控制信号的跨平台对齐技术, 建立车辆动力学模型的标准化表征方法, 有助于解决不同仿真平台间控制指令转换的误差累积问题。2)可探索更加多样化的跨平台迁移路径, 如多级迁移链路和从复杂到简单环境的逆向迁移, 同时建立迁移性能量化指标体系, 为跨平台策略迁移提供更系统的评估方法。3)基于本框架可开展针对不同数据表征粒度和环境参数变化的敏感性研究, 进一步提升跨平台代理构建的稳定性和适应性。4)面向自动驾驶强化学习策略的实际应用, 还可基于本框架探索“虚实迁移”的相关工作, 实现仿真环境训练策略向实车系统的迁移应用。这些研究方向将有助于推动自动驾驶强化学习在更广泛场景中的应用。
参考文献
[1] Kendall A, Hawke J, Janz D, et al. Learning to drive in a day // 2019 International Conference on Robotics and Automation (ICRA). Montreal: IEEE, 2019: 8248–8254
[2] Chen L, Wu P, Chitta K, et al. End-to-end autonomous driving: challenges and frontiers. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(12): 10164–10183
[3] Leurent E. An environment for autonomous driving decision-making [EB/OL]. (2018) [2025–02–17]. https: //github.com/eleurent/highway-env
[4] Krajzewicz D, Hertkorn G, Rössel C, et al. SUMO (simulation of urban mobility) — an open-source traffic simulation // Proceedings of the 4th middle East Sym-posium on Simulation and Modelling (MESM20002). Sharjah, 2002: 183–187
[5] Li Q, Peng Z, Feng L, et al. Metadrive: composing diverse driving scenarios for generalizable reinforce-ment learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(3): 3461–3475
[6] Dosovitskiy A, Ros G, Codevilla F, et al. CARLA: An open urban driving simulator // Conference on Robot Learning. Sydney: PMLR, 2017: 1–16
[7] Shah S, Dey D, Lovett C, et al. AirSim: high-fidelity visual and physical simulation for autonomous vehi-cles // Hutter M, Siegwart R. Field and Service Robo-tics: Springer Proceedings in Advanced Robotics. Cham: Springer, 2018: 621–635
[8] Zhou J, Zhang Y, Guo S, et al. A survey on autonomous driving system simulators // 2022 IEEE International Symposium on Software Reliability Engineering Work-shops (ISSREW). Aachen: IEEE, 2022: 301–306
[9] Sutton R S. Reinforcement learning: an introduction. Cambridge: MIT Press, 2018
[10] 吴思凡, 段续庭, 周建山, 等. 基于深度强化学习的自动驾驶决策行为研究综述. 人工智能, 2023(5): 78–92
[11] Yavas U, Kumbasar T, Ure N K. A new approach for tactical decision making in lane changing: sample efficient deep Q learning with a safety feedback reward // 2020 IEEE Intelligent Vehicles Symposium (IV). Las Vegas: IEEE, 2020: 1156–1161
[12] Chen D, Jiang L, Wang Y, et al. Autonomous driving using safe reinforcement learning by incorporating a regret-based human lane-changing decision model // 2020 American Control Conference (ACC). Denver: IEEE, 2020: 4355–4361
[13] 周荣良, 黄家琨, 李明俊, 等. 基于策略约束强化学习的自动驾驶变道策略研究//2024年车辆安全与智能交通国际学术会议论文集. 广州, 2024: 1–8
[14] Lubars J, Gupta H, Chinchali S, et al. Combining reinforcement learning with model predictive control for on-ramp merging // 2021 IEEE International Intelli-gent Transportation Systems Conference (ITSC). Na-goya: IEEE, 2021: 942–947
[15] Triest S, Villaflor A, Dolan J M. Learning highway ramp merging via reinforcement learning with tempo-rally-extended actions // 2020 IEEE Intelligent Vehic-les Symposium (IV). Las Vegas: IEEE, 2020: 1595–1600
[16] 罗归权, 张兆磊, 易可夫, 等. 基于深度强化学习的匝道合流区车辆自主换道方法[J/OL]. 交通科学与工程, 2024–11–15 [2025–02–18]. https://doi.org/10. 16544/j.cnki.cn43-1494/u.20230821002
[17] Seong H, Jung C, Lee S, et al. Learning to drive at unsignalized intersections using attention-based deep reinforcement learning // 2021 IEEE International In-telligent Transportation Systems Conference (ITSC). Indianapolis: IEEE, 2021: 559–566
[18] Ma X, Li J, Kochenderfer M J, et al. Reinforcement learning for autonomous driving with latent state inference and spatial-temporal relationships // 2021 IEEE International Conference on Robotics and Auto-mation (ICRA). Xi’an: IEEE, 2021: 6064–6071
[19] Zhou W, Chen D, Yan J, et al. Multi-agent reinforce-ment learning for cooperative lane changing of con-nected and autonomous vehicles in mixed traffic. Auto-nomous Intelligent Systems, 2022, 2(1): 1–5
[20] Brockman G, Cheung V, Pettersson L, et al. OpenAI Gym [EB/OL]. (2016–01–05) [2025–03–02]. https:// doi.org/10.48550/arXiv.1606.01540
[21] Alegre L N. SUMO-RL [EB/OL]. (2019) [2025–02–17]. https://github.com/LucasAlegre/sumo-rl
[22] Chen J, Li S E, Tomizuka M. Interpretable end-to-end urban autonomous driving with latent deep reinforce-ment learning. IEEE Transactions on Intelligent Tran-sportation Systems, 2021, 23(6): 5068–5078
[23] Filos A, Tigkas P, McAllister R, et al. Can autonomous vehicles identify, recover from, and adapt to distribu-tion shifts? // International Conference on Machine Learning. Online Meeting, 2020: 3145–3153
[24] Zhang Z, Liniger A, Dai D, et al. End-to-end urban driving by imitating a reinforcement learning coach // Proceedings of the IEEE/CVF International Conferen-ce on Computer Vision. Montreal, 2021: 15222–15232
[25] Palanisamy P. Multi-agent connected autonomous dri-ving using deep reinforcement learning // 2020 Interna-tional Joint Conference on Neural Networks (IJCNN). Glasgow: IEEE, 2020: 1–7
[26] Brunnbauer A, Berducci L, Priller P, et al. Scenario-based curriculum generation for multi-agent autono-mous driving [EB/OL]. (2024–03–26)[2025–03–02]. https://doi.org/10.48550/arXiv.2403.17805
[27] Towers M, Kwiatkowski A, Terry J, et al. Gymnasium: a standard interface for reinforcement learning envi-ronments [EB/OL]. (2024–11–08)[2025–03–02]. https: //doi.org/10.48550/arXiv.2407.17032
[28] Freeman E, Robson E, Bates B, et al. Head first design patterns: a brain-friendly guide. Sebastopol: O’Reilly Media, 2004
[29] Liang E, Liaw R, Nishihara R, et al. RLlib: abstractions for distributed reinforcement learning // International Conference on Machine Learning. Stockholm: PMLR, 2018: 3053–3062
[30] Raffin A, Hill A, Gleave A, et al. Stable-baselines3: Reliable reinforcement learning implementations. Jour-nal of Machine Learning Research, 2021, 22: 1–8
[31] Seno T, Imai M. d3rlpy: an offline deep reinforcement learning library. Journal of Machine Learning Re-search, 2022, 23: 1–20
附录
请访问《北京大学学报(自然科学版)》官方网站(https://xbna.pku.edu.cn)查看
DrivingGym: Building Cross-Simulation Reinforcement Learning Agent for Autonomous Driving
Abstract Reinforcement learning (RL) for autonomous driving faces challenges such as low sample efficiency and convergence difficulties when directly trained in complex scenarios. To address this issue, we propose a cross-simulation agent construction method based on unified data representation and implement the DrivingGym training environment. This method abstracts the input state into three layers: sensor data, vehicle states, and road network information. The control interface unification is achieved across different simulation environments through action adapters. Experiments on common simulation platforms such as CARLA and Metadrive demonstrate that the propo-sed method can support training with mainstream reinforcement learning frameworks like RLlib and Stable-Baseli-nes3, and enable cross-simulation application of autonomous driving policies from simple to complex scenarios.
Key words autonomous driving; reinforcement learning (RL); cross-simulation environment; agent building