北京大学学报(自然科学版) 第62 卷 第5 期 2026 年9 月

Acta Scientiarum Naturalium Universitatis Pekinensis,Vol.62,No.5 (Sept.2026)

doi: 10.13209/j.0479-8023.2026.068

太原科技大学博士科研启动基金(20262020)和山西省来晋优秀博士科研项目(20262091)资助

收稿日期: 2025-08-05; 修回日期: 2026-03-23

FE-PointRCNN: 基于特征增强 PointRCNN的自动驾驶三维目标检测方法

张宝文 1 赵永永 2,† 苏成志 1 曹国华 1,†

1.长春理工大学机电工程学院,长春 130022; 2.太原科技大学电子信息工程学院,太原 030024;† 通信作者,E-mail: zhaoyongyong@tyust.edu.cn (赵永永),2018200060@mails.cust.edu.cn (曹国华)

摘要 针对自动驾驶环境感知中纯视觉方案易误判、现有三维点云目标检测算法受点云稀疏不均特性约束导致特征表达不足、复杂场景检测精度偏低、多数算法因仅验证单一类别目标因而难以满足国标多类别感知要求等问题,提出一种特征增强的 PointRCNN网络(FE-PointRCNN)。为克服传统 MLP结构全局特征提取能力强而局部几何特征捕获不足、注意力机制计算开销大等缺陷,设计增强多层感知机(E-MLPs)和残差通道注意力(RC-Attention)模块,构建改进的 E-PointNet++特征提取架构,实现多尺度特征并行提取与关键通道特征自适应加权增强,缓解梯度消失并提升特征判别性能。在 KITTI与 ONCE数据集上的对比实验和消融实验结果表明,与基线 PointRCNN*相比,FE-PointRCNN在 Car,Pedestrian和 Cyclist类别上均能实现精度的提升,且在 ONCE复杂场景数据集上表现出良好的鲁棒性。所提算法能够有效地改善点云特征提取能力和多类别目标检测性能,可为自动驾驶激光雷达感知系统提供技术支撑。

关键词 三维目标检测; 自动驾驶; 强化多层感知机; 残差通道注意力

世界卫生组织 2018年发布的《全球道路安全现状报告》中明确指出,全球每年因道路交通伤害致死人数高达 135万,平均每 24秒就有一人死于道路交通事故,交通安全问题已演变为全球性公共卫生危机[1]。驾驶员的超速行驶以及疲劳驾驶等人为不当操作,是引发道路交通事故的主要原因。在此背景下,汽车驾驶自动化技术成为全球汽车产业的重要发展方向,其核心目标是通过技术手段规避人为失误,提供更安全更舒适的出行模式。自动驾驶系统主要包括环境感知系统、决策规划系统和控制执行系统。其中,环境感知是实现自动驾驶技术落地应用的前提与基础。该系统通过实时获取道路环境信息,对潜在风险实现精准的预判和主动规避,有效地降低交通事故发生率,提升行车安全[2]。

2021年,国际标准化组织(International Organization for Standardization,ISO)和国际自动机工程师学会(Society of Automotive Engineers International,SAE International)联合发布《道路机动车辆驾驶自动化系统相关术语的分类和定义》,将汽车驾驶自动化分为 6个递进的层级: L0级代表无驾驶自动化,驾驶主体为驾驶员; L1~L5级按照自动驾驶技术的配置和成熟程度细分,分别对应驾驶辅助、部分驾驶自动化、有条件的驾驶自动化、高度驾驶自动化以及完全驾驶自动化[3]。当前,L2+级自动驾驶技术已在市场上广泛应用,如特斯拉的 Autopilot、小鹏的 NGP和华为的 ADS等系统。该等级的系统可以同步实现车辆速度与转向控制,但驾驶员仍然需要全程监控驾驶环境,并随时准备接管控制车辆。自动驾驶技术的发展历程如图1所示。

图1 自动驾驶技术发展历程
Fig.1 Development history of autonomous driving technology

近年多起智能驾驶事故的发生,暴露了现有辅助驾驶系统的安全漏洞,也折射出当前环境感知方案的不足。我们对近 5年纯视觉环境感知方案引发的多起辅助驾驶事故进行统计与成因分析,结果如图2所示。从中可以发现,核心问题可归结为 3方面: 1) 车企营销宣传夸大,模糊“辅助驾驶”与“自动驾驶”的概念边界; 2) 驾驶员过度依赖辅助驾驶系统,在系统激活期间出现“脱手”或“脱眼”等危险行为; 3) L2+级系统量产落地过程中,车企普遍采用纯视觉感知方案,难以适配复杂驾驶场景的安全感知需求,例如图2中 5起交通事故均由纯视觉方案的误判引发。鉴于上述情况,2025年 9月,我国工业和信息化部装备工业一司依据《中华人民共和国标准化法》与《强制性国家标准管理办法》,组织全国汽车标准化技术委员会启动《智能网联汽车 组合驾驶辅助系统安全要求》强制性国家标准的征求意见工作[4]。作为首个针对组合驾驶辅助系统的强制性国家标准,该标准不仅对驾驶员监控和功能边界管理提出明确规范,更通过严苛的场景安全与功能安全要求,对环境感知系统的整体性能提出强制性约束,从客观上引导复杂功能采用激光雷达等高性能感知方案,并明确其可靠性需纳入系统安全保障体系。这一政策导向使得基于激光雷达的自动驾驶感知方案研究愈发重要,成为保障自动驾驶安全行驶的核心课题。

图2 近 5年纯视觉环境感知方案误判引发的交通事故统计结果
Fig.2 Traffic accidents caused by misjudgment of pure visual environment perception in recent five years

现有的三维点云目标检测方法通常通过增加网络复杂度来提升点云表征学习能力。PointMLP方法[5]通过堆叠简单的、共享权重的 MLP层,实现点云特征表征学习。Point Transformer方法[6]借助自注意力机制,自适应地学习点云中长距离的上下文依赖关系和复杂的局部几何结构,突破固定卷积核的局限。PAConv方法[7]基于输入点的局部特征(如坐标和法向量等),动态地生成卷积核权重,从而更灵活地提取特征。然而,点云数据存在空间分布稀疏、不均匀以及特征信息量匮乏等固有属性,此类方法面临“网络高信息处理能力”与“点云低特征供给能力”不匹配的难题,且上述方案均归属局部特征增强范畴,仅依赖低信息量的原始点云数据挖掘深层特征,极易导致网络有效监督信号缺失以及训练稳定性衰减,进而诱发梯度消失问题。与此同时,引入高阶注意力机制还会伴随巨大的计算开销和参数量冗余。

以 PointNet++[8]为代表的直接处理点云的经典方法借助多层感知机(MLP)与对称函数(MaxPool)解决点云无序性问题,但 MLP结构侧重全局特征的提取,难以精准地捕获局部几何特征,在复杂遮挡场景中无法有效地区分目标。尽管部分研究者对此做出改进,但仅通过提升卷积复杂度实现优化,未对网络架构进行根本性的优化。同时,当前多数算法(如 Range-RCNN[9],SASSD[10],LaserNet[11]和 SESSD[12]等)的性能评估仅聚焦于单一类别“Car”,未实现多类别目标的全面性能验证,不符合我国工业和信息化部装备工业一司 2026年依据《中华人民共和国标准化法》发布的《智能网联汽车 自动驾驶系统安全要求》(强制性国家标准征求意见稿)对感知系统应能识别交通动态(例如,车辆和行人等交通参与者的动态)的一般要求[13]。因此,研发兼具从少量点云数据信息中提取深层次特征能力、多尺度异形目标自适应检测能力的目标检测算法,成为亟需解决的关键问题。

PointRCNN模型[14]是点云目标检测领域性能优异的单模态两阶段网络。第一阶段通过前景点的分割,自下而上地生成少量三维边界框提案; 第二阶段借助点云区域池化操作,对第一阶段学习到的点特征进行池化优化,完成三维边界框的精细化校准。本研究以 PointRCNN框架为基础,针对其用于特征提取的 MLP结构的固有局限,以及点云数据特性不足的双重问题,提出特征增强 PointRCNN(Feature-Enhanced PointRCNN,FE-PointRCNN) 方法,包括增强多层感知机(Enhanced MLPs,E-MLPs)和残差通道注意力(Resi-dual Channel Attention,RCAttention)两个模块。E-MLPs模块主要通过多尺度特征并行提取以及动态的权重融合策略提取点云的不同层次特征,再通过 RC-Attention模块,尽可能聚焦有效特征,从而提升检测精度。

1 本文方法

1.1 FE-PointRCNN 网络

FE-PointRCNN网络架构如图3所示,网络流程分为两个阶段。

图3 FE-PointRCNN网络架构
Fig.3 Network architecture diagram of FE-PointRCNN

第一阶段包括 3个模块: 用于特征编码的增强PointNet++ (enhanced PointNet++和 E-Point-Net++)网络、前景点分割模块以及粗粒度 3D检测框生成模块。首先将原始点云数据输入 E-Point-Net++特征提取网络中,得到 32维点级特征向量; 然后送入前景点分割模块,完成前景点与背景点的初步分割;最后通过基于区间的 3D检测框生成模块,输出粗粒度的 3D检测框提案。

第二阶段对多源特征进行融合,并对检测结果进行细化。首先对原始点云特征、特征提取模块提取的点级特征向量、前景点分割层提取的前景点特征以及第一阶段提取的粗粒度 3D检测框信息进行通道融合,作为点云区域池化层的输入,即对每个边界框内的点及其特征进行池化,将提案框稍微放大,并保留对应的点和特征,使用分割掩模,对放大的提案框进行前景点和背景点分割。然后对分割特征与局部空间特征进行拼接融合,通过 EPointNet++网络执行编码操作,生成具有判别性的特征向量,用于后续置信度的分类以及检测框的细化。

1.2 点云编码网络E-PointNet++

如图4所示,E-PointNet++网络编码器和解码器主要由注意力增强下采样(attention-enhanced subsampling,AE-SA)模块和特征传播(feature propagation,FP)模块组成。AE-SA模块主要负责多尺度局部特征提取和下采样,FP模块主要负责特征融合和上采样。AE-SA模块是对传统 SA模块的优化升级,传统的 SA层由一个下采样层(subsampling)、一个邻域查询层(grouping)、一组用于提取特征的多层感知机(MLPs)和一个特征聚合层(reduction)构成。AE-SA层则在保留 SA层中下采样层(subsampling)和邻域查询层(grouping)的基础上,引入强化多层感知机(enhancd multilayer perceptrons,E-MLPs)以及残差通道注意力(residual channel attention,RCAttention)模块,用来提升特征提取的能力,具体结构如图5所示。

图4 E-PointNet++网络编码器和解码器的结构
Fig.4 Structure of encoder and decoder in E-PointNet++network

图5 SA模块和 AE-SA模块结构对比
Fig.5 Comparison diagram of structures between SA module and AE-SA module

1.2.1 强化多层感知机

在 3D目标检测任务中,编码器的特征提取模块广泛采用 PointNet网络的多层感知机(MLP)结构(如图6中 PointNet-MLPs)。该结构通过对点云特征逐层升维,对顶层特征执行 MaxPool操作来聚合局部邻域特征,最终生成固定长度的特征向量。然而,PointNet-MLPs仅聚焦全局特征的提取,未充分考量各层级局部特征的价值,导致对整体特征具有关键贡献的非最大值特征大量丢失,制约了特征表达的完整性。

图6 Pointnet-MLPs和 E-MLPs结构对比
Fig.6 Comparison diagram of structures between Pointnet-MLPs and E-MLPs

为解决上述问题,本文在传统 MLP结构的基础上提出强化多层感知机(E-MLPs),算法如下。

输入: C_in: 特征通道数

输出: 加权特征

1: 定义三层基础MLP

MLP1 = Sequential (Conv2d (C_in,C1,1,bias=False),BatchNorm2d (C1),ReLU ())

MLP2 = Sequential (Conv2d (C1,C2,1,bias=False),BatchNorm2d (C2),ReLU ())

MLP3 = Sequential (Conv2d (C2,C3,1,bias=False),BatchNorm2d (C3),ReLU ())

2: 定义多阶段特征融合MLP

mlp4 = Sequential (Conv2d (C1+C2+C3,C3,1,bias=True),BatchNorm2d (C3),ReLU ())

3: 定义逆残差块invresmlp

invresblock = Sequential (

Conv2d (C3,C3×4,1,bias=False) //升维

BatchNorm2d (C3×4),ReLU ()

Conv2d (C3×4,C3×4,1,bias=False,groups=C3×4) //分组卷积BatchNorm2d (C_out×4),ReLU ()

Conv2d (C3×4,C3,1,bias=False) //降维

BatchNorm2d (C_out),ReLU () )

4: 定义可学习参数w = Parameter (ones (3))

5: 前向传播: 三层MLP逐阶提取特征→邻域维度最大池化,聚合局部特征→学习权重,加权拼接→多阶段特征融合MLP→逆残差增强模块

相较于 PointNet-MLPs,E-MLPs的核心创新体现在以下 4个方面。

1) 采用轻量化三层 MLP架构完成特征提取,依次输出 16维、16维和 32维点级特征。其中,前两层 16维特征的提取借鉴 PointNet++中“低维特征逐步升维”的经典策略,避免初始维度骤然升高引发的计算冗余; 第三层提升至 32维,用于聚合全局语义信息。这种“低维精细编码、高维语义聚合”的层级设计与点云特征由细粒度几何信息到高层语义信息的抽象规律高度契合。

2) 对三层 MLP输出的各维度特征分别执行Max-Pool操作,实现从局部特征到全局特征的抽象,保留局部区域响应最强的特征; 同时,自动计算各层特征的贡献权重,将加权后的特征拼接融合为 64维特征向量。

3) 增设一个 MLP层,对上述多阶段特征进行卷积融合,输出 32维特征向量,有效地保留浅层细节特征与深层抽象特征的互补信息。

4) 引入轻量化逆残差块来提升特征表达能力,且未显著地增加模型参数量。首先,通过 1×1卷积,将 32维特征升维至 32×4=128维,使特征在高维空间完成更丰富的变换; 然后,采用分组卷积处理高维特征,参数仅为 4C×1 (C为输入维度),远低于普通卷积的 4C×4C; 最后,通过 1×1卷积降维至 32维,既保留高维变换的优势,又保证输出维度与输入一致,表示为 FE-MLPs。此外,逆残差块的残差特性可缓解训练过程中的梯度消失问题,提升模型收敛速度与训练稳定性。

E-MLPs是对 PointNet-MLPs的结构性改进,整合了多阶段卷积、分层特征加权融合、多尺度特征卷积聚合与轻量化逆残差增强等核心设计。具体结构如图6中 E-MLPs所示。

1.2.2 残差通道注意力模块

为进一步缓解 E-MLPs在特征表达过程中存在的通道权重分布不均以及关键有效特征易被冗余信息淹没问题,在 E-MLPs之后引入残差通道注意力(residual channel attention,RC-Attention)模块,对其输出的隐层特征进行自适应加权与优化,用来增强特征的判别性与鲁棒性。该模块为一种轻量级通道注意力结构,其算法流程如下,具体实现步骤如图7所示。

图7 残差通道注意力模块结构
Fig.7 Residual channel attention module architecture

输入: x,输入特征; c,特征通道数

输出: 加权特征

1: Class RC_Block (c)

2: 注意力权重生成路径

Att = Sequential (自适应平均池化→卷积→ReLU→卷积→Sigmoid)

3: 前向传播函数(输入x): 返回 x + x*Att (x)首先,将 E-MLPs输出的 32维特征向量 FE-MLPs送入一个池化全连接层(pooled fully connected layer,PFC Layer),包含一个自适应平均池化层、卷积层、激活函数(ReLU)和另一个卷积层。这种设计可以解决点云特征的全局信息缺失问题,又通过非线性变换提升特征的判别性,同时保持计算效率。然后,通过 Sigmoid函数获得特征权重,与原始特征向量相乘,获得注意力特征。最后,将加权特征与原始特征逐通道残差相加,利用残差跳跃连接,减轻网络训练中的梯度消失现象,保障浅层细粒度特征与深层语义特征的高效传递与充分融合,从而弥补 EMLPs在特征精细化筛选与跨层特征传播方面的不足。残差通道注意力计算公式如下:

其中,FE-MLPs为 E-MLPs模块提取的特征向量,σ 是Sigmoid激活函数,⊗为逐元素点乘运算符。

2 实验与结果分析

对于目标分类,本文采用 Focal Loss[15]作为损失函数,该函数能够在类别不平衡的情况下提高模型的性能。边界框回归损失采用平滑 L1损失,用于衡量预测区间与真实区间之间的差异。对于方向分类损失,采用交叉熵损失,以便衡量预测方向与真实方向之间的不一致性。

2.1 数据集和实验设置

本文所有实验均基于公开的 KITTI[16]数据集。该数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合建立,用于自动驾驶场景中视觉算法的评测。KITTI数据集使用 64线 3D激光雷达完成点云数据的采集,包含 7481个带标注的训练样本和7518个未标注的测试样本。我们遵循数据集使用协议,将训练数据集中 3712个样本用于训练,剩余3769个样本用于验证。主要的检测目标有 3类——Car,Pedestrian和 Cyclist,并依据目标大小,遮挡和被截断等情况,将目标分为 3个难度等级(简单、中等和困难)。

KITTI数据集为不同类别和不同困难级别的目标设置不同的 IOU阈值。对于“Car”类别,3个难度等级对应的目标 IOU阈值设定为(0.7,0.7,0.7),将真值IOU≥0.7的锚框作为正样本,IOU<0.7的锚框作为负样本。对于“Pedestrian”和“Cyclist”这两类小目标,3个难度等级对应的目标 IOU阈值设定为(0.5,0.5,0.5),将真值 IOU>0.5的锚框作为正样本,IOU<0.5的锚框作为负样本。评估指标包括检测精度(average precision,AP)和平均精度均值(mean average precision,mAP)。平均精度采用 40个召回位置进行计算,遵循 KITTI官方性能评估的统一标准。

实验的硬件配置: 16核 VCPU Intel (R) Xeon (R)Platinum 8474C处理器,配备 1块 NVIDIA GeForce RTX 4090 GPU (24 GB)。软件环境: 操作系统 Ubuntu20.04,深度学习框架 PyTorch 1.10.0,编程语言Python 3.8以及 CUDA 11.3。模型训练采用 Adam优化器进行参数优化,权重衰减参数设置为 0.01,学习率设置为 0.01,最大迭代次数为 80个周期,批量大小设置为 6。

2.2 FE-PointRCNN 网络在 KITTI 验证集上的性能

在 KITTI 3D验证集上,对 FE-PointRCNN网络的检测性能进行评估,并且与其他方法进行比较,结果如表1所示。PointRCNN*为基础框架 Point-RCNN的复现,为了保证比较的公平性,与 FE-PointRCNN网络采用相同的实验设备,并采用基于区间的 3D边界框生成模块。

表1 FE-PointRCNN 网络在 KITTI 3D 目标检测验证集上的检测结果
Table 1 Detection results of FE-PointRCNN network on KITTI 3D object detection validation set

方法 模态 Car-AP3D/% Pedestrian-AP3D/% Cyclist-AP3D/% 3DmAP/%简单 中等 困难 简单 中等 困难 简单 中等 困难MV3D[17] R+L 71.29 62.68 56.56 - - - - - - -AVOD-FPN[18] R+L 84.41 74.44 68.65 - 58.80 - - 49.70 - -F-PointNet[19] R+L 83.76 70.92 63.65 70.00 61.32 53.59 77.15 56.49 53.37 65.58 EPNet[20] R+L 88.76 78.65 78.32 66.74 59.29 54.82 83.88 65.50 62.70 70.96 VoxelNet[21] L 81.97 65.46 62.85 57.86 53.42 48.87 67.17 47.65 45.11 58.93 SECOND[22] L 88.61 78.62 77.22 56.55 52.98 47.73 80.58 67.15 63.10 68.06 PointRCNN[14] L 89.41 78.10 75.51 70.39 60.41 51.48 81.81 58.10 53.86 68.80 PointRCNN* L 89.05 80.24 77.81 61.80 54.56 48.01 89.52 72.05 67.51 71.17 FE-PointRCNN L 91.71 80.66 79.92 63.99 55.50 49.93 93.78 72.77 68.13 72.93增量 +2.66 +0.42 +2.11 +2.19 +0.94 +1.92 +4.26 +0.72 +0.62 +1.76

说明: 最佳检测精度用粗体数字标注; “L”表示激光雷达,“R”表示RGB 图像; “增量”表示FE-PointRCNN 网络相对PointRCNN*在检测性能上的提升幅度; 下同。

在“Car”类别上,数据量较为丰富,FE-Point-RCNN方法展现稳定的性能,甚至优于某些多模态方法。与 PointRCNN*方法相比,FE-PointRCNN在3个困难级别中的检测精度分别提高 2.66%,0.42%和 2.11%。在“Pedestrian”类别上,FE-PointRCNN方法性能未能达到最优,与 PointRCNN*相比,FEPointRCNN在 3个困难级别中的检测精度分别提高2.19%,0.94%和 1.92%。在“Cycli-st”类别上,FEPointRCNN在 3个困难级别的检测精度分别优于其他算法,与 PointRCNN*方法相比,分别提高 4.26%,0.72%和 0.62%。在 3D mAP指标上,FE-PointRCNN的综合性能最优,达到 72.93%。

2.3 FE-PointRCNN 网络在 KITTI 测试集上的泛化能力

为验证 FE-PointRCNN网络的泛化能力,将训练完成的模型提交至 KITTI服务器,在 3D检测基准上针对“Car”“Pedestrian”“Cyclist”3个类别开展泛化能力测试,并将测试结果与其他检测方法进行对比,结果如表2所示。

表2 FE-PointRCNN 网络在 KITTI 3D 目标检测测试集上的检测结果
Table 2 Detection results of FE-PointRCNN network on KITTI 3D object detection test set

方法 模态 Car-AP3D/% Pedestrian-AP3D/% Cyclist-AP3D/% 3DmAP/%简单 中等 困难 简单 中等 困难 简单 中等 困难MV3D[17] R+L 71.09 62.35 55.12 - - - - - - -AVOD-FPN[18] R+L 81.94 71.88 66.38 50.80 42.81 40.88 64.00 52.18 46.61 57.50 F-PointNet[19] R+L 81.20 70.39 62.19 51.21 44.89 40.23 71.96 56.77 50.39 58.80 EPNET[20] L 77.47 65.11 57.73 39.48 33.69 31.51 61.22 48.36 44.37 50.99 VoxelNet[21] L 83.13 73.66 66.20 51.07 42.56 37.29 70.51 53.85 46.90 58.35 SECOND[22] L 79.05 74.99 68.30 52.08 43.53 41.49 75.78 59.07 52.92 60.80 PointRCNN[14] L 85.94 75.76 68.32 49.43 41.78 38.63 73.93 59.60 53.59 60.77 PointRCNN* L 81.59 74.52 68.59 45.01 36.95 33.27 73.16 55.99 49.86 57.66 FE-PointRCNN L 82.14 75.42 71.00 47.51 38.78 34.81 70.31 53.48 47.53 57.89增量 +0.55 +0.90 +2.41 +2.50 +1.83 +1.54 -2.85 -2.51 -2.33 +0.23

在“Car”类别的 3个难度级别上,检测性能分别提升 0.55%,0.9%和 2.41%,尤其在被遮挡的困难级别汽车目标检测中,性能优于其他对比方法。在小目标“Pedestrian”类别上,检测性能分别提升2.50%,1.83%和 1.54%。但在“Cyclist”类别上,FE-Point-RCNN网络性能下降,主要原因是“Cyclist”类别的尺寸和形状相对不规整,点云数量稀少,目标尺度小,姿态多变,并且训练样本数量较少(Car: 14357,Pedestrian: 2207,Cyclist: 743),导致模型特征学习不充分。FE-PointRCNN网络更侧重挖掘汽车、行人等目标的局部几何结构与上下文依赖关系,对Cyclist这类样本数量少、形态差异大的类别适应性不足,导致在该类别上的检测精度略有降低。但是,在“Car”和“Pedestrian”类别上具有更稳定、鲁棒性更强的检测效果,验证了本文方法的有效性与良好泛化能力。

2.4 可视化分析

为直观地验证本文方法的有效性,在测试集上对 FE-PointRCNN和 PointRCNN*网络的检测结果进行可视化对比分析。图8~10分别展示模型在Car,Pedestrian和 Cyclist三类目标上不同真实场景的检测性能,每个类别均同时给出 2D图像视角和3D点云视角下的检测结果。

图8 KITTI测试集上“Car”类别检测的定性结果
Fig.8 Qualitative results of “Car”category detection on KITTI test set

PointRCNN*漏检的目标用黑色虚线标识,错检的情况用蓝色虚线标识; FE-PointRCNN 漏检的目标用红色虚线标识

从图8中“Car”类别的检测结果可见,FE-Point-RCNN和 PointRCNN*模型均能在 3个场景中准确地检测出绝大多数的汽车目标,但仍然存在少量漏检与错检现象。

在图8(a)中,两种模型均对一辆远距离且被遮挡的白色汽车产生漏检。主要原因在于,在远距离条件下,激光雷达的点云分布较为稀疏,同时目标被遮挡,导致局部信息缺失,使目标的有效特征被严重削弱; 另一方面,该类车型在训练集中样本相对不足,模型对低质量点云的特征提取与鲁棒性识别能力有限,导致漏检。在图8(b)中,FE-Point-RCNN模型的检测精度较高,而 PointRCNN*模型在目标被遮挡区域出现两处错检,将背景误检为目标,存在一定的过拟合现象。因此,FE-PointRCNN模型在“Car”类别上的整体检测性能更具稳定性和可靠性。

由图9可见,FE-PointRCNN和 PointRCNN*模型在 3个场景中均能准确地检测出绝大多数目标,但仍然存在少量漏检现象。在图9(a)和(c)中,Point-RCNN*对无遮挡的几位行人目标出现漏检,而FE-PointRCNN可实现全部正确检测。在图9(b)和(c)中,FE-PointRCNN对场景中远距离且严重遮挡的行人与汽车目标存在漏检。结合图8(a)中被多重遮挡的漏检汽车可以看出,FE-PointRCNN在处理远距离、强遮挡目标时存在一定的局限性,模型性能有进一步提升的空间。

图9 KITTI测试集上“Pedestrian”类别检测的定性结果
Fig.9 Qualitative results of “Pedestrian”category detection on KITTI test set

PointRCNN*的漏检目标用黑色虚线标识,FE-PointRCNN 漏检的目标用红色虚线标识

由图10中“Cyclist”类别的检测结果可以看出,PointRCNN*模型可以准确地检测出绝大多数目标,但存在少量漏检与错检现象。在图10(a)和(c)中,PointRCNN*模型对无遮挡行人这类“简单“级别的目标出现漏检; 在图10(b)中,该模型出现两处错检,将方形垃圾箱误检为汽车,将远处小目标误检为行人,存在一定过拟合现象。两种模型对骑自行车人目标,均能精准地检测。

图10 KITTI测试集上“Cyclist“类别检测的定性结果
Fig.10 Qualitative Results of “Cyclist”Category Detection on KITTI Test Set

PointRCNN*漏检的目标用黑色虚线标识,错检的情况用蓝色虚线标识

通过对 FE-PointRCNN模型多场景检测性能的可视化分析,并与 PointRCNN*模型进行比较,可知FE-PointRCNN模型的整体检测性能更具优势。但是,对于远距离、强遮挡的“困难”级别目标,检测精度仍有待提高。

3 消融实验

我们分别对 FE-PointRCNN网络中的增强多层感知机(E-MLPs)和残差通道注意力(RC-Attention)模块对 FE-PointRCNN网络性能的影响进行消融实验。

3.1 E-MLPs 模块对 FE-PointRCNN 网络性能的影响

为了验证 E-MLPs模块的有效性以及对 FEPointRCNN网络性能的影响,采用传统的多层感知机(MLPs)和 E-MLPs分别进行实验,结果见表3。从增量结果可知,在“Car”“Pedestrian”“Cyclist”的不同难度级别上,E-MLPs模块的检测性能优于传统的多层感知机。

表3 E-MLPs 模块和 MLPs 模块对算法性能的影响
Table 3 Impact of E-MLPs Module and MLPs module on algorithm performance

方法 Car-AP3D/% Pedestrian-AP3D/% Cyclist-AP3D/%简单 中等 困难 简单 中等 困难 简单 中等 困难MLPs 89.04 80.24 77.80 61.80 54.56 48.01 89.52 72.05 67.51 E-MLPs 89.46 80.53 78.16 63.68 55.76 49.18 92.19 72.32 67.61增量 +0.42 +0.29 +0.36 +1.88 +1.20 +1.17 +2.67 +0.27 +0.10

说明: “增量”表示 E-MLPs 模块相对 MLPs 模块对 FE-PointRCNN 网络在检测性能上的提升幅度。

3.2 RC-Attention 模块对 FE-PointRCNN 网络性能的影响

为了增强特征的判别能力,通过 RC-Attention模块对 E-MLPs提取的潜在特征向量进行加权优化,放大特定通道特征的贡献权重,从而提升网络整体检测性能。如表4所示,针对引入 RC-Attention模块与未引入该模块两种场景进行对比实验。结果显示,除在“Pedestrian”类别的“中等”难度级别中检测性能有所下降(-0.26%)外,在其余所有目标类别及难度级别中,模型检测性能均呈提升趋势。因此,RC-Attention模块能够有效地优化模型特征提取机制,实现检测性能的增益。

表4 RC-Attention 模块对算法性能影响
Table 4 Impact of RC-Attention module on algorithm performance

RC-Attention 模块 Car-AP3D/% Pedestrian-AP3D/% Cyclist-AP3D/%简单 中等 困难 简单 中等 困难 简单 中等 困难无 89.46 80.53 78.16 63.68 55.76 49.18 92.19 72.32 67.61有 91.71 80.66 79.92 63.99 55.50 49.93 93.78 72.77 68.13增量 +2.24 +0.13 +1.76 +0.31 -0.26 +0.75 +1.59 +0.45 +0.52

说明: “增量”表示引入 RC-Attention 模块后,FE-PointRCNN 网络检测性能相较于未引入模型的提升幅度。

4 鲁棒性测试

为进一步评估 FE-PointRCNN网络在新型复杂场景中的鲁棒性,本文以 ONCE单激光雷达自动驾驶数据集[23]为实验数据,将 PointRCNN*作为基线模型,开展鲁棒性实验。

ONCE数据集由华为诺亚方舟实验室联合华为自动驾驶云服务、中山大学和香港中文大学于 2021年共同发布,是面向国内驾驶场景的大型 3D目标检测数据集。该数据集由 581个序列构成,其中 20个序列被标注,6个序列用于训练(涵盖 5K个场景),4个序列用于验证(涵盖 3K个场景),10个序列用于测试(涵盖 8K个场景)。本实验基于训练集和验证集。ONCE数据集场景丰富多样,覆盖不同的时段(白天和夜晚)、不同的天气(晴天、阴天和雨天)以及不同的地区(市区、近郊、高速和隧道)。

鲁棒性实验中,对 Vehicle,Pedestrian和 Cyclist这 3类常用目标进行评估。硬件设备: 16核 VCPU Intel(R) Xeon(R) Platinum 8474 C处理器,1块 Nvidia RTX 4090 (24 GB) GPU显卡。软件环境: 操作系统Ubuntu20.04,深度学习框架 PyTorch 1.10.0,编程语言 Python 3.8,以及 CUDA 11.3。运用 Adam优化器进行训练,参数设置如下: 权重衰减为 0.01,初始学习率为 0.003,批量大小为 2,共迭代训练 80个epoch。车辆类目标要求预测 3D包围盒与标注框的交并比≥60%,行人和骑行者小目标的交并比设定为 45%。

如表5所示,将在 ONCE数据集上复现的 Point-RCNN*基准架构与 FE-PointRCNN网络分别进行检测性能比较。将平均准确率作为核心评估指标,从全场景、0~30 m、30~50 m和>50 m等不同场景范围分别进行评估。实验结果表明,两类模型均呈现近距离场景检测性能优于远距离场景的结果。结合“增量”数值进一步验证,FE-PointRCNN网络的整体检测性能优于 PointRCNN*模型。上述结果不仅证明了 FE-PointRCNN网络在新的数据分布变化、检测环境不稳定以及阴雨天气等复杂场景中,均能实现检测准确率的有效提升,也证实该网络具备良好的鲁棒性。

表5 以 PointRCNN 为基准框架,FE-PointRCNN 网络在 ONCE 验证集上的鲁棒性测试结果
Table 5 Robustness test results of FE-PointRCNN network with PointRCNN as the benchmark framework on ONCE validation set

方法 Vehicle Pedestrian Cyclist全场景 0~30 m 30~50 m >50 m 全场景 0~30 m 30~50 m >50 m 全场景 0~30 m 30~50 m >50 m PointRCNN* 52.12 74.55 39.46 17.26 5.82 8.11 2.23 1.81 31.73 48.18 21.22 6.78 FE-PointRCNN 54.33 77.01 43.45 19.75 6.46 8.71 2.69 2.19 35.47 55.37 24.98 7.34增量 +2.21 +2.46 +3.99 +2.49 +0.64 +0.6 +0.46 +0.38 +3.74 +7.19 +3.76 +0.56

5 总结

本研究聚焦三维点云目标检测领域的痛点问题,针对传统 PointRCNN框架中 PointNet-MLPs特征提取结构的固有缺陷,以及点云数据特性复杂、特征表达不完整和关键信息易丢失等难题,提出特征增强 PointRCNN(FE-PointRCNN)网络,并提出增强多层感知机(E-MLPs)模块和残差通道注意力(RCAttention)模块,系统地弥补了传统 PointNet-MLPs的不足,完善了点云局部-全局特征融合机制。

在 KITTI验证集和测试集上的有效性实验结果表明,FE-PointRCNN网络的整体检测性能优于 PointRCNN*模型,检测精度在 3DmAP上达到 72.93%,优于其他先进方法。消融实验结果进一步验证了两个创新模块的有效性以及协同优化价值。此外,跨数据集的鲁棒性测试结果显示,在 ONCE数据集的30~50 m中距场景中,FE-PointRCNN对 3类目标的检测精度分别提升 3.99%,0.46%和 3.76%,进一步证实了模型的跨场景泛化能力。

尽管多尺度特征融合与轻量级注意力机制结合方案在点云检测任务中具备可行性,但受真实驾驶场景复杂性制约,本文模型仍然存在一些局限性。后续工作中将继续围绕单模态 3D目标检测展开深化研究,进一步优化特征提取流程与注意力分配机制,提高困难目标的特征捕捉与判别能力,提升模型在复杂驾驶场景中目标检测的精准度,保障自动驾驶场景的行车安全性。

参考文献

[1]World Health Organization.Global status report on road safety 2018 [EB/OL].(2018-06-17)[2025-10-09].https://www.who.int/violence_injury_prevention/road_safety_status/2018/en/

[2]Arnold E,Al-Jarrah O.Y,Dianati M,et al.A survey on 3d object detection methods for autonomous driving applications.IEEE Transactions on Intelligent Transportation Systems,2019,20: 3782-3795

[3]SAE-International.J3016_202104-taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles [EB/OL].(2021-04-30)[2025-10-09].https://www.sae.org/standards/j3016_20 2104-taxonomy-definitions-terms-related-driving-auto mation-systems-road-motor-vehicles

[4]中华人民共和国工业和信息化部.智能网联汽车组合驾驶辅助系统安全要求[EB/OL].(2025-09-17)[2025-10-09].https://www.miit.gov.cn/jgsj/zbys/qcgy/art/2025/art_b4c467db98344caaaed2ff97b56cc3dd.html

[5]Ma X,Qin C,You H,et al.Rethinking network design and local geometry in point cloud: a simple residual MLP framework // International Conference on Learning Representations (ICLR) 2022.Online Meeting,2022: 1-12

[6]Zhao H,Jiang L,Jia J,et al.Point transformer // Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal,2021: 16259-16268

[7] Xu M,Ding R,Zhao H,et al.PAConv: position adaptive convolution with dynamic kernel assembling on point clouds // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville,2021:3173-3182

[8]Qi C R,Yi Li,Su H,et al.Pointnet++: deep hierarchical feature learning on point sets in a metric space.Advances in Neural Information Processing Systems,2017,30: 5105-5114

[9]Liang Z,Zhang M,Zhang Z,et al.Rangercnn: towards fast and accurate 3d object detection with range image representation [EB/OL].(2020-09-01) [2025-10-09].https://doi.org/10.48550/arXiv.2009.00206

[10]He C,Zeng H,Huang J,et al.Structure aware singlestage 3d object detection from point cloud // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle,2020: 11870-11879

[11]Meyer G P,Laddha A,Kee E,et al.Lasernet: an efficient probabilistic 3D object detector for autonomous driving // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach,2019: 12669-12678

[12]Zheng W,Tang W,Jiang L,et al.SE-SSD: selfensembling single-stage object detector from point cloud // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville,2021: 14494-14503

[13]中华人民共和国工业和信息化部.智能网联汽车自动驾驶系统安全要求[EB/OL].(2026-02-12)[2026-03-09].https://www.miit.gov.cn/jgsj/zbys/qcgy/art/20 26/art_84f95e0c2e664ca0b2be8d37360fbd45.html

[14]Shi S,Wang X,Li H.Pointrcnn: 3D object proposal generation and detection from point cloud // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach,2019: 770-779

[15]Lin T,Goyal P,Girshick R,et al.Focal loss for dense object detection // 2017 IEEE International Conference on Computer Vision.Venice,2017: 2999-3007

[16]Geiger A,Lenz P,Stiller C,et al.Vision meets robotics:the KITTI dataset.The International Journal of Robotics Research,2013,32(11): 1231-1237

[17]Chen X,Ma H,Wan J,et al.Multi-view 3D object detection network for autonomous driving // 2017 IEEE Conference on Computer Vision and Pattern Recognition.Hawaii,2017: 6526-6534

[18]Ku J,Mozifian M,Lee J,et al.Joint 3D proposal generation and object detection from view aggregation// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems.Madrid,2018: 1-8

[19]Qi C R,Liu W,Wu C,et al.Frustum pointnets for 3D object detection from RGB-D data // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,2018: 918-927

[20]Huang T,Liu Z,Chen X,et al.EPNet: enhancing point features with image semantics for 3D object detection// 16th European Conference on Computer Vision.Online Meeting,2020: 35-52

[21]Zhou Y,Tuzel O.Voxelnet: end-to-end learning for point cloud based 3d object detection // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,2018: 4490-4499

[22]Yan Y,Mao Y,Li B.SECOND: sparsely embedded convolutional detection.Sensors,2018,18(10): 3337

[23]Mao J,Niu M,Jiang C,et al.One million scenes for autonomous driving: ONCE dataset // NeurIPS 2021.Online Meeting,2021: 1-21

FE-PointRCNN: 3D Object Detection for Autonomous Driving Based on Feature-Enhanced PointRCNN

ZHANG Baowen1,ZHAO Yongyong2,†,SU Chengzhi1,CAO Guohua1,†
1.School of Mechanical and Electrical Engineering,Changchun University of Science and Technology,Changchun 130022; 2.School of Electronic Information Engineering,Taiyuan University of Science and Technology,Taiyuan 030024; † Corresponding authors,E-mail: zhaoyongyong@tyust.edu.cn (ZHAO Yongyong),2018200060@mails.cust.edu.cn (CAO Guohua)

Abstract To address the challenges in autonomous driving environment perception —namely,that pure visionbased schemes are prone to misjudgment,existing 3D point cloud object detection algorithms suffer from insufficient feature representation due to the sparsity and inhomogeneity of point clouds,low detection accuracy in complex scenarios,and the fact that most algorithms only validate single-category objects,failing to meet the multi-category perception requirements of national standards —a feature-enhanced PointRCNN network (FE-PointRCNN) is proposed.To overcome the limitations of traditional MLP structures,which possess strong global feature extraction capabilities but weak local geometric feature capture,along with the high computational overhead of attention mechanisms,Enhanced Multi-Layer Perceptrons (E-MLPs) and Residual Channel Attention (RC-Attention) modules are designed.These modules are integrated to construct an improved E-PointNet++ feature extraction architecture that enables parallel multi-scale feature extraction and adaptive weighted enhancement of key channel features,thereby alleviating the gradient vanishing problem and enhancing feature discriminability.Comparative and ablation experiments are conducted on the KITTI and ONCE datasets.The results demonstrate that the proposed FEPointRCNN achieves accuracy improvements over the baseline PointRCNN* for the Car,Pedestrian,and Cyclist categories and exhibits strong robustness on the complex-scene ONCE dataset.The proposed algorithm effectively improves point cloud feature extraction capability and multi-category object detection performance,providing valuable technical support for LiDAR-based perception systems in autonomous driving.

Key words 3D object detection; autonomous driving; enhanced multi-layer perceptron; residual channel attention