北京大学学报(自然科学版) 第62 卷 第5 期 2026 年9 月

Acta Scientiarum Naturalium Universitatis Pekinensis,Vol.62,No.5 (Sept.2026)

doi: 10.13209/j.0479-8023.2026.104

国家自然科学基金青年科学基金项目(C 类) (T2600787)、山西省青年科学研究项目(202403021212106)和太原理工大学引进人才科研启动经费(RY2400000591)资助

收稿日期: 2025-07-10; 修回日期: 2026-05-14

图像三维重建下视差角与笛卡尔参数化的光束法平差收敛性对比
——基于百余组数据集的实验验证

谭平 1 代云凡 2,3 左正康 2,3,4,† 高云龙 4 刘东霞 3,5 董娇娇 3 王嘉伟 2,3 朱桂海 4徐二帅 6 王强 7 卢文艺 8 赵李杰 9 杨冲 4 李小凯 4 刘文轩 4 杨洋 4 韩秉宏 10

1.中国电建集团成都勘测设计研究院有限公司,成都 610000; 2.极坐标视觉实验室,太原理工大学,太原 030024; 3.X-DNA智能文化联合实验室,太原理工大学,太原 030024; 4.大势智慧科技有限公司研发中心,武汉 430223; 5.太原理工大学建筑与艺术学院,太原 030024; 6.河北农业大学城乡建设学院,保定 071001; 7.天津师范大学地理学部,天津 300387;8.中国地质大学地理与信息工程学院,武汉 430078; 9.山西中云智图地理信息科技有限公司,太原 030006;10.中铁建工集团有限公司,北京 100160; † 通信作者,E-mail: zuozhengkang@tyut.edu.cn

摘要 针对视差角参数化方法用于图像三维重建时存在与主流方法的对比实验规模有限、优化器设置不统一的问题,构建涵盖车载场景、无人机场景和近景场景的 106组光束法平差(BA)数据集,对主流的笛卡尔坐标参数化(SBA)和视差角参数化方法(PBA)的求解流程进行统一,确保对比的公平性,并从收敛性、计算耗时、图像空间精度和参数空间精度等维度对两类方法进行评估。实验结果表明,在 106组配对数据集上,PBA方法的迭代次数整体上显著低于 SBA方法,呈现更快的收敛趋势; 在初始点云噪声较大或 SBA方法出现发散的代表性场景中,PBA方法在图像空间和参数空间中的优化结果更稳定。本文的数据集与源码已在https://reurl.cc/OmZz09和 https://github.com/Polar-vision/PBA-V3公布。

关键词 视差角; 笛卡尔; 三维点参数化; BA数据集; 收敛性

光束法平差(bundle adjustment,BA)通过最小化重投影误差,联合估计相机位姿与三维点坐标,是图像三维重建和视觉 SLAM中的核心优化环节。三维点的参数化方式会影响观测方程的线性化结构以及迭代收敛行为。2011年,Zhao等首次提出基于视差角参数化的光束法平差方法(parallax bundle adjustment,PBA)[1],并不断完善和优化[2-3],在单目视觉定位与建图(monocular VSLAM)任务中展现出优于逆深度方法[4]的深度估计性能。随后,该方法被扩展至 Stereo VSLAM[5]和 Graph-based VSLAM[6],均取得更好的实验效果。在参数迭代更新方面,Liu等[7-9]将流形优化方法引入视差角的参数化,从而实现更快的收敛效率。在相机模型层面,PBA的适用范围不断拓展,已经能够同时支持框幅式与推扫式相机成像模型[10-11]。在自由网和控制网平差场景[12-13],该方法的收敛性能优于 SBA[14]、sSBA[15]、MATLAB内置的 BA工具[16]以及 Ames Stereo Pipeline (ASP)的 BA模块[11]。孙岩标[10]和左正康等[17]从观测方程的线性化程度和海森矩阵条件数等角度,对二、三维条件下的收敛性进行数学分析。2023年,IEEE将该方法纳入无人机测绘标准[18]。晏磊等[19]和左正康等[20]对 PBA方法的发展脉络进行了全面的综述。

在光束法平差方法中,观测方程用于建立相机位姿、三维点状态与像点观测之间的非线性映射,是构造重投影残差、雅可比矩阵和正规方程的基础。视差角参数化 BA观测方程并不改变以重投影误差为核心的优化目标,而是将三维点由世界坐标系下的笛卡尔坐标重新表示为方向角和视差角,并利用主、副锚点建立多视约束,主要作用是改变三维点状态变量及其与相机参数的耦合关系,从而影响观测方程的线性化形式、增量求解方向和迭代收敛过程。对于初始深度误差较大、视差较小或几何约束较弱的三维点,这种参数化方式有望减弱直接优化笛卡尔坐标时的尺度敏感性,提高局部增量求解的稳定性。

尽管已有研究者从理论推导和典型实验等方面分析了视差角参数化的收敛特性,但其相对于笛卡尔参数化的实际优势和适用边界缺少充分验证。一方面,现有实验通常仅涉及少量数据集,难以支撑跨场景的统计性结论; 另一方面,既有研究往往直接比较由不同的软件或项目实现的 PBA与 SBA(Sparse BA,笛卡尔方法),而不同的初始化方式、阻尼策略、线性求解器和终止准则均可能影响实验结果,因而难以将观察到的性能差异完全归因于参数化方式本身。笛卡尔参数化仍然是现有 SBA实现中常用的三维点表示方式,因此在相同数据、相同初始值和相同求解器设置下比较两类参数化方法,是判断视差角参数化是否具有独立方法优势的必要前提。同时,只有在包含不同拍摄平台、场景结构和初始噪声水平的大规模数据集上开展配对统计分析,才能进一步回答视差角参数化是否能够稳定地减少迭代次数、改善优化精度等问题,并分析其计算代价和适用范围。

基于此,本研究开展以下工作: 1) 构建涵盖车载场景、无人机场景和近景场景的 106组 BA数据集,并为每组数据提供统一的参考基准解与扰动初始解; 2) 将视差角参数化与笛卡尔参数化统一到相同的 LM求解框架中,使两类方法共享初始化、阻尼更新、Schur补消元、线性求解器和终止准则; 3)从迭代收敛性、计算耗时、图像空间精度以及参数空间精度等方面进行配对比较,并结合典型数据集的矩阵结构和数值稳定性指标,对实验现象进行补充分析。

1 相关研究

1.1 参数化方法

视差角参数化和笛卡尔参数化方法原理如图1所示。其中,tm,ta和 ti分别表示主锚点、副锚点和其他锚点在世界坐标系 XwYwZw中的笛卡尔坐标。视差角方法将三维点 F的坐标表示为 3个角度参数:

图1 两种参数化方法的对比
Fig.1 Comparison between two parameterization methods

其中,φ 和θ 表示三维点 F在主锚点 tm坐标系下的方向角,ω表示两条视线向量和之间的夹角。笛卡尔方法在世界坐标系中将三维点 F的坐标表示为

由式(1)和(2)可见,视差角参数化与笛卡尔参数化的核心差异在于三维点状态变量的选择。视差角方法用方向角和视差角描述三维点,而笛卡尔方法直接用世界坐标系下的三维坐标描述三维点。该差异会进一步影响观测方程的线性化形式和雅可比矩阵结构,因此有必要在统一求解框架下对两类参数化方法进行对比评估。

1.2 观测方程

三维点从世界坐标系变换到像素坐标系的方程如下:

若对三维点进行视差角参数化,则

其中,i = nM和 i = nA分别表示三维点 F在主锚点 tm和副锚点 ta的坐标系下进行变换,否则在其他锚点 ti的坐标系下进行变换; Rm,Ra和 Ri分别表示世界坐标系到主锚点、副锚点和其他锚点所在的相机坐标系的旋转矩阵; d和 v(φ,θ)分别表示三维点 F在主锚点 tm所在坐标系的深度和方向向量。

其中,ψ 表示向量 tmta与向量 tmF之间的夹角:

若对三维点进行笛卡尔参数化,则

观测方程(式(8))中并未区分主锚点、副锚点及其他锚点,所有锚点均可统一表示为 ti。因此,视差角参数化与笛卡尔参数化的观测方程主要存在以下三点差异。

1) 参数形式不同: 视差角方法优化的三维点参数由 3个角度变量(φ,θ,ω)构成,而笛卡尔方法优化的三维点参数由 3个线变量(Xw, Yw, Zw)构成。

2) 锚点结构不同: 视差角方法引入主锚点与副锚点的概念,而笛卡尔方法中不存在此类区分。

3) 约束关系不同: 在视差角方法中,当三维点F投影至其他锚点 ti时,其观测不仅约束当前相机的外参,同时也对主、副锚点的外参产生约束; 而在笛卡尔方法中,每个观测仅与对应相机的外参相关。

上述观测关系的差异会进一步反映在雅可比矩阵的非零结构中。

1.3 雅可比矩阵

以由 4帧对应特征点构成的 Track观测结构为例(图2),三维点 Fj在这 4帧图像中的投影像素点分别为 ujm,uji,ujk和 uja。视差角参数化方法的雅可比矩阵为

图2 由多帧连接点构成的 Track观测结构
Fig.2 Observation structure of a multi-frame track

其中,r和 t分别表示相机外参的角元素和线元素。笛卡尔参数化方法的雅可比矩阵为

从式(9)和(10)可以清晰地看出两个雅可比矩阵的差异: 1) 最后 3列对应的变量不同,即三维点参数块存在差异,视差角方法计算的是 3个角度的梯度信息,而笛卡尔方法计算的是 3个直角坐标的梯度信息; 2) 前 8列的观测(u,v)与相机外参项 t的连接性差异,除主锚点自身的观测外,其余观测均与主副锚点对应的相机外参项 tm和 ta具有连接关系。这两个差异会改变雅可比矩阵及其 Schur补矩阵的非零结构,并可能影响线性化系统的条件数、步长估计和搜索方向的稳定性。

2 实验方法

2.1 基准数据集

本文采用 COLMAP与自主开发的 colmap2pba工具协同构建 BA数据集。COLMAP用于完成原始图像的特征匹配、初始三维重建和基准 BA解算,并输出相机参数、像点观测关系以及三维连接点。colmap2pba用于读取并转换 COLMAP输出结果,生成 PBA和 SBA共同使用的实验数据格式,同时通过统一的相机外参扰动和三维点,重新三角化,生成两类方法完全一致的初始解。需要说明的是,colmap2pba属于数据转换与初值生成工具,并非BA优化器; 后续 PBA和 SBA实验均在本文统一实现的 LM求解器中完成,COLMAP不参与两类参数化方法的性能比较。每个数据集由 4个文件组成:相机外参(Cam.txt)、无畸变匹配点(Feature.txt)、相机内参(cal.txt)和三维连接点(XYZ.txt)。按照图3所示流程,共构建 106组 BA数据集,作为两类 BA观测方程收敛性的基准数据。每组数据集均同时提供“基准解”和“初始解”。其中,基准解取自 COLMAP软件输出的相机外参和三维连接点; 初始解则通过向相机外参施加高斯噪声并对连接点重新三角化获得。构建流程所需的图片来自 KITTI (https://www.cvlibs.net/datasets/kitti)和 ODM (https://github.com/OpenDroneMap/ODMdata/)数据集。KITTI和 ODM数据集的采集平台及基本信息见附录 1 (图 S1-1、表 S1-1和表 S1-31)。

图3 BA数据集构建流程
Fig.3 Pipeline for constructing BA datasets

2.2 统一LM 求解流程

本文将两类方法统一到同一套带自适应阻尼的Levenberg-Marquardt (LM)求解流程中(图4),在同一 BA任务中,将视差角参数化和笛卡尔参数化方法处于一致的求解器设置下进行公平的比较。两类方法共享相同的数据输入、初始值、阻尼因子更新策略、Schur补消元方式、线性求解器和终止准则,差异仅体现在观测方程、雅可比矩阵结构以及三维点参数更新方式上。通过这种统一控制,实验结果能够更直接地反映参数化方式对收敛过程和优化结果的影响。具体而言,在每次迭代中,算法首先根据当前参数计算残差向量和雅可比矩阵构造带阻尼的近似海森矩阵; 随后利用 Schur补进行增量求解,更新参数并计算实际下降量、预测下降量以及增益比。若增益比大于 0,则接受更新并减小阻尼因子;否则拒绝更新并增大阻尼因子。算法在满足参数相对变化量、残差变化量、最大梯度分量、残差平方和或最大迭代次数等任一终止条件时结束。该统一流程说明,后续实验差异主要来自三维点的视差角参数化与笛卡尔坐标参数化及其诱导的线性化结构差异,而不是求解器设置差异。

图4 用于公平比较 PBA与 SBA的统一 LM求解流程
Fig.4 Unified LM optimization pipeline for a fair comparison between PBA and SBA

雅可比算法终止条件设为: 1) 参数的相对变化量|Δxk|/|xk|≤1×10-6; 2) 残差向量模长的相对变化量|Δdk|/|dk|≤1×10-6; 3) 最大梯度分量;4) 残差平方和 rkTrk≤1×10-12; 5) 最大迭代次数 k>100。实验环境配置: CPU为 Intel Core i7-9700@3.60 GHz,GPU为 NVIDIA GeForce RTX 2070,内存为 64 GB,操作系统为 Windows 10专业版 22 H2,编程语言为 C++17,依赖库包括 Cholmod 1.5.0,Eigen 3.3.5和 OpenCV 4.11.0。

2.3 评价指标

本文采用计算机视觉研究领域广泛采用的 5类BA标准评价指标,对笛卡尔参数化与视差角参数化方法在 106组 BA数据集上的实验结果进行以下方面的比较。

1) 收敛性(convergence): 通过绘制不同算法在同一数据集上的收敛曲线进行比较,横轴为迭代次数或训练时间,纵轴为损失函数值,用来评估优化过程的收敛速度与稳定性。

2) 计算效率(computational efficiency): 统计迭代求解流程的总运行时间及单次迭代平均耗时,用来衡量两类参数化方法在统一 LM求解器下的计算开销。

3) 图像空间精度(image-space accuracy): 将像点重投影误差(MSE)作为主要评估指标。考虑到不同数据集的图像分辨率存在差异,仅比较绝对 MSE可能受到的像素尺度影响,进一步计算图像面积归一化误差指标 NMSE:

其中,w和 h分别为图像宽度和高度。由于 MSE和w×h的单位相同(pixel2),所以 NMSE为无量纲指标,用于减弱图像分辨率尺度差异对跨数据集图像空间误差比较的影响。

4) 参数空间精度(parameter-space accuracy): 我们构建的 BA数据集同时提供 COLMAP基准解和初始解,本文以基准解为参照,衡量优化后相机参数与三维点坐标相对于基准解的偏差,并采用平均绝对误差(mean absolute error,MAE)、均方误差(mean squared error,MSE)、最大符号残差(maximum signed residual,MSR)及中位数(median) 4个统计量进行量化分析。

5) 显著性检验(significance testing): 本文实验基于 106个配对样本(即每个数据集在笛卡尔参数化方法和视差角参数化方法下均产生一组指标结果),属于典型的配对比较问题。为检验两类参数化方法在各项指标上的性能差异是否具有统计学显著性,采用 Wilcoxon符号秩检验(Wilcoxon signedrank test)进行双侧检验,显著性水平设为 0.05。当检验结果的 p值小于 0.05时,认为两种方法在该指标上的差异具有统计学显著性。

3 结果与讨论

3.1 收敛性对比

如图5所示,参数化选择对优化过程的影响首先定性地体现在收敛曲线上。可以看出,视差角方法表现出更快、更稳定的收敛特性。我们推测这与视差角参数化改变局部线性化结构并改善部分数据集上的搜索方向稳定性有关。笛卡尔方法的收敛曲线比较复杂,易导致收敛缓慢、失败(图5(a),(e)和(f))或振荡(图5(b)~(d))。更多结果见附录 1 (图 S1-2、图 S1-5以及图 S1-8至图 S1-317)。

图5 两类方法在不同数据集的收敛曲线对比
Fig.5 Comparison of convergence curves for Cartesian vs.parallax-angle parameterizations on different datasets

为定量验证,我们进一步统计 106组数据下的迭代次数。Wilcoxon检验结果(图6)表明,视差角方法在 106组配对数据上的迭代次数整体上显著低于笛卡尔方法(p<0.05),支持其在本文测试集范围内具有更快的收敛趋势。

图6 两类方法在 106组数据集上迭代次数的分布比较(p < 0.05,Wilcoxon符号秩检验)
Fig.6 Distribution comparison of iteration counts for the two methods (p < 0.05,Wilcoxon test)

箱体表示IQR,横线为中位数,散点为原始数据。下同

3.2 运行时间对比

图7 的统计结果揭示了视差角方法在效率上的内在权衡: 更快的收敛速度被每次迭代更高的计算成本所平衡。究其本质,这源于参数化引入的雅可比矩阵结构变化。如图2中由多帧连接点构成的Track观测结构所示,视差角方法通过使单个像点观测同时约束多张照片的参数(如像点同时约束tm,ta和 ti),在矩阵中引入表征参数间强耦合的非对角线非零元。这一结构差异与 PBA单次迭代耗时较高的现象一致: 视差角参数化引入主、副锚点后,部分观测会同时连接当前相机与锚点相机参数,使雅可比矩阵及 Schur补中的相机参数块耦合增强。需要指出,本文当前运行时间统计主要反映完整迭代流程的总耗时和平均单次迭代耗时,因此不将时间差异完全归因于某一个子步骤。

图7 两种方法在 106组数据集上的运行时间(a)与单次迭代耗时(b)对比(Wilcoxon符号秩检验,p < 0.05)
Fig.7 Comparison of total runtime (a) and time per iteration (b) for the two methods on 106 datasets (Wilcoxon test,p < 0.05)

这种计算代价合理且可控,同时可以显著地提升解的鲁棒性。在典型的 BA问题中,照片参数规模远小于点参数规模,这些新增的非零元仅与照片参数相关,故其数量在整体雅可比矩阵的非零元中占比很小,可以避免计算复杂度的急剧上升。

3.3 图像空间精度对比

在光束法平差(BA)中,图像坐标通常是唯一可用的观测值,优化过程由像点重投影误差驱动。因此,收敛后的重投影误差大小直接反映图像空间的几何精度。表1展示 6组代表性数据集的收敛结果,更多结果见附录 1 (表 S1-2至表 S1-30、表 S1-32至 S1-108)。为进一步从统计层面对 106组数据集进行比较,本文绘制两类方法的 MSE与 NMSE分布(图8)。

表1 两类参数化方法的收敛结果定量分析
Table 1 Quantitative analysis of convergence results for two types of parameterization methods

方法 KD3 KD11初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s 初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s笛卡尔坐标方法 30.4 0.98 15 14.68 24.43 0.43 42 19.25视差角方法 0.53 6 12.34 0.43 7 5.17方法 ODM3 ODM5初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s 初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s笛卡尔坐标方法 2872.35 1.98 51 6.32 25311.99 2.26 30 8.02视差角方法 1.97 7 2.32 2.26 11 2.99方法 CR3 CR8初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s 初始MSE/pixel2 最终MSE/pixel2 迭代次数 总耗时/s笛卡尔坐标方法 4485602 168.24 101 0.97 563706.4 13.72 90 4.36视差角方法 0.78 22 0.47 1.77 18 2.46

注: 粗体数字表示各指标最优结果,下同。

图8 两类方法在 106组数据集上图像空间精度的分布比较(Wilcoxon符号秩检验,p < 0.05)
Fig.8 Distribution comparison of the image-space accuracy for the two methods on 106 datasets(Wilcoxon signed-rank test, p < 0.05)

(a) 原始重投影均方误差 MSE; (b) 图像面积归一化误差 NMSE。双侧 Wilcoxon 符号秩检验结果显示,MSE 指标下 W=11.0,p= 8.0772×10-15; NMSE 指标下 W=37.0,p=2.1075×10-14

从图8可以看出,在 106组配对数据集上,PBA在 MSE指标下均表现出更低的中位误差,并通过Wilcoxon符号秩检验达到统计学显著水平。在精度方面,PBA在 3个数据集(KD3,CR3和 CR8)上取得更低的 MSE,并在其余 3个数据集(KD11,ODM3和 ODM5)上与笛卡尔方法持平。在效率方面,视差角方法所需迭代次数和总耗时均显著少于笛卡尔方法。在全部 18项对比中,该方法在 15项上取得最优结果。

PBA的优势在初始误差较大的 CR3和 CR8数据集上尤为明显,表明其具备更宽的收敛域和更强的局部最优摆脱能力,对初始解质量较差的实际应用具有重要意义。通常,优化算法需要在精度与效率之间权衡,但本实验呈现“双赢”局面: 视差角方法在提升收敛速度的同时,也保持或提高了最终的精度,表明参数化方式可以有效地改善优化问题的收敛特性。

为进一步验证精度优势,我们统计 106组数据下的图像空间精度。Wilcoxon符号秩检验结果(图8)表明,视差角方法收敛后的 MSE显著更低(p<0.05),从统计学上确认其在图像空间精度方面的稳定优势。考虑到不同数据集中图像分辨率的差异,仅比较绝对 MSE可能受到的像素尺度影响。本文进一步采用图像面积归一化误差 NMSE进行补充统计,结果说明,在进行图像面积归一化后,视差角方法在图像空间精度上的统计优势仍然成立。

对 6组代表性数据集上的优化结果进行可视化对比,结果如图9所示,更多结果见附录 1 (图 S1-3、图 S1-6至图 S1-318)。基于 Open3D库的联动显示功能实现可视化,通过共享坐标系与交互控制,确保不同方法之间的结果具备可比性。可以看出,在 KD3,ODM3和 ODM5数据集中,两种方法均能优化出正确的点云结构和相机位姿; 而在 KD11,CR3和 CR8数据集中,笛卡尔方法在优化过程中出现发散,生成包含极大坐标值的发散点云。由于Open3D在设定可视化范围时自动包含全部点云坐标,这些发散点导致笛卡尔方法窗口的整体显示尺度被放大,从而使有效点云因尺度压缩而无法与真值窗口的点云联动显示。值得注意的是,在 KD11数据集中,尽管两种方法在图像空间精度上表现一致,笛卡尔方法的图像仍然出现部分点云在优化过程中发散,说明重投影误差不能完整反映优化质量,需进一步结合参数空间精度进行综合分析。

图9 两类方法在不同数据集上的优化结果可视化对比
Fig.9 Visualization of optimization results of two methods in different datasets

灰色点表示三维点云,黑色锥体表示相机视锥; Failure 表示优化过程中出现收敛失败或点云发散

从所有初始点云的可视化结果可以看出其噪声水平较高,在 Z坐标上更为突出。笛卡尔方法直接对噪声较大的 Z坐标进行优化,而视差角方法则先将 Z坐标映射到由双锚点约束的视差角空间中进行优化,算法收敛后再将其逆变换回 Z坐标。通过这种参数化处理,即使在噪声较大的初始点云条件下,视差角方法仍然能在图像空间和参数空间保持可靠的精度。相反,笛卡尔方法的结果往往不可靠,要么在优化过程中发散,导致图像空间精度无法保证,要么虽然在图像空间精度的引导下收敛至较小值,但实际解算的参数可能严重偏离基准解(即参数空间精度较低)。

3.4 参数空间精度对比

图10 和 11展示 6组代表性数据集上两类方法优化结果与基准解的残差对比,进一步探讨两类参数化方法在参数空间的表现。其余参数的残差图见附录 2,其余 100组数据集的分析结果见附录 1 (图S1-4、图 S1-7至图 S1-319、表 S1-2至表 S1-30、表S1-32至表 S1-108)。

图10 不同数据集上两类参数化方法优化结果的照片摄影中心 X坐标残差图(左)与残差分布直方图(右)
Fig.10 Residual plots (left) and residual histograms (right) of the camera perspective center X-coordinate for the two parameterization methods across six datasets

黑色虚线为零残差参考线,残差越接近零残差线,表示结果精度越高。下同

从图10可以看出,在 6组代表性数据集中,视差角方法优化得到的摄影中心 X坐标残差(红色曲线)均接近零残差线,笛卡尔方法的残差(蓝色曲线)则明显偏离零点,并且呈现振荡趋势。在三维连接点的 Z坐标上,视差角方法同样展现出更高、更一致的参数精度(图11)。值得注意的是,在 KD11数据集上,两类方法在图像空间精度上表现相同(图5(b)和表1),但在参数空间精度上存在显著的差异(图10(b)和图11(b))。类似现象也出现在 ODM3和ODM5数据集上: 图像空间精度(图5(c)和(d))接近,但参数空间精度差异较大(图10(c)和(d),图11(c)和(d))。

图11 不同数据集上两类参数化方法优化结果的三维点 Z坐标残差图(左)与残差分布直方图(右)
Fig.11 Residual plots (left) and residual histograms (right) of the 3D point Z-coordinate for the two parameterization methods across six datasets

我们进一步统计 6个代表性数据集残差图中的所有样本数据,并针对相机位姿与三维连接点坐标的 9类参数(偏航角(yaw)、俯仰角(pitch)、翻滚角(roll)、摄影中心的 X、Y、Z坐标以及三维连接点的 X,Y,Z坐标)分别计算 4个统计量(MSE,MAE,MSR和 Median)。由于每个参数在 6个数据集上均对应 4个统计量,因此共有 24项指标。从表2可以看出,1) 在偏航角的 24项指标中,视差角方法在 15项中优于笛卡尔方法,在 4项中表现相当(附录 3表S3-1); 2) 在翻滚角的 24项指标中,视差角方法在 20项中占优(附录 3表 S3-2); 3) 在俯仰角的 24项指标中,视差角方法在 16项中表现更优(附录 3表 S3-3);4) 在其余 6类参数的 24项指标中,视差角方法均优于笛卡尔方法(附录 3表 S3-4至表 S3-7)。

表2 两类方法优化的三维点 Z 坐标残差统计结果
Table 2 Z-coordinate residual statistics of optimized 3D points

方法KD3 KD11 MAE MSE MSR Median MAE MSE MSR Median笛卡尔坐标方法 5.60×10-2 5.20×10-2 -2.39×101 -3.18×10-3 9.89×10-1 1.15×105 1.17×105 -5.36×10-3视差角方法 +1.51×10-3 +1.14×10-4 +1.90×100 +6.40×10-5 +6.31×10-4 +1.76×10-5 +5.92×10-1 +1.59×10-4方法ODM3 ODM5 MAE MSE MSR Median MAE MSE MSR Median笛卡尔坐标方法 4.53×10-1 4.82×10-1 1.04×101 -3.73×10-2 4.99×10-2 3.55×10-3 8.14×10-1 5.03×10-2视差角方法 +2.25×10-2 +9.46×10-4 -4.81×10-1 -1.58×10-2 +1.30×10-2 +1.75×10-4 +6.99×10-2 +1.33×10-2方法CR3 CR8 MAE MSE MSR Median MAE MSE MSR Median笛卡尔坐标方法 2.41×102 3.72×107 -1.98×105 -1.27×100 6.48×101 3.72×107 5.79×105 -6.83×10-3视差角方法 +7.51×10-1 +5.97×10-1 +2.22×100 +7.46×10-1 +3.79×10-2 +1.49×10-3 +7.56×10-2 -3.87×10-2

3.5 典型数据集上的数值稳定性分析

为进一步解释两类参数化方法在收敛行为上的差异,本文选取 ODM5-problem-176-60757作为代表性数据集进行数值稳定性分析。选择该数据集的原因在于,两类方法在该数据集上的最终重投影误差基本上一致,但 PBA所需迭代次数明显更少,因此适用于观察参数化方式对优化过程的影响。首先比较两类方法对应的 U矩阵与 Schur补矩阵 S的非零元结构,结果如图12所示。该矩阵的规模为(6×176)×(6×176)。由于雅可比矩阵中与三维点相关的部分结构基本上一致,本文重点展示与相机参数耦合有关的矩阵块。

图12 ODM5-problem-176-60757数据集上两类参数化方法的矩阵非零元结构对比
Fig.12 Comparison of the nonzero matrix structures of the two parameterizations on the ODM5-problem-176-60757 dataset

黑色方块表示非零元,白色方块表示零元

矩阵结构对比能够反映两类参数化方法在变量耦合关系上的不同,但仅依据非零元分布难以直接判断线性化系统的数值稳定性。本文在相同初始化和相同 LM求解策略下,进一步统计 ODM5-problem-176-60757数据集上两类方法的 Schur补条件数、一阶梯度代理量和阻尼因子变化。条件数用于反映线性化系统的二阶病态程度,一阶梯度代理量用于补充说明高阻尼阶段的下降趋势,阻尼因子用于说明两类方法均处于相同的 LM阻尼控制框架下。统计结果如图13所示。

图13 ODM5-problem-176-60757数据集上两类参数化方法的数值稳定性指标变化
Fig.13 Evolution of numerical stability indicators on ODM5-problem-176-60757

图13(a)显示,在该典型数据集上,两类方法的Schur条件数均随迭代过程发生变化。相比之下,视差角参数化方法在收敛阶段的条件数变化更平稳,未出现明显的持续升高现象,说明其对应的线性化系统在后续迭代中保持了相对稳定的数值状态。图13(b)显示,视差角参数化方法的一阶梯度代理量下降更快,说明其在相同初始化下能够更快地降低一阶最优性残差。图13(c)显示,两类方法均采用自适应LM阻尼策略,而视差角参数化方法在误差快速下降阶段能够较快地降低阻尼因子,说明其更早进入有效的局部更新阶段。图13(d)进一步说明视差角参数化方法在接受有效更新时的增益比变化更平稳,而笛卡尔参数化方法在部分迭代中出现较明显的波动。

综上所述,U矩阵和 Schur补矩阵 S的结构差异说明两类参数化方法在变量耦合关系上存在不同,条件数、一阶梯度代理量、阻尼因子和增益比曲线则进一步表明在相同初始化、相同终止条件和相同LM求解策略下,视差角参数化方法在该典型数据集上表现出更稳定的数值行为。需要强调的是,上述分析基于代表性数据集,主要用于解释前文 106组数据集上的统计结果,不作为对所有 BA场景的普适性证明。

4 结论

本文构建了 106组涵盖车载场景、无人机和近景场景的 BA数据集,并在相同数据输入、相同初始值、相同 LM阻尼更新策略、Schur补消元方式、线性求解器和终止准则下,对视差角参数化方法与笛卡尔参数化方法进行配对比较,得到如下主要结论。

1) 在收敛性方面,PBA在 106组配对数据集上的迭代次数整体上低于 SBA,Wilcoxon符号秩检验结果达到统计学显著水平,说明在本文测试集范围内,视差角参数化总体上表现出更快的迭代收敛趋势。在初始点云噪声较大或 SBA出现停滞、波动和发散的代表性数据集中,PBA表现出更稳定的图像空间和参数空间优化结果。

2) 在图像空间精度方面,MSE指标的 Wilcoxon检验结果为 W=11.0 (p=8.0772×10-15),NMSE指标的检验结果为 W=37.0 (p=2.1075×10-14),表明在采用图像面积归一化后,两类方法的统计结果差异仍然成立。在计算效率方面,两类方法的总运行时间差异不显著(p=0.660),但 SBA的单次迭代耗时显著低于 PBA (p<0.001)。因此,PBA较少的迭代次数会被其较高的单次迭代开销部分抵消,本文不将其概括为普遍的总运行时间优势。

3) 典型数据集上的矩阵结构、Schur补条件数、一阶梯度代理量、阻尼因子和增益比分析结果表明,PBA在该代表性案例中表现出更平稳的局部线性化和阻尼更新过程,为大规模统计结果提供了数值稳定性层面的解释。该分析结果基于典型数据集,不能直接视为对所有 BA场景的普适性证明。

从应用角度看,当初始三维点噪声较大、笛卡尔参数化容易出现收敛缓慢或发散,且优化稳定性优先于单次迭代计算开销时,可优先考虑视差角参数化。其主要优势是迭代次数较少,对较差初始值的稳定性较好; 主要代价是相机参数块耦合增强,单次迭代计算成本较高。

本研究存在以下局限性: 参数空间精度以 COLMAP输出作为参考基准,而非外部测量真值; 数值稳定性分析仅选取典型数据集; 实验采用固定的LM实现和参数设置; 研究范围仅限于 BA过程,不包含完整三维重建系统的整体效率。后续工作中将进一步扩展不同相机模型、视差范围、噪声水平和求解器配置下的测试,并评估两类参数化方法在完整摄影测量与 SLAM流程中的适用性。

附录

请访问《北京大学学报(自然科学版)》官方网站(https://xbna.pku.edu.cn)查看

参考文献

[1]Zhao L,Huang S,Yan L,et al.Parallax angle parametrization for monocular SLAM // 2011 IEEE International Conference on Robotics and Automation.Shanghai: IEEE,2011: 3117-3124

[2]赵亮.MonoSLAM: 参数化、光束法平差与子图融合模型理论[D].北京: 北京大学,2012

[3]Zhao L,Huang S,Sun Y,et al.ParallaxBA: bundle adjustment using parallax angle feature parametrizetion.International Journal of Robotics Research,2015,34(4/5): 493-516

[4]Civera J,Davison A J,Montiel J.Inverse depth parametrization for monocular SLAM.IEEE Transactions on Robotics,2008,24(5): 932-945

[5]Leighton B,Zhao L,Huang S,et al.Extending parallax parameterised bundle adjustment to stereo // Australasian Conference on Robotics and Automation 2017.Sydney: Australasian Robotics and Automation Association,2017: 194-202

[6]Mendes E P,Lacroix S,Sola J.Parallax angle parametrization in incremental SLAM // 2016 14th International Conference on Control,Automation,Robotics and Vision.Phuket,2016: 1-7

[7]Liu L,Wang Y,Zhao L,et al.Evaluation of different SLAM algorithms using Google tangle data // 2017 12th IEEE Conference on Industrial Electronics and Applications.Siem Reap,2017: 1954-1959

[8]Liu L,Zhang T,Liu Y,et al.Parallax bundle adjustment on manifold with improved global initialization // Algorithmic Foundations of Robotics XIII: Proceedings of the 13th Workshop on the Algorithmic Foundations of Robotics.Cham: Springer,2020: 621-638

[9]Liu L,Zhang T,Liu Y,et al.Parallax bundle adjustment on manifold with convexified initialization [EB/OL].(2018-07-10)[2026-07-31].https://arxiv.org/abs/1807.03556

[10]孙岩标.极坐标光束法平差模型收敛性和收敛速度研究[D].北京: 北京大学,2015

[11]左正康.仿生视觉下像元极坐标化的矢量成像理论与航天遥感验证[D].北京: 北京大学,2023

[12]Yan L,Chen R,Sun H,et al.A novel bundle adjustment method with additional ground control point constraint.Remote Sensing Letters,2017,8(1): 68-77

[13]Sun Y,Liu X,Chen R,et al.Application and performance analysis of a new bundle adjustment model //ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Wuhan,2017:273-278

[14]Lourakis M I,Argyros A A.SBA: a software package for generic sparse bundle adjustment.ACM Transactions on Mathematical Software,2009,36(1): 1-30

[15]Konolige K.Sparse Sparse bundle adjustment // Proceedings of the British Machine Vision Conference.London: BMVA Press,2010: 102

[16]Byun H,Zhao L,Kim J,et al.Comparison between Matlab bundle adjustment function and parallax bundle adjustment // 2022 17th International Conference on Control,Automation,Robotics and Vision.Singapore,2022: 60-65

[17]左正康,晏磊,孙岩标,等.三维摄影条件下视差角光束法平差模型的适用性研究.北京大学学报(自然科学版),2023,59(3): 445-455

[18]IEEE.IEEE standard for technical requirements of polar coordinate photogrammetry based on unmanned aircraft systems: IEEE Std 1937.11-2023 [S].New York: IEEE,2023

[19]晏磊,陈瑞,孙岩标.极坐标数字摄影测量理论与空间信息坐标体系初探.测绘学报,2018,47(6):705-721

[20]左正康,董娇娇,张斌,等.摄影测量共线方程参数化方法研究综述.北京大学学报(自然科学版),2025,61(3): 608-616

Comparison of Bundle Adjustment Convergence Using Parallax-Angle and Cartesian Parameterizations for Image-Based 3D Reconstruction:Experimental Validation across over 100 Datasets

TAN Ping1,DAI Yunfan2,3,ZUO Zhengkang2,3,4,†,GAO Yunlong4,LIU Dongxia3,5,DONG Jiaojiao3,WANG Jiawei2,3,ZHU Guihai4,XU Ershuai6,WANG Qiang7,LU Wenyi8,ZHAO Lijie9,YANG Chong4,LI Xiaokai4,LIU Wenxuan4,YANG Yang4,HAN Binghong10
1.POWERCHINA Chengdu Engineering Corporation Limited,Chengdu 610000; 2.Polar-vision Lab,Taiyuan University of Technology,Taiyuan 030024; 3.X-DNA Intelligent Culture Joint Lab,Taiyuan University of Technology,Taiyuan 030024; 4.R&D Center,Daspatial Technology Co.,Ltd.,Wuhan 430223; 5.College of Architecture and Art,Taiyuan University of Technology,Taiyuan 030024; 6.Department of Urban and Rural Construction,Hebei Agricultural University,Baoding 071001; 7.Faculty of Geography,Tianjin Normal University,Tianjin 300387; 8.School of Geography and Information Engineering,China University of Geosciences,Wuhan 430078; 9.Shanxi Zhongyun Zhitu Geoinformation Technology Co.,Ltd.,Taiyuan 030006; 10.China Railway Construction Engineering Group Co.,Ltd,Beijing,100160; † Corresponding author,E-mail: zuozhengkang@tyut.edu.cn

Abstract To address the problems of limited-scale comparative experiments against mainstream approaches and inconsistent optimizer configurations when applying parallax-angle parameterization to image-based 3D reconstruction,106 bundle adjustment (BA) datasets were constructed spanning vehicle-borne,UAV,and close-range scenarios.We standardized the solution workflows for the mainstream Cartesian-coordinate parameterization (SBA) and parallax-angle parameterization (PBA) methods to ensure a fair comparison.The two methods were systematically evaluated in terms of convergence,computational time,image-space accuracy,and parameter-space accuracy.The experimental results showed that,across the 106 paired datasets,PBA generally required significantly fewer iterations than SBA,exhibiting a faster convergence trend.In representative scenarios with relatively large initial point-cloud noise or divergence of the Cartesian-coordinate method,PBA yielded more stable optimization results in both image and parameter spaces.The datasets and source code are publicly available at https://reurl.cc/OmZz09 and https://github.com/Polar-vision/PBA-V3.

Key words parallax-angle; Cartesian; 3D point parameterization; BA dataset; convergence