(1)
北京大学学报(自然科学版) 第59卷 第3期 2023年5月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 3 (May 2023)
doi: 10.13209/j.0479-8023.2023.033
收稿日期: 2022–01–20;
修回日期: 2023–02–07
摘要 为了论证视差角光束法平差模型在短基线摄影条件下的适用性, 将视差角光束法平差(PBA)模型中基于二维假设的数学证明扩展到三维, 研究视差角参数对观测噪声的敏感性、法方程奇异性以及线性化程度, 并基于 2.11×10−8～2.11×10−12弧度的小交会角的短基线摄影条件进行仿真和真实实验。理论分析和实验结果表明, 目前的PBA模型仅适用于二维摄影, 不能解决三维摄影条件下短基线的平差问题。
关键词 短基线; 视差角光束法平差; 三维摄影条件; 数学证明
摄影测量指基于图像重建三维场景[1]。目前, 商业软件或开源库中有许多典型的摄影测量软件, 例如 Metashape[2], Pix4D[3], DPGrid[4]和 TOPGrid[5]是摄影测量界的主流商业软件。此外, VisualSF-M[6], OSM Bundler[7–10], Microsoft Photosynth[11], Photosynth Toolkit (Photosynth+CMVS/PMV-S2), Autodest 123D Catch[12], SFMToolKit[13], CMP-MVS[14], ARC 3D Webservice[15], Meshroom[16]以及3Dflow[17]是研究人员广泛使用的开源库或 Web 服务。还有许多公开可用的独立光束法平差包, 如SBA[18], sSBA[19]和 g2o[20], 它们被认为是摄影测量软件的核心模块, 用于估计特征点的位置和相机姿态。
在光束法平差的模型实现过程中, 这些摄影测量软件都采用空间直角坐标(XYZ)来参数化特征点(XYZBA)。赵亮等[21–22]和孙岩标等[23–25]认为 XYZ-BA 无法解算短基线摄影条件下的平差网。2012 年, 赵亮等[21–22]提出视差角光束法平差(parallax bundle adjustment, PBA)模型, 用 3 个角度(方位角、高度角和视差角)替代 XYZ 坐标, 对特征点进行参数化, 并在二维摄影条件下完成视差角参数对观测噪声的敏感性数学证明, 得到“PBA 中的视差角参数不受观测值初始误差影响”的结论。2015 年, 孙岩标 等[23–25]在二维的摄影条件下, 对 PBA 模型的法方程奇异性进行数学证明, 得到“PBA 模型的法方程系数矩阵的行列式为 1, 法方程永远正定”的结论。
众所周知, 真实的摄影条件是三维的, 赵亮 等[21–22]和孙岩标等[23–25]在二维摄影条件下的数学证明需要在三维条件下进行进一步论证。本文聚焦于三维摄影条件下视差角参数对观测噪声的敏感性、法方程奇异性和线性化程度等的数学证明, 并在 2.11×10−8～2.11×10−12弧度的小交会角的短基线摄影条件下进行实验验证。
PBA 模型[21–22]用 3 个角度(方位角、高度角和视差角)来参数化三维目标点的地理位置, 即 Fj=(αi,βi, γi), 如图 1 所示。
三维目标点 Fj = [αi βi γi]到二维像点 [x, y]之间的投影关系的观测方程为
(1)
其中, K 为内参矩阵; Rm 与 Ri 分别为主相机与相机 i的旋转矩阵; tji为缩放因子; xjm为相机 tm 到达目标点 Fj的单位向量:
(2)
xji 为相机 ti 到达特征点 Fj的向量:
(3)
其中, dj 是特征点 Fj 在相机 tm 中的深度, djxjm 为相机 tm 到达特征点 Fj 的向量, 
为相机 tm 到相机 ti的向量。深度 dj可表示为
其中, 
为相机 tm 到相机 ta 的向量模长, φj为
到观测向量
的转角, 利用如下内积公式 计算:
图1 视差角参数化的目标点[21–22]
Fig. 1 Feature point parameterized by parallax angle[21–22]
为了不引入分母, 将式(3)左右两边同乘以 sin γi, 则
=sin γi·xji。
本文在三维摄影条件下, 分别从理论上证明PBA 模型中视差角参数对观测噪声的敏感性、PBA模型的法方程奇异性和线性化程度。
2.1.1 二维摄影条件
二维摄影条件指 Z 坐标为 0 的相机与目标点构成的观测几何, 如图 2 所示。赵亮等[21–22]从二维的摄影条件出发, 将目标点的视差角作为观测误差的函数进行分析。在图 2 中, 一个目标点被不同的两个相机位置观测到两次。两个相机的姿态角(二维的摄影条件即方位角)分别为 αi 和 αj, 对特征点的两次观测角分别为 βi 和 βj, 观测误差是均值为 0, 方差为 δβ2的高斯误差
和
。
目标点在全局坐标系中的观测角分别为 αi+βi和 αj+βj。假设
是视差角真值, γ 是视差角计算 值, 则
, (4)
(5)
因此,
(6)
图2 二维摄影条件[21–22]
Fig. 2 Two-dimensional photography condition[21–22]
(7)
因此, 赵亮等[21–22]认为 PBA 模型中的视差角参数 γ不受观测值初始误差的影响。
2.1.2 三维摄影条件
图 3 是三维摄影场景, 相机对目标点的两次观测角分别是{αi, βi}与{αj, βj}。假设观测角的真值为
和
, 观测误差是均值为 0, 方差为 δα2与 δβ2 的高斯误差{
}与{
}, 视差角 γ对应的二面角为
= αi − αj, 则视差角 γ 在三维摄影条件下可参数化为
图3 三维摄影条件
Fig. 3 Three-dimensional photography condition
(8)
可以发现, 当 γ={0, π}时, 视差角在三维摄影条件下的参数化形式与二维摄影条件相同, γ 可由其他角度线性表达。然而, 当 γ≠{0, π}时, 视差角在三维摄影条件下的参数化形式变为非线性表达式。
在图3的三维摄影条件下, 视差角的真值
为
(9)
视差角的计算值 γ 为
(10)
γ关于观测高度角误差和的偏导数为
γ关于观测方位角误差
和
的偏导数为
可以发现, 当视差角真值
接近 0 时,
→∞, 
→∞, 
→∞, 
→∞。意味着在图 3 的三维摄影条件下, 视差角对观测值的初始误差仍然非常敏感, 因此赵亮等[21–22]认为“视差角对观测值初始误差的偏导数始终为±1”的结论并不总是成立, 其成立的前提条件是 φ=0 或 φ=π。
孙岩标[23]关于 PBA 和 XYZBA 法方程奇异性的数学分析是基于二维摄影条件, 本文认为他得出的结论“PBA 模型的法方程系数矩阵的行列式为 1, 法方程永远正定”无法扩展到三维摄影条件。
2.2.1 二维摄影条件
在图 2 的二维摄影条件下, 两个相机在全局坐标系的方向角为 αi 和 αj。选取第一个相机为目标点的主锚点, 则目标点用视差角可表示为
F = ( β, γ) , (11)
其中, γ 表示视差角; β 表示目标点在全局坐标系下的方向角, 等价于
β =
+ αi。 (12)
孙岩标[23]将 βi 和 βj 作为光束法平差模型的观测量, 将 β 和 γ 作为变量, 其最小二乘优化问题可表示为
G (β, γ) = [f1 (β, γ) − βi]2 + [f2 (β, γ) − βj]2, (13)
其中, f1 (β, γ)和 f2 (β, γ)分别为目标点在两个相机上的观测方程:
f1 ( β, γ) = β − αi , (14)
f2 ( β, γ) = β + γ – αj。 (15)
两个观测方程对变量 β 和 γ 的一阶导数组成 Jacobi矩阵:
其法方程为
。
因此, 行列式为 1, 法方程永远正定。
2.2.2 三维摄影条件
在三维摄影条件下, PBA 模型的第一类未知数是相机的 6 个外方位元素, 第二类未知数是目标点的 3 个角度参数化坐标, 即 Fj= (αj, βj, γj)。其目标函数为
(16)
其中, f(αj, βj, γj)为 PBA 模型预测的目标点 i 在相片j 上的像点坐标
, xij为相应的观测值, d(x, y)为同名像点 x 与 y 的欧式距离。
像点坐标的预测方程为
(17)
(18)
可以发现, 在三维摄影条件下, PBA 模型的观测方程不再如式(14)和(15)一样呈线性, 而是变成了非线性方程。我们进一步计算三维摄影条件下 PBA模型的法方程系数矩阵:
(19)
, (20)
可以看出, 三维摄影条件下 PBA 模型的法方程系数矩阵的行列式 det (JTJ) 不等于 1, 也难以永远正定, 孙岩标[23]在二维摄影条件下的证明结论在三维摄影条件下并不适用。
由线性代数理论可知, 若系数矩阵 A 可逆, 则非齐次线性方程组 Ax = b 的封闭解为 x = A−1b。因此, 如果待求解的方程组为线性方程组, 则可以直接求得其封闭解, 无需从近似的初始解 x0 出发, 迭代求解 x。这意味着线性方程组的解算不依赖于初始值。
在 PBA 中, 单根光线的观测方程为 b3×1=A3×3·x3×1, 其中 b3×1 = [x y 1]T 为像点的齐次坐标, x3×1 = [x−xcy−ycz−zc]T为平移向量,A3×3 = K3×3·R3×3 为内参矩阵与旋转矩阵的乘积。
在内参矩阵 K3×3 和旋转矩阵 R3×3 已知的“非自由网平差”条件下, 其观测方程 b3×1 = A3×3·x3×1 呈非齐次线性形式, 我们可以直接求得封闭解 x3×1 = A−13×3·b3×1。
1)在XYZBA 中, 未知的线元素为 L6×1 = [x y z xc yc zc]T, 求得封闭解x3×1 = A−13×3·b3×1之后, x3×1是一个“秩亏”的线性方程组, 表达式为
[E3×3 − E3×3]3×6L6×1 = x3×1。 (21)
假设平差网的匹配点文件结构如图 4 所示, 其中特征点个数为 n, 影像数为 m, 特征点 Fi 被观测到 Ni次, 则未知数的个数为 3 (n + m), 观测方程的个数为 t = 3
, 式(21)变为
。 (22)
若 t ≥ 3 (n + m), 则系数矩阵 B“满秩”, 可求得 L 的封闭解:
(23)
无需从近似的初始解 L0 出发, 迭代求解 L。
2)在 PBA 中, 未知数为 L6×1 = [α β γ xc yc zc]T, 求得封闭解 x3×1 = A−13×3·b3×1 之后, x3×1 是一个非线性方程组, 表达式为
sinγ·x3×1 = b·sin (ψ+γ)·[cosβsinα cosβcosαsinβ]T
− sinγ·[xc yc zc]T, (24)
需从近似的初始解 L0 出发, 迭代求解 L。
本文考虑一种两光线交会角很小的最简化情况, 即 1 个特征点被两个相机观测到。仿真场景见图5, 实验参数描述见表 1。
图4 匹配点文件结构
Fig. 4 Matching point file structure
表 2 和 3 以及图 6 为短基线摄影条件(γ=2.11×10−8 rads)下, 平差模型在不同的像点观测值噪声下对特征点坐标的预测结果。
图5 短基线仿真场景
Fig. 5 Short-baseline scene
表1 仿真实验细节描述
Table 1 Detailed description of simulation experiments
参数值参数描述 [fu0v0] = [4604 2646 2029]相机的内方位元素(像素) [u σ] = [0 1/3]像点匹配误差符合高斯分布(像素) [αx ω κ xc yc zc] = [0 0 0 0 0 0]相机1的6个外方位元素 [αx ω κ xc yc zc] = [0 0 0 1 1 0]相机2的6个外方位元素 [X Y Z] = [1 1 1×108]特征点的笛卡尔坐标(m) γ = 2.11×10−8两光线的交会角(弧度)
将均值 u=0, 方差 σ=0.33, 1, 10, 20 和 50 像素的高斯噪声分别添加到理想的像点坐标上, 分别用PBA 和 XYZBA 预测特征点的坐标, 并计算预测 误差。
观察表 2 可以发现, 在短基线摄影的条件下, PBA 预测的视差角对像点噪声敏感, 随着噪声增大, 预测误差呈量级增加。此外, 虽然 PBA 对视差角的预测误差较小, 但该误差在短基线条件下会被无限放大(图 6(b))。设 γt 和 γp 分别为视差角的真值和预测值, dt 和 dp 分别为深度的真值和预测值, 则 ψ角为 acos (
/dt), PBA 预测的 γp 换算成深度 dp 为sin(γp+ψ)/sin(γp)。
表2 PBA对特征点的预测误差受像点噪声的影响
Table 2 Prediction error of PBA for feature points affected by pixel noise
像点噪声 σ/像素方位角/rad高程角/rad视差角/rad 真值预测值误差真值预测值误差真值预测值误差 0.330.7853985.4889274.7035291.5707961.570729−6.7×10−52.11×10−80.0000727.2×10−5 1.005.4887874.7033891.570596−0.00020.0002150.000215 10.00−0.794463−1.5798611.568790−0.0020060.0021480.002148 20.00−3.936059−4.7214571.5748100.0040140.0042970.004297 50.00−3.949472−4.7348701.5808200.0100240.0107420.010742
说明: PBA 中特征点坐标的初值=真值+白噪声(σ=0.1 rads)。
表3 XYZBA对特征点的预测误差受像点噪声的影响
Table 3 Prediction error of XYZBA for feature points affected by pixel noise
像点噪声 σ/像素X/mY/mZ/m 真值预测值误差真值预测值误差真值预测值误差 0.3310.042077−0.95792310.635114−0.3648861×1086269.572−99993730.43 1.000.042078−0.9579220.635087−0.3649132089.757−99997910.24 10.000.042079−0.9579210.635074−0.364926208.9712−99999791.03 20.000.042079−0.9579210.635074−0.364926104.4854−99999895.51 50.000.042079−0.9579210.635073−0.36492741.79416−99999958.21
说明: XYZBA 中特征点坐标的初值=真值+白噪声(σ=1×107 m)。
图6 PBA 和 XYZBA 对特征点的预测误差受像点噪声的影响
Fig. 6 Prediction errors of PBA and XYZBA for feature points affected by pixel noise
例如, 在 σ=0.33 像素的像点噪声下, 视差角的真值 γt=2.11×10−8 rads, PBA 预测的视差角 γp=7.2× 10−5 rads, 虽然预测误差 γp−γt 仅为 7.19789×10−5 rads, 但将该误差换算成深度值 dp−dt 约为 1.96×104m。最后, 在 PBA 中, Z方向误差还会传递到 X和 Y方向的预测中。
从表 3 可以发现, 在短基线摄影条件下, XY-ZBA 预测的 Z 坐标不仅误差很大, 对像点噪声也很敏感, 但 X 和 Y 方向的预测误差很小, 且几乎不受像点噪声的影响。实验结果与文献[21–23]中的数学证明矛盾, 与 2.1 节视差角参数对观测噪声的敏感性的数学证明结果一致。
表 4 和 5 以及图 7 为短基线摄影条件(γ=2.11× 10−8 rads)下, 平差模型在不同质量的迭代初始值下对特征点坐标的预测结果。
将均值 u=0, 方差 σ=0.01, 0.1, 1, 2 和 3.14 弧度的高斯噪声分别添加到视差角参数化的特征点真值上, 用 PBA 预测特征点的 3 个角度坐标, 并计算预测误差。将均值 u=0, 方差 σ=1×104, 1×105, 1×106, 1×107 和 1×108m 的高斯噪声分别添加到XYZ 参数化的特征点真值上, 用 XYZBA 预测特征点的 3 个直角坐标, 并计算预测误差。
从图 7 可以发现, PBA 对特征点的预测误差受迭代初始值的影响较大, 但 XYZBA 完全不受初始值的影响, 说明 PBA 对特征点的预测是一个非线性优化过程, XYZBA 对特征点的预测是一个线性优化过程, 与 2.3 节线性化程度的数学证明结果一致。
图 8 为在不同的短基线摄影条件下, 平差模型在迭代过程中的法方程奇异性变化。分别模拟 2.11 ×10−8, 2.11×10−9, 2.11×10−10, 2.11×10−11 和 2.11× 10−12 rads 交会角的短基线摄影条件, 然后记录平差模型在迭代过程中的法方程海森矩阵的行列式 det (H), 若 det(H)=0, 则法方程奇异。
从图 8 可以发现, PBA 和 XYZBA 在所有的短基线摄影条件下都没有出现法方程奇异的结果, 与文献[21–23]中的数学证明结果矛盾, 与 2.2 节法方程奇异性的数学证明结果一致。
本文选取两组在短基线几何条件下拍摄的影像, 如图 9 和 10 所示。这些影像的特点是在不同时刻, 相机几乎在一条直线上对目标进行拍摄, 如此获取的数据视差非常小。图 9 为 3 张室内办公场景影像, 由本文作者拍摄。选取 24 张室外街景影像(限于篇幅, 只展示 3 张, 见图 10), 由车载摄像机获取, 来源于 KITTI Odometry 数据集(https://www.cv libs.net/datasets/kitti/eval_odo metry.php)。
表4 PBA对特征点的预测误差受迭代初始值的影响
Table 4 Prediction error of PBA for feature points affected by the initial value of iteration
特征点的噪声σ/rad方位角/rad高程角/rad视差角/rad 真值预测值误差真值预测值误差真值预测值误差 0.010.785398−0.794258−1.5796561.5707961.570729−6.7×10−52.11×10−80.0000727.2×10−5 0.10−0.794260−1.5796581.570729−6.7×10−50.0000727.2×10−5 1.002.3473361.5619381.5708636.7×10−50.0000727.2×10−5 2.00−0.794258−1.5796561.570729−6.7×10−5−3.141521−3.141521 3.14−0.782274−1.5676721.570730−6.6×10−50.0000717.1×10−5
说明: PBA 中像点的模拟匹配误差为 0.33 像素。
表5 XYZBA对特征点的预测误差受迭代初始值的影响
Table 5 Prediction error of XYZBA for feature points affected by the initial value of iteration
特征点的噪声σ/mX/mY/mZ/m 真值预测值误差真值预测值误差真值预测值误差 1×10410.042077−0.95792310.635114−0.3648861×1086269.573−99993730 1×1050.042077−0.9579230.635114−0.3648866269.573−99993730 1×1060.042077−0.9579230.635114−0.3648866269.573−99993730 1×1070.042077−0.9579230.635114−0.3648866269.573−99993730 1×1080.042077−0.9579230.635114−0.3648866269.573−99993730
说明: XYZBA 中像点的模拟匹配误差为 0.33 像素。
图7 PBA 和 XYZBA 对特征点的预测误差受迭代初始值的影响
Fig. 7 Prediction error of PBA and XYZBA for feature points affected by the initial value of iteration
OpenMVG 的全称为 Open Multiple View Geo-metry, 是国际上知名的 SfM (structure from motion) C++开源框架(https://github.com/openMVG)。本文选取 OpenMVG 作为 XYZBA 和 PBA 实现的基础框架, 并利用 Open Multiple View Stereo (OpenMVS)开源框架(https://github.com/cdcseacave/openMVS)进行最终的三维重建。
表 6 为 XYZBA 和 PBA 在数据集 1 和数据集 2 上的平差结果。可以看到, 在数据集 1 中, 在 5 个评价指标上, XYZBA 模型的平差性能都优于 PBA 模型。在数据集 2 中, 虽然 PBA 模型的字面平差精度和效率优于 XYZBA 模型, 但 PBA 模型的入网率过低, 导致重建的稀疏点云过于稀疏, 无法重建出可靠的三维模型。
图 11 和 12 分别展示 XYZBA 和 PBA 重建数据集 1 和数据集 2 的稀疏点云、密集点云和 Mesh 模型。可以清楚地看到, 在两个数据集上, PBA 的平差精度、效率、入网率和重建细节的能力都劣于XYZBA。因此, 真实实验和仿真实验结果一致证明本文中推导的合理性, 即 PBA 模型在短基线摄影条件下的平差优势有待进一步从理论和实验层面进行验证。
图8 PBA和XYZBA的法方程奇异性受短基线摄影条件的影响
Fig. 8 Singularity of the normal equation of PBA and XYZBA affected by the photographic conditions of short-baseline
图9 数据集 1 (室内办公场景)
Fig. 9 Dataset 1 ( indoor office scene)
图10 数据集 2 (室外街景场景)
Fig. 10 Dataset 2 (outdoor street scene)
表6 XYZBA和PBA在两个数据集上的平差结果对比
Table 6 Comparison of XYZBA and PBA on dataset 1 and dataset 2
数据集模型重投影误差/pxSfM耗时/min#入网照片#稀疏点#观测方程 数据集1XYZBA0.670.1735342382 PBA0.740.192190770 差异↓0.07↓0.02↓1↓344↓1612 数据集2XYZBA0.401.50249705840 PBA0.351.28281162 差异↑0.05↑0.22↓22↓889↓5678
说明: px = pixel; # = number。
图11 XYZBA和PBA在数据集1上的重建结果对比
Fig. 11 Comparison of XYZBA & PBA in terms of 3D reconstruction on dataset 1
图12 XYZBA和PBA在数据集2上的重建结果对比
Fig. 12 Comparison of XYZBA & PBA in terms of 3D reconstruction on dataset 2
视差角光束法平差(PBA)是一种新的光束法平差模型, 其解决短基线平差难题的数学证明局限于二维的摄影条件。对于真实的三维摄影条件, 相关数学证明需进一步论证。本文聚焦于三维摄影条件下 PBA 模型中视差角参数对观测噪声的敏感性、法方程奇异性和线性化程度等数学证明, 并在短基线摄影条件下对数学分析进行仿真和真实实验验证。理论分析和实验结果表明, 当前版本的 PBA 模型尚无法解决三维摄影条件下短基线的平差问题。
参考文献
[1] Atkinson K B. Close range photogrammetry and ma-chine vision. Caithness: Whittles Publishing, 1996
[2] Metashape [EB/OL]. (2022) [2023–03–31]. http://www. agisoft.com/
[3] Pix4D [EB/OL]. (2023) [2023–03–31]. http://www.Pix 4d.com
[4] Zhang Zuxun. From digital photogrammetry worksta-tion (DPW) to digital photogrammetry grid (DPGrid). Geomatics and Information Science of Wuhan Univer-sity, 2007, 32(7): 565–571
[5] TOPGrid [EB/OL]. (2018)[2023–03–31]. http://www. chinatoprs.com/cpyfw
[6] Wu Changchang. VisualSFM Ver. 0.5.22 [EB/OL]. (2013) [2023–03–31]. http://homes.cs.washington.edu/～ccwu/ vsfm/
[7] Furukawa Y, Curless B, Seitz S M, et al. Towards internet-scale multi-view stereo // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, 2010: 1434–1441
[8] Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 32(8): 1362–1376
[9] Furukawa Y, Ponce J. Accurate camera calibration from multi-view stereo and bundle adjustment. Inter-national Journal of Computer Vision, 2009, 84(3): 257–268
[10] Snavely N. Bundler [EB/OL]. (2012) [2023–03–31]. http://phototour.cs.washington.edu/bundler/#S3
[11] Microsoft. Photosynth [EB/OL]. (2012) [2023–03–31]. http://photosynth.net
[12] Autodesk 123D Catch [EB/OL]. (2012) [2023–03–31]. http://www.123dapp.com/catch
[13] SFMToolkit [EB/OL]. (2011) [2023–03–31]. http:// www.visual-experiments.com/demos/sfmtoolkit
[14] Jancosek M, Pajdla T. Multi-view reconstruction pre-serving weakly-supported surfaces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, 2011: 3121–3128
[15] Nilsson D, Pletinckx D, Van G L, et al. The ARC 3D webservice [EB/OL]. (2007) [2023–03–31]. http://me dia.digitalheritage.se/2010/07/ARC_3D_TII.pdf
[16] Meshroom [EB/OL]. (2023)[2023–03–31]. https://git hub.com/alicevision/Meshroom
[17] 3Dflow [EB/OL]. (2023) [2023–03–31]. https://www. 3dflow.net
[18] Lourakis M I, Argyros A A. SBA: a software package for generic sparse bundle adjustment. ACM Transac-tions on Mathematical Software (TOMS), 2009, 36 (1): 1–30
[19] Konolige K, Garage W. Sparse sparse bundle ad-justment // BMVC 2010. Aberystwyth, 2010: 102.1–102.11
[20] Kümmerle R, Grisetti G, Strasdat H, et al. G2O: a general framework for graph optimization // IEEE International Conference on Robotics and Automa-tion. Shanghai, 2011: 3607–3613
[21] Zhao Liang, Huang Shoudong, Sun Yanbiao, et al. ParallaxBA: bundle adjustment using parallax angle feature parametrization. The International Journal of Robotics Research, 2015, 34(4/5): 493–516
[22] 赵亮. MonoSLAM: 参数化、光束法平差与子图融合模型理论[D]. 北京: 北京大学, 2012
[23] 孙岩标. 极坐标光束法平差模型收敛性和收敛速度研究[D]. 北京: 北京大学, 2015
[24] Sun Yanbiao, Zhao Liang, Huang Shoudong, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 91: 1–16
[25] Sun Yanbiao, Sun Huabao, Yan Lei, et al. RBA: re-duced bundle adjustment for oblique aerial photo-grammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 121: 128–142
Applicability Study on Parallax Bundle Adjustment in 3D-Photography
Abstract In order to study the applicability of the Parallax Bundle Adjustment (PBA) in the 3D-photography, the authors extend the mathematical proof of the PBA model which is based on the two-dimensional hypothesis, to three dimensions with respect to the sensitivity of parallax angle to observation noise, the singularity of the normal equation, and the degree of linearization. Furthermore, with a set of narrow intersection-angles (2.11×10−8 to 2.11×10−12 rads), the 3D-scenes in short-baseline photography are simulated, and employed to verify the proof. Theoretical analysis and experimental results demenstrate that the current version of PBA is only suitable for the 2D-photography, but not suitable to solve the short-baseline problem in the 3D-photography.
Key words short-baseline; parallax bundle adjustment (PBA); three-dimensional photography condition; mathe-matical proof