北京大学学报(自然科学版) 第61卷 第3期 2025年5月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 61, No. 3 (May 2025)
doi: 10.13209/j.0479-8023.2024.094
山西省青年科学研究项目(202403021212106)、太原理工大学引进人才科研启动经费(RY2400000591)、国家自然科学基金(42205057)和中国博士后科学基金(1232192)资助
收稿日期: 2024–02–28;
修回日期: 2024–09–30
摘要 作为摄影测量、Nerf 和 3DGS 理论建立几何关系的基础, 共线方程在不同空间域的参数化方法对相机畸变参数和内外方位参数的计算精度以及实景三维的建模质量有源头级的重要影响。围绕共线方程参数化的 3 个核心要素(二维图像点、空间三维点和三维旋转), 总结共线方程参数化方法的研究进展, 分析未来有潜力的研究方向。同时, 还对全角域空间变换的方法进行展望, 为共线方程跳出欧式空间提供新思路, 为从理论源头提升相机状态的估计精度和实景三维的建模质量提供新见解。
关键词 共线方程; 参数化; 二维图像点; 空间三维点; 三维旋转; 摄影测量
实景三维作为真实、立体、时序化反映人类生产、生活和生态空间的时空信息, 是国家重要的新型基础设施。自然资源部办公厅印发的《关于全面推进实景三维中国建设的通知》[1]中指出, 到 2035年, 优于 2 米格网的地形级实景三维实现对全国陆地及主要岛屿必要覆盖, 优于 5 厘米分辨率的城市级实景三维实现对地级以上城市和有条件的县级城市覆盖。
摄影测量是实景三维的重要数据采集和处理手段, 主要分为 3 个技术模块: 相机标定[2]、运动恢复结构[3]和多视立体几何模块[4]。相机标定用于计算相机的畸变参数、焦距和像主点等; 运动恢复结构用于计算相机轨迹和姿态, 并重建稀疏场景; 多视立体几何模块基于前两个模块的结果, 重建稠密场景, 并构建带纹理的 Mesh 模型。如何将采集的相机原片与真实三维场景在某种坐标框架下建立更优雅的几何关系(即共线方程)是摄影测量首要考虑的科学问题, 该几何关系隐含摄影测量时所有的相机状态以及相应的实景三维场景, 几乎贯穿所有技术模块, 将其打包为非线性最小二乘优化问题即可 求解。
作为摄影测量、Nerf 以及 3DGS 理论建立几何关系的基础, 共线方程的不同参数化方法对相机畸变、内外方位参数的计算精度以及最终实景三维的建模质量具有源头级的重要影响。然而, 当前与“共线方程”相关的综述论文非常少。本文聚焦 3 个核心要素, 即二维图像点、空间三维点和三维旋转, 总结其国内外的研究进展, 并展望未来有潜力的研究方向, 为从理论源头提升相机状态的估计精度和实景三维的建模质量提供新见解。本文对共线方程参数化方法的综述框架如图 1 所示。
在没有 GPS、IMU 和激光测高仪的条件下, 二维图像点基本上是摄影测量的唯一观测约束。摄影测量和 3D 计算机视觉领域中几乎所有的工作都将二维图像点的位置参数化为欧几里得坐标(x, y), 通过构建 x 和 y 观测方程, 估计摄影测量时的所有相机状态, 并重建实景三维的稀疏场景[5–6]。
在相机成像中, 镜头的非理想特性会引起图像畸变, 导致观测方程计算的图像点是未考虑畸变效应的理想点, 如果将相片上带畸变效应的观测点作为约束来估计相机状态, 结果会引入很大的系统误差。因此, 有必要对畸变效应进行建模来参数化相片上的观测点。在 20 世纪, Brown-Conrady 模型被视为“标准”的径向和切向畸变模型[7–8], 但图像点坐标的欧几里得参数化与畸变效应的极坐标形式(径向和切向)不一致, 导致该模型无法适应广角、超大广角和鱼眼镜头的复杂畸变效应。
21 世纪初, Kannala-Brandt 模型[9]成为一个世纪以来第一个成功替代 Brown-Conrady 模型的畸变模型, 它将畸变效应建模为光线穿过镜头时入射角的函数。Kannala-Brandt模型主要有两个优势: 1)基于入射角(θ)参数化的畸变函数更加平滑, 更容易将其建模为幂级数; 2)可通过改变 θ 来支持不同类型的投影。
摄影测量的本质是从相片的观测值出发, 通过共线方程再现(或重建)三维场景投影到二维相片的方法, 从而找回二维相片丢失的深度信息。因此, 将三维场景刚性变换到相机框架, 按照一定的规则投影到相片, 形成共线方程的构建逻辑。Kannala-Brandt 模型支持的投影规则如下: 1)透视投影(per-spective projection), θ 参数化为tan−1(r/f)[10]; 2)球极平面投影(stereographic projection), θ 参数化为2tan−1 (r/2f)[11]; 3)等距投影(equisdistant projection), θ参数化为 r/f[12]; 4)等立体投影(equisolid projection), θ 参数化为 2sin−1(r/2f)[13]; 5)正交投影(orthogonal pro-jection), θ 参数化为 sin−1(r/f)[14]。
3 个坐标轴分别代表共线方程三要素的不同参数化方法, 可以组合成共线方程的 5×4×5=100种不同表达形式
图1 共线方程参数化方法研究进展综述框架
Fig. 1 Review framework for the research progress of parameterization methods for collinear equations
2019 年, Lee 等[15]提出一种“角坐标”参数化的重投影像点误差(angular errors), 用于三角化稀疏场景。相比欧几里得距离, 用“角坐标”度量的两图像点间的距离因内在的旋转不变性, 使稀疏场景重建过程的目标函数对异常值的抗干扰能力更强。传统欧几里得空间的图像点坐标是否适用以角距离度量的目标函数框架, 有待进一步挖掘。
实景三维一般分为点云级、白模级和彩模级。一般来说, 三维空间特征的集合构成离散三维场景, 在离散点之间依据某种规则构建三角面片, 就形成mesh 模型(三角面片本质上还是由三维顶点组成)。三维空间特征一般包含点、线和面等多元结构。近年来, 线和面特征[16–17]在模式识别领域的研究较多, 但在实景三维研究中远不如点特征鲁棒。摄影测量领域几乎所有工作都将空间三维点的位置参数化为欧几里得坐标(X, Y, Z)[18–21]。
然而, 欧几里得坐标参数化已经难以满足计算机视觉领域中一些特定场景下的三维任务。本文聚焦于单目视觉[22], 暂时不讨论基于双目视觉[23]和激光雷达的 SLAM 任务[24]。在没有测距传感器的条件下, 基于单目视觉的纯方位定位与建图(bearing-only locali-zation and mapping, BOLAM)任务存在一个假设(目标在笛卡尔坐标系中线性直线运动), 但传感器观测的目标方位信息却以极坐标形式表达。如果还使用常规的参数化方法, 会引发观测方程严重的非线性问题[25], 还会导致基于扩展卡尔曼滤波(extended Kalman filter, EKF)求解的 BOLAM 系统难以进行即时(无延迟)的初始化建图[26–27]。
初始化建图对 BOLAM 任务非常重要, 也很有挑战性(因为单目视觉本质是不可逆的秩亏测量), 决定后续 EKF 滤波能否鲁棒地估计出相机轨迹和场景地图。初始化建图主要有两类方法。1)延迟初始化。相机运动获得足够视差后才开始初始化, 运动过程中完全忽略观测的低视差点, 建图过程缺乏一致性, 可能导致滤波器故障[28]。2)无延迟初始化(undelayed landmark initialization, ULI)。第一次观测就初始化位于相机运动方向或距离相机非常远的点, 这些点可能在整个运动过程中保持可见, 用于约束相机方向, 使得整个建图过程中一致性更 好[29–30]。
如果 ULI 使用的这些点是欧几里得点, 则其深度信息(Z 坐标)的不确定区间是无界的, 无法使用EKF 求解[31]。2008 年, Civera 等[32]提出一种新的参数化方法, 将点特征的深度(不可观测的自由度)参数化为逆深度(inverse-depth), 其不确定区间从无界变为有界。与逆深度类似(非常容易混淆)的另一种参数化方法为逆距离(inverse-distance), 其定义为到世界参考系原点距离的倒数[33], 齐次化表达为(m, ρ)。将其变换到相机框架后, 逆距离变为到相机中心距离的倒数。与欧几里得点相比, 虽然逆距离点的不确定区间有界, 但变换到相机框架的方程中引入了双线性, 给 EKF(要求合理的线性系统)的性能带来不利因素[34]。为此, 受 Eade 等[35]的启发, Sola等[33]引入锚点(初始时刻的相机中心)来缓解双线性带来的不利影响。相比于空间中由 3 个特定方向定义的逆深度, 逆距离具有各向同性的优势, 与空间参考系的方向无关, 齐次化表达为(p0, m, ρ)。由于m 是点特征相对于锚点的方向向量, 将其表达为欧几里得坐标明显是冗余的。因此, Sola 等[33]引入极坐标的概念, 将方向向量参数化为点特征相对于锚点的方位角和高程角, 逆距离的齐次化表达改进为(p0, α, β, ρ)。
相比欧几里得点, 逆距离参数化使得基于单目视觉的 EKF-SLAM 建图结果具有更好的一致性。EKF 不是 SLAM 系统的唯一选择, 尽管逆距离适用于 EKF, 但在光束法平差(bundel adjustment, BA)中表现不佳, 相机运动方向上的点会导致 BA 的法方程病态[35–37]。
为了解决逆深度在 BA 中的问题, Zhao 等[38] 2015 年提出一种参数化方法, 将点特征的深度参数化为两个锚点定义的视差角(parallax), 齐次化表达为(pm, pa, α, β, γ)。开源的 ParallaxBA 项目优于使用欧几里得点的 SBA[39]和 sSBA 项目[40]。Zhao 等[38]还分析了二维点特征的视差角、逆深度和欧几里得参数化对 BA 性能的影响, 但基于的是二维 BOLAM系统。左正康等[41]选择三维 BOLAM 系统, 分析三维点特征的视差角参数化对 BA 性能的影响。另外, 孙岩标[42]将视差角参数化从 BOLAM 系统迁移应用到基于面阵成像的无人机摄影测量。左正康[43]将视差角参数化又迁移应用到基于线阵推扫成像的卫星摄影测量。以上研究初步证明了视差角参数化的三维结构变量相关系数呈数量级减少, 并使矩阵秩的权值相当, 克服了向量基弱不相关问题, 从而在极大程度上降低了平差模型对摄影测量几何结构的要求。然而, 以上研究未考虑一个关键问题: 将三维点特征从欧式空间变换到角域空间进行非线性优化计算, 但图像点的观测约束还在欧式空间。这种半角域空间变换的观测约束与状态估计量纲不一致带来的问题, 有待进一步深入挖掘。
三维旋转一般分为两类: 1)固定空间参考系, 旋转目标对象, 例如机器人的 7 个关节(踝膝髋肩肘腕指)或飞行器的翻滚、俯仰和偏航动作; 2)固定目标对象, 旋转空间参考系[44]。在摄影测量中, 外业采集数据一般指飞行器和相机云台的三维旋转, 内业处理数据一般指空间参考系的三维旋转。本文只考虑第二类旋转, 是将物方与像方世界建立关联的第一步。
1765 年欧拉角概念[45–46]的提出, 使得刚体的任意旋转可通过绕 3个正交轴以某种顺序(6种组合)连动旋转 3 个角度(θx, θy, θz)来参数化。但是, 使用欧拉角之前必须明确三轴的旋转顺序, 否则会导致万向死锁问题[47]。
1840 年轴角概念[48–50]的提出, 可以将三维旋转参数化为(n, θ)。Rodrigues 旋转公式[51]可将任意空间向量绕单位轴 n 旋转 θ 角。著名的 OpenMVG 运动恢复结构框架[52]就采纳这种参数化方法。本质上, θ角可以分解到旋转轴 n 的 3 个正交方向, 这一点与绕 3 个正交轴旋转的欧拉角有异曲同工之处。不同的是, 轴角不需要像欧拉角那样明确旋转顺序, 因此可以避免万向死锁问题。Craig[53]将角 θ 与轴 n相乘, 提出旋转矢量(rotation vector)的参数化方法, 用一个三维向量表示旋转轴和旋转角。在 Open-MVG 框架中, 轴角不直接参与梯度计算, 而是通过计算观测方程中关于旋转矢量的偏导数, 间接地更新轴角, 并由 Rodrigues 公式将三维点旋转到相机框架。
同一年, 爱尔兰数学家 Hamilton[54]提出四元数(quaternion)的概念, 将三维旋转参数化为一对共轭四元数(q, q*)。将任意空间向量 v 写为纯四元数 v, 将其左乘 q, 右乘 q*,即可将 v 绕单位轴 n 旋转 θ 角, 与轴角的概念非常类似(共轭四元数与 Rodrigues 公式可以等价变换)。四元数不直接参与梯度计算, 而是先转换为轴角, 再转换为旋转矢量, 计算其改正增量, 将更新后的旋转矢量再逆向转换为四元数, 通过与共轭四元数相乘, 将三维点转到相机框架。
欧拉角直接参与梯度计算, 但不能直接作用于三维点, 使其旋转到相机框架, 必须引入旋转矩阵, 其作用类似 Rodrigues 公式和共轭四元数。1815 年, Cauchy[55]对矩阵论和线性代数的研究为旋转矩 阵[56]的出现奠定了基础。旋转矩阵参与梯度计算一定会涉及加减运算(不具有封闭性), 导致无法直接对旋转矩阵求导而实现相机的三维旋转估计。李群李代数理论[57–59]的引入解决了这个问题。
如图 2 所示, 共线方程三要素(三维旋转、二维图像点和空间三维点)可以组合成共线方程的 100种不同参数化形式。本文对三要素的各种参数化方法的关联性进行分析, 结果如表 1 所示。
摄影测量和计算机视觉技术发展很快, 与神经辐射场(Neural Radiance Fields, Nerf)[60]和 3D Gaus- sian Splatting[61–62]相关的研究层出不穷, 但是与“共线方程”相关的综述文献非常少。共线方程不仅是摄影测量建立几何关系的基础, 也是 Nerf 和 3DGS理论的几何基础, 其在不同空间域的参数化表达对实景三维的建模质量有着源头级的重要影响。本文就未来有潜力的几个研究方向进行分析, 总结如下。
图2 共线方程三要素的百种组合
Fig. 2 Combinations of three elements in collinear equations
表1 共线方程三要素关联性分析
Table 1 Analysis of the correlation between the three elements of collinear equations
序号空间三维点二维图像点三维旋转共线方程表达式描述 1直角坐标直角坐标旋转矩阵变换矩阵实现旋转+平移变换 x = KX'中心投影变换 2直角坐标直角坐标旋转向量θnRodrigues公式实现旋转变换 平移+中心投影变换 3直角坐标直角坐标四元数四元数实现旋转变换 平移+中心投影变换 4直角坐标直角坐标欧拉角变换矩阵实现旋转+平移变换 x=KX'中心投影变换 5直角坐标直角坐标李群李代数变换矩阵实现旋转+平移变换 x = KX'中心投影变换 6直角坐标Brown-Conrady(BC)模型旋转矩阵变换到归一化坐标系 BC模型计算归一化平面上的畸变像点 中心投影变换 7直角坐标Matlab鱼眼相机模型旋转矩阵变换矩阵实现旋转+平移变换 修正焦距 通过修正后的焦距实现中心投影变换 8直角坐标Kannala-Brandt(KD)模型旋转矩阵变换矩阵实现旋转+平移变换 计算光线入射角 计算畸变后的角度 中心投影变换 9极坐标直角坐标旋转矩阵, 其中平移+旋转变换 x = KX'中心投影变换 续表 序号空间三维点二维图像点三维旋转共线方程表达式描述 10逆距离直角坐标旋转矩阵, 其中旋转+平移变换 x = KX'中心投影变换 11逆深度直角坐标旋转矩阵变换矩阵实现旋转+平移变换 x = KX'中心投影变换 12视差角直角坐标旋转矩阵其中, 中心投影变换 x = KX'
1)受Kannala-Brandt模型[9]对畸变效应进行入射角参数化设计(图 3)的启发, 我们认为一个有潜力的研究方向是图像点的角坐标参数化方法, 即用“角坐标”替换“欧几里得坐标”来参数化二维图像点的位置, 以便适配畸变效应的极坐标形式。此时的相机状态和三维场景不再受 x 和 y 观测方程的约束, 而是变成一个全新的角坐标约束。欧几里得坐标是在相片的两个特定方向定义的, 而角坐标的各向同性使其独立于相片方位, 角坐标的这种特有属性可能为其约束下的观测方程带来一些增益。
2)受 Lee 等[15]利用“角坐标”参数化重投影像点误差(angular errors)的启发, 一个有潜力的研究方向是图像点的角坐标与 Angular-L2 范数表达的重投影误差的耦合关系。如图 4 所示, 相比欧几里得距离(d0, d1), 用“角坐标”度量的两图像点间的距离(θ0, θ1)因其内在的旋转不变性, 所定义的目标函数对解算过程中出现的异常值抗干扰能力更强。
1)Zhao 等[38]将空间三维点从欧式空间变换到角域空间, 进行非线性优化计算, 具有非奇异性、估计无偏性、低粗差敏感性和强线性的特性, 但他们未考虑基于二维图像点的观测约束仍在欧式空间, 进行非线性优化计算时, 存在状态估计与观测约束量纲不一致的问题。因此, 一个有潜力的方向是将二维图像点的观测约束也从欧式空间变换到角域空间, 研究如何在角域空间将“角坐标”参数化的空间三维点变换为“角坐标”参数化的二维图像点, 为相机状态构建一个全新的角坐标观测约束, 实现全角域空间变换的共线方程。
图3 适应不同镜头的Kannala-Brandt畸变模型
Fig. 3 Kannala-Brandt distortion model adapted for various lense
图4 Angular-L2范数表达的像点重投影误差
Fig. 4 Image point reprojection error expressed with Angular-L2 norm
2)由于 Kannala-Brandt 模型支持不同相机镜头下的投影规则(除透视投影外, 其余投影规则一般适用于广角或鱼眼镜头), 并且二维图像点的角坐标参数化与该模型对畸变效应的角坐标参数化定义契合, 因此, 一个有潜力的研究方向是全角域共线方程与 Kannala-Brandt 畸变模型的耦合关系, 实现不同镜头下统一的全角域共线方程。
3)研究全角域共线方程对不同参数化的相机姿态(欧拉角、四元数、李群李代数、旋转向量和旋转矩阵)和空间三维点(直角坐标、极坐标、逆深度、逆距离和视差角)的约束能力, 体现在分析信息矩阵的奇异性、目标函数的形状结构(以 Angular-L2 范数为例)、初始状态的估计误差。
4)研究全角域共线方程在相机标定、运动恢复结构和多视立体几何等传统三维重建核心技术模块中的应用以及在 Nerf 和 3DGS 等新型三维重建技术中的应用潜力。
参考文献
[1] 自然资源部办公厅. 自然资源部办公厅关于全面推进实景三维中国建设的通知[EB/OL]. (2022) [2024–02–20]. http://gi.m.mnr.gov.cn/202202/t20220225_27 29401.html
[2] Chuang Y Y. Camera calibration // 3-D Computer Vi-sion: principles, algorithms and applications. Singa-pore: Springer Nature Singapore, 2023: 37–65
[3] Schonberger J L, Frahm J M. Structure-from-motion revisited // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 4104–4113
[4] Sturm P. Multi-view geometry for general camera mo-dels // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, 2005: 206–212
[5] 李德仁. 基础摄影测量学. 北京: 测绘出版社, 1995
[6] Mikhail E M, Mcglone J C. Introduction to modern photogrammetry. New York: Wiley, 2001
[7] Brown D. Decentering distortion of lenses. Photogram-metric Engineering, 1996, 32(3): 444–462
[8] Conrady A E. Decentred lens-systems. Monthly Noti-ces of the Royal Astronomical Society, 1919, 79(5): 384–390
[9] Kannala J, Brandt S S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(8): 1335–1340
[10] Yang Y, Chen J X, Beheshti M. Nonlinear perspective projections and magic lenses: 3D view deformation. IEEE Computer Graphics and Applications, 2005, 25 (1): 76–84
[11] Chang C H, Hu M C, Cheng W H, et al. Rectangling stereographic projection for wide-angle image visuali-zation // Proceedings of the IEEE International Confe-rence on Computer Vision. Sydney, 2013: 2824–2831
[12] Hughes C, McFeely R, Denny P, et al. Equidistant (fθ) fish-eye perspective with application in distortion cen-tre estimation. Image and Vision Computing, 2010, 28 (3): 538–551
[13] Eichenseer A, Bätz M, Seiler J, et al. A hybrid motion estimation technique for fisheye video sequences based on equisolid re-projection // 2015 IEEE International Conference on Image Processing (ICIP). Quebec City, 2015: 3565–3569
[14] Zhang X, Yu F X, Guo R, et al. Fast orthogonal pro-jection based on kronecker product // Proceedings of the IEEE International Conference on Computer Vi-sion. Santiago, 2015: 2929–2937
[15] Lee S H, Civera J. Closed-form optimal two-view triangulation based on angular errors // Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, 2019: 2681–2689
[16] Gomez-Ojeda R, Moreno F A, Zuniga-Noël D, et al. PL-SLAM: a stereo SLAM system through the combi-nation of points and line segments. IEEE Transactions on Robotics, 2019, 35(3): 734–746
[17] Li B, Zou D, Sartori D, et al. Textslam: visual slam with planar text features // 2020 IEEE Internatio- nal Conference on Robotics and Automation (ICRA). Paris, 2020: 2102–2108
[18] 王之卓. 摄影测量原理. 武汉: 武汉大学出版社, 2007
[19] 刘先林. 大面阵数字航空摄影原理与技术. 郑州: 河南科学技术出版社, 2013
[20] 张祖勋. 数字摄影测量研究30年. 武汉: 武汉大学出版社, 2007
[21] 王任享. 三线阵CCD影像卫星摄影测量原理. 北京: 测绘出版社, 2016
[22] Mur-Artal R, Montiel J M M, Tardos J D. ORB-SLAM: a versatile and accurate monocular SLAM system. IEEE transactions on robotics, 2015, 31(5): 1147–1163
[23] Mur-Artal R, Tardós J D. Orb-slam2: an open-source slam system for monocular, stereo, and RGB-D ca-meras. IEEE Transactions on Robotics, 2017, 33(5): 1255–1262
[24] Cole D M, Newman P M. Using laser range data for 3D SLAM in outdoor environments // Proceedings 2006 IEEE International Conference on Robotics and Auto-mation (ICRA). Orlando, 2006: 1556–1563
[25] Deans M C. Bearings-only localization and mapping [D]. Pittsburgh: Carnegie Mellon University, 2005
[26] Chiuso A, Favaro P, Jin H L, et al. Structure from motion causally integrated over time. IEEE Transac-tions on Pattern Analysis and Machine Intelligence, 2002, 24(4): 523–535
[27] Bailey T. Constrained initialisation for bearing-only SLAM // 2003 IEEE International Conference on Ro-botics and Automation (ICRA). Taipei, 2003: 1966–1971
[28] Davison A J. Real-time simultaneous localisation and mapping with a single camera // Proceedings Ninth IEEE International Conference on Computer Vision. Nice, 2003: 1403–1410
[29] Sola J, Monin A, Devy M, et al. Undelayed initiali-zation in bearing only SLAM // 2005 IEEE/RSJ Inter-national Conference on Intelligent Robots and Sys-tems. Edmonton, 2005: 2499–2504
[30] Sola J, Monin A, Devy M, et al. Fusing monocular information in multicamera SLAM. IEEE Transactions on Robotics, 2008, 24(5): 958–968
[31] Terejanu G A. Extended Kalman filter tutorial [D]. Buffalo: University at Buffalo, 2008
[32] Civera J, Davison A J, Montiel J. Inverse depth para-metrization for monocular SLAM. IEEE Transactions on Robotics, 2008, 24(5): 932–945
[33] Sola J, Vidal-Calleja T, Civera J, et al. Impact of landmark parametrization on monocular EKF-SLAM with points and lines. International Journal of Compu-ter Vision, 2012, 97: 339–368
[34] Hartley R, Zisserman A. Multiple view geometry in computer vision. Cambridge: Cambridge university press, 2003
[35] Eade E, Drummond T. Scalable monocular SLAM // 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). New York, 2006: 469–476
[36] Konolige K, Agrawal M. FrameSLAM: from bundle adjustment to real-time visual mapping. IEEE Transac-tions on Robotics, 2008, 24(5): 1066–1077
[37] Holmes S, Klein G, Murray D W. A square root unscen-ted Kalman filter for visual monoSLAM // 2008 IEEE International Conference on Robotics and Automation (ICRA). Pasadena, 2008: 3710–3716
[38] Zhao L, Huang S, Sun Y, et al. Parallaxba: bundle adjustment using parallax angle feature parametri-zation. The International Journal of Robotics Research, 2015, 34(4/5): 493–516
[39] Lourakis M I, Argyros A A. SBA: a software package for generic sparse bundle adjustment. ACM Transac-tions on Mathematical Software (TOMS), 2009, 36(1): 1–30
[40] Konolige K, Garage W. Sparse Sparse Bundle Adjust-ment // Proc of the British Machine Vision Conference (BMVC). Menlo Park, USA 2010, 10: 1–11
[41] 左正康, 晏磊, 孙岩标, 等. 三维摄影条件下视差角光束法平差模型的适用性研究. 北京大学学报(自然科学版), 2023, 59(3): 445–455
[42] 孙岩标. 极坐标光束法平差模型收敛性和收敛速度研究[D]. 北京: 北京大学, 2015
[43] 左正康. 仿生视觉下像元极坐标化的矢量成像理论与航天遥感验证[D]. 北京: 北京大学, 2023
[44] Foley J D. Computer graphics: principles and practice. New York: Addison-Wesley Professional, 1996
[45] Euler L. Theoria motus corporum solidorum seu rigi-dorum [EB/OL]. (2018–09–25)[2024–02–20]. https:// scholarlycommons.pacific.edu/euler-works/289
[46] Weisstein E W. Euler angles [EB/OL]. (2009)[2024–02–20]. https://mathworld.wolfram.com/EulerAngles. html
[47] Brezov D S, Mladenova C D, Mladenov I M. New perspective on the gimbal lock problem // AIP Confer-ence Proceedings. Washington, 2013: 367–374
[48] Rodrigues O. Des lois géométriques qui régissent les déplacements d'un système solide dans l'espace, et de la variation des coordonnées provenant de ces déplace-ments considérés indépendamment des causes qui peu-vent les produire. Journal de Mathématiques Pures et Appliquées, 1840, 5: 380–440
[49] Caccavale F, Natale C, Siciliano B, et al. Six-DOF impedance control based on angle/axis representations. IEEE Transactions on Robotics and Automation, 1999, 15(2): 289–300
[50] Gray J J. Olinde Rodrigues’ paper of 1840 on transfor-mation groups. Archive for History of Exact Sciences, 1980, 21(4): 375–385
[51] Murray R M, Li Z, Sastry S S. A mathematical introduc-tion to robotic manipulation. Boca Raton: CRC press, 2017
[52] Moulon P, Monasse P, Perrot R. OpenMVG: open mul-tiple view geometry // International Workshop on Re-producible Research in Pattern Recognition. Cham: Springer International Publishing, 2017: 60–74
[53] Craig J J. Introduction to robotics: mechanics and control. IEEE Journal on Robotics and Automation, 1987, 3(2): 166–166
[54] Hamilton W R. On a new species of imaginary quan-tities, connected with the theory of quaternions // Pro-ceedings of the Royal Irish Academy (1836–1869). Dublin, 1840: 424–434
[55] Cauchy A L. Mémoire sur les fonctions qui ne peuvent obtenir que deux valeurs égales et de signes contraires par suite des transpositions opérées entre les variables qu’elles renferment. Journal de l’Ecole Polytechnique, 1815, 10(17): 29–112
[56] Weisstein E W. Rotation matrix [EB/OL]. (2003) [2024–02–20]. https://mathworld.wolfram.com/Rotati onMatrix.html
[57] Lie S. Über die Integration durch bestimmte Integrale von einer Classe linearer partieller Differentialglei-chungen. Arch Math, 1881, 6: 328–368
[58] Lie S. Classification und Integration von gewöhnlichen differentialgleichungen zwischen xy, die eine gruppe von transformationen gestatten: die nachstehende ar-beit erschien zum ersten male im frühling 1883 im norwegischen archiv. Mathematische Annalen, 1888, 32: 213–281
[59] Sola J, Deray J, Atchuthan D. A micro Lie theory for state estimation in robotics [EB/OL]. (2021–12–08) [2024–02–20]. https://arxiv.org/abs/1812.01537
[60] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 2021, 65 (1): 99–106
[61] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, 2023, 42(4): 1–14
[62] Chen G, Wang W. A survey on 3D Gaussian splatting [EB/OL]. (2024–01–08)[2024–02–20]. https://arxiv.org/ abs/2401.03890
A Review of Parameterization Methods for Collinear Equation in Photogrammetry
Abstract The collinear equation serves as the cornerstone for establishing geometric relationships in photogram-metry, Nerf, and 3DGS theory. Its nonlinear optimization across diverse spatial domains profoundly influences the calculation accuracy of camera distortion, interior and exterior orientation parameters, and modeling quality of the ultimate reconstruction of real-world 3D scenes. At its core, the collinear equation hinges on three fundamental elements: image points, three-dimensional spatial features, and the parameterization of three-dimensional rotations. The research progress is delineated for parameterization methods of the collinear equation, focusing on these pivotal components. Additionally, it outlines potential avenues for future research, aiming to pave the way for advancements in this field. By transcending the confines of Euclidean space, novel perspectives are proposed on the collinear equation, envisioning the application in angular domain space. This fresh approach promises to provide valuable insights for improving the accuracy of camera state estimation and the overall modeling quality of real-world 3D scenes, stemming from a deep understanding of theoretical principles.
Key words collinear equation; parameterization; 2D image point; 3D feature point; 3D rotation; Photogrammetry