北京大学学报(自然科学版)  2017 , 53 (6): 1165-1178 https://doi.org/10.13209/j.0479-8023.2017.052

Orginal Article

基于无人机影像序列的三维重建方法综述

刘磊1, 2, 孙敏1, , 任翔1, 刘鑫夫2, 刘亮1, 郑晖3, 黎晓东1

1. 北京大学地球与空间科学学院, 北京 100871
2. 中国人民解放军61206部队, 北京 100042
3. 中国矿业大学(北京) 地球科学与测绘工程学院, 北京 100083

Review on Methods of 3D Reconstruction from UAV Image Sequences

LIU Lei1, 2, SUN Min1, , REN Xiang1, LIU Xinfu2, LIU Liang1, ZHENG Hui3, LI Xiaodong1

1. School of Earth and Space Sciences, Peking University, Beijing 100871
2. 61206 PLA troops, Beijing 100042
3. College of Geoscience and Surveying Engineering, China University of Mining & Technology (Beijing), Beijing 100083;;

通讯作者:  † Corresponding author, E-mail: sunmin@pku.edu.cn

收稿日期: 2016-06-1

修回日期:  2016-11-7

网络出版日期:  2017-03-01

版权声明:  2017 《北京大学学报(自然科学版)》编辑部 《北京大学学报(自然科学版)》编辑部 所有

基金资助:  国家“十二五”科技支撑项目(2012BAH27B02)和科技部援疆项目(2014AB021)资助

展开

摘要

在总结无人机序列影像重建方法的基础上, 基于原理和适用性, 将目前的主要处理方法分为两类: 1) 基于传统航测理论的改进方法, 该类方法需要较多的人机交互与质量控制, 适用于大范围航迹规则的影像处理; 2) 基于多视几何理论的方法, 该类方法使用类似近景摄影测量的方式处理无人机影像, 适用于特定地物或复杂地形区域下不规则航迹采集的影像处理。通过比较不同方法的适用性, 详细探讨所涉及关键技术的优势、局限性与改进方法。最后指出, 将传统摄影测量技术与计算机视觉技术相结合是今后的研究方向, 并探讨了有待解决的关键问题。

关键词： 无人机 ; 序列影像 ; 多视几何 ; 摄影测量 ; 三维重建

Abstract

Based on reviewing the methods for UAV image-sequence reconstruction, the classification on the principle and applicability of the methods is proposed. Generally, the methods involved can be divided into two groups. One is based on traditional photogrammetry, which needs more intermediate quality-control checks and more human-computer interactions. This method can be used to reconstruct large and regular image blocks. The other called the multi-view geometry method, is more like close range photogrammetry. It is more suitable for automatic reconstruction of irregular image blocks, such as specific objects and complex terrains. After comparing applicability of different methods, the related technology is expatiated, and the advantages, limitations and enhancement methods are discussed. Finally, it is pointed out that the combination of photogrammetry and computer vision is the future research direction, and the key problems to be solved are discussed.

Keywords： UAV ; image sequences ; multiple view geometry ; photogrammetry ; 3D reconstruction

0

PDF (567KB) 元数据 多维度评价 相关文章 收藏文章

本文引用格式 导出 EndNote Ris Bibtex

刘磊, 孙敏, 任翔, 刘鑫夫, 刘亮, 郑晖, 黎晓东. 基于无人机影像序列的三维重建方法综述[J]. 北京大学学报(自然科学版), 2017, 53(6): 1165-1178 https://doi.org/10.13209/j.0479-8023.2017.052

LIU Lei, SUN Min, REN Xiang, LIU Xinfu, LIU Liang, ZHENG Hui, LI Xiaodong. Review on Methods of 3D Reconstruction from UAV Image Sequences[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2017, 53(6): 1165-1178 https://doi.org/10.13209/j.0479-8023.2017.052

近年来, 随着技术的发展, 三维空间信息的快速获取在资源环境、土地利用以及自然灾害等领域发挥着越来越重要的作用。传统的三维空间信息获取主要依赖星载、机载和地面测量等方式, 普遍存在采集成本高、成果周期长、时间分辨率低等问题。由于无人机具有云下飞行、数据采集灵活、成本低、时效性强、降低野外作业人员危险等优势, 因此基于无人机影像序列的三维重建方法是解决上述问题的有效手段。

无人机获取的影像具有相幅小、姿态角变化幅度大、位姿精度低、影像畸变大等问题, 导致传统航空摄影测量方法难以有效地处理无人机影像序列。为此, 众多学者研究基于传统航摄或计算机视觉技术的无人机影像序列处理方法的改进[1-2]。由于应用背景和重建对象的差异, 产生多种多样的改进方法。目前, 对各种方法的适用范围缺乏有效的分析与界定。为此, 本文对这些方法进行归纳与分类, 并分析其相关技术的发展现状与趋势。

1 重建方法的分类与比较

由于传统的航空摄影测量方法要求影像比例尺固定, 影像分布规则, 相机内部参数稳定, 因此不适合处理无人机影像。无人机影像序列的三维重建类似于航空摄影测量与近景摄影测量之间的过渡方法[3-4], 相关方法主要包括传统航测的改进方法与基于多视几何技术的方法。

1.1 传统航测的改进方法

Karras 等[5] 1999 年利用传统航测方法对无人机影像进行处理, 被视为无人机影像序列处理的开创性工作。此后, 许多学者针对无人机影像的特点, 对传统航测方法进行改进, 主要用于地形与地物的三维重建, 其中 Eisenbeiss[1]和 Haala[6]的研究成果有一定的代表性。

文献[7‒14]中分析了传统航测软件的易用性以及无人机机体振动、传感器性能、不同航迹样式对最终成果精度的影响。使用多视几何技术结合机载位姿数据可以改善匹配点自动提取的精度, 改进平差算法, 从而减小空三解算过程的误差。通过模块化的流程设计, 提高自动化程度, 降低数据转换时因人机交互引入的误差[1]。

Haala 等[15-16]分析了光学系统的稳定性、运动模糊、位姿数据精度与航迹样式等因素对重建结果的影响, 引入机载差分GPS辅助无人机定向, 在影像处理过程使用开源平差软件 Bundler 来改善空三解算初值, 并使用密集重建方法来提高点云密度, 重建结果的平面精度可达 10 cm。此外, Rothermel等[17]针对质量较差的无人机视频数据进行城区快速重建, 使用 J-Linkage 聚类与马尔科夫随机场算法提取建筑物平面, 但重建效果较差, 需要一定的人机交互。

目前, 基于传统航测改进的方法主要集中在使用多视几何技术来改善空三解算初值、改进大数据量的平差效率以及加入密集重建来改善点云密度等方面。许多传统航测软件都引入这些改进方法, 推出无人机影像处理模块[18-20]。此类方法的重建精度较高, 但处理过程需要一定的人机交互。

1.2 基于多视几何的方法

2004 年, Jang 等[21]首次使用多视几何软件PhotoModeler 对无人机影像进行处理。此后, 许多学者基于 SFM (structure from motion)与 SLAM (si-multaneous localization and mapping)软件包进行无人机影像序列处理, 取得较好的效果[22-23]。就原理而言, 基于多视几何的方法是利用匹配点之间的几何约束关系求解基础矩阵, 由此获得相机的运动参数与场景的三维结构, 多用于机器人导航和近景重建。这种方法自动化程度较高, 对数据获取条件要求较低, 但由于一般不引入控制点, 或使用的已知数据较少, 因此重建精度较低。目前, 主要围绕减小数据冗余, 提高重建速度、相邻影像的自动定向精度和空三解算的精度与效率, 以及弱纹理区域的重建等问题开展研究[24-26]。

1.3 方法的比较

Rosnell 等[18]比较了传统航测软件 SocetSet 与多视几何软件 Photosynth, 指出传统航测方法的重建精度较高, 但无法有效地处理低航高的海量无人机影像。Qin 等[19]对比了多款航测软件与开源平差软件的房屋重建结果, 结果表明, 开源平差软件APERO 结合地面控制点对无人机影像进行重建的效果最好, 但由于软件没有密集重建功能, 生成的点云密度较低。同时, Qin 等[19]也指出传统航测方法一般需要一定的人机交互完成图像匹配, 自动化程度低。Nex 等[3]比较了多款多视几何软件的重建效果, 指出多视几何方法适用于多源影像的三维重建, 但在进行影像内定向时, 如果相机焦距参数变化过大, 会引入较大误差, 造成结果精度较低。

一些学者还通过比对新研发的无人机影像处理软件和模块, 对改进的方法进行分析。如 PixUAV (目前为 Pix4D)是近年来针对无人机影像处理研发的软件, 主要在图像匹配、平差与密集重建方面引入计算机视觉的相关方法进行了优化, 应用普及度高, 具有一定的代表性。Strecha 等[27-28]指出, 与传统的航测软件相比, PixUAV的自动化程度高, 但结果的精度较差。Gini 等[29]比较了传统航测量软件、多视几何软件 PhotoScan 和 PixUAV, 发现由于 PhotoScan 对建筑物的重建策略进行了优化, 结果变形较小, 在有阴影的平坦区域结果精度最高。同年, Nex 等[3]比较了 PixUAV 与多款软件的重建效果, 发现 PhotoScan 软件生成的数字表面模型(digital surface model, DSM)与正射影像效果最佳。他们指出, 传统航测方法一般需要人机交互生成均匀连接点, 多视几何方法生成的连接点重叠率高, 但是精度差。此后, Haala 等[16]和 Cramer[20]基于SFM改善了传统航测软件的空三解算, 他们认为与多视几何方法相比, 此改进方法提高了重建结果的垂直精度。

Turner 等[30]比较了网页版 Pix4D 与其他多视几何软件的重建效果, 指出 Pix4D 网络传输海量数据较为耗时, 其重建方法缺乏针对地理注册的优化。Unger 等[31]分别使用 Pix4D 与多视几何软件PhotoScan 生成 DSM, 用于分析建筑物与地形的变化, 发现光束平差过程中 Pix4D 的性能优于 Photo-Scan, 但在密集匹配过程中 PhotoScan 生成的点云更稠密, 两者数据精度都满足大比例尺制图要求。

总体而言, 传统航测的改进方法结果精度高, 但在处理过程中需要更多的人机交互与质量控制, 效率相对较低, 适用于范围大且航迹规则的影像重建; 多视几何方法使用类似近景摄影测量的方式, 自动化程度高, 精度较低, 通过相机的预检校以及在平差中引入控制点等方法, 可以显著地提高重建精度与效率, 适用于特定地物或者复杂地形等不规则航迹的序列影像处理。目前, 市场上出现许多综合使用两类方法的无人机影像处理软件与航测模块, 两者之间的区分越来越模糊。

2 相关技术的研究进展

以上两类方法涉及影像内定向、外定向、光束法平差、密集重建、地理注册以及点云构形等一系列相关技术。其中, 外定向又包括特征点的提取与匹配、去除误匹配和相关参数计算。目前点云构形技术较为成熟, 限于篇幅, 不深入介绍。

两类方法涉及的技术有所差别, 部分关键算法相互交织。例如 SFM 中, 相机检校与相片定向是通过求解基础矩阵同时获取; 传统航测中, 相机检校与相片定向虽然属于不同过程, 但都需要进行特征点的提取与匹配; 机载位姿数据或地面控制数据辅助的光束平差在获得高精度结果的同时完成地理注册。目前, 相关技术均有待提高精度和效率。

2.1 影像内定向

相片的内定向又称为相机的检校, 包括室内预检校[32-33]、自检校[20]以及两者结合 3 种方式[16,34]。自检校的结果精度低, 并且不稳定, 为了减少平差中求解的未知数, 提高处理效率, 多使用预检校方法[18]。为了提高内参数精度, 可使用光束平差进一步改善预检校参数[35]。相机预检校多基于室内标定板或室内检校场进行标定[36], 在众多软件[37-38]中, iWitness软件包由于易用性好且成本低, 是最常用的工具, 但与检校场相比, 结果精度较差且不具唯一性[39-40]。无人机搭载的非量测相机的光学系统不稳定, 当对成果精度要求较高时, 每个架次或每隔几个架次要重新标定, 并需要在光束平差中迭代优化[38]。

此外, 有学者提出结合地面标靶, 在航摄过程中进行检校。如 Pfeifer 等[36]将室内检校与飞行检校相结合, 使最终检校残差达到 0.2 像素, 但对室内检校结果改善不明显。在该项工作中, Pfeifer首次明确指出重建过程中可以忽略飞机的加速度对相机内参数的影响。由于无人机影像三维重建多用于应急测绘, 且部分区域难以布设地面靶标, 所以该方法实际应用较少[35]。

2.2 影像外定向

影像外定向是为了确定影像之间的相对位姿参数, 分为直接定向、间接定向[41]与整合定向。目前大部分无人机的位置姿态系统(position and orien-tation system, POS)精度较低, 无法直接定向[42]; 间接定向仅依赖图像特征, 数据处理效率低; 整合传感器定向可以提高数据处理效率和精度[42-43], 应用比较广泛。但是, 整合定向和间接定向都对影像的重叠度与分布有一定的要求。如 Pfeifer 等[36]使用整合定向获得精度较高的外参数, 位置精度 X=2.2 cm, Y=2.6 cm, Z=0.8 cm, 姿态精度 Roll=0.075°, Pitch= 0.064°, Yaw=0.015°, 实验结果具有一定的代表性。

间接定向和整合定向在特征提取与匹配后都需要进行光束平差[44]。有关光束平差方法将在 2.3 节论述, 本节主要介绍特征点的提取及匹配算法。特征点的提取与匹配包括提取检测子、生成描述子、匹配、去除外点和误匹配, 相关算法的组合与改进较多, 如 SIFT , SURF , AGAST (adaptive and generic detection based on the accelerated segment test), BRISK (binary robust invariant scalable key-points), FAST (features from accelerated segment test)和 ORB (oriented fast and rotated BRIEF)等特征检测方法与 BRIEF (binary robust independent elementary fea-tures), SURF, SIFT, BRISK, ORB和FREAK (fast retina key-points)的描述子的线性组合。

2.2.1 特征点的提取与匹配

无人机相邻影像视角变化大, 重叠度不规律, 导致传统航测软件中的自动匹配点提取算法效果较差。另外, 无人机影像数据冗余度大, 对匹配点的提取效率提出更高的要求。目前, 相关研究主要包括: 大尺度变换下稳定特征点的提取, 简化描述子与减少冗余点以提高算法效率, 并行与分布式计算加速, 其他类型特征的提取与匹配。

1) 大尺度变化下的稳定特征点的提取。

SIFT (scale invariant feature transform)描述子具有旋转、尺度与光照不变性, 广泛用于无人机影像的匹配过程。SIFT 算法的前提是假设图像之间满足相似变换, 故仅适合处理相邻角度偏差小于30°的影像。为了解决大视角问题, GLOH, ASIFT和CenSurE等算法相继出现。

GLOH (gradient location-orientation histogram)算法使用对数极坐标分级结构替代SIFT的 4 象 限, 按照 SIFT 描述子的方法计算灰度梯度直方图, 再基于 PCA 投影获得一个 128 维描述子, 增强了SIFT 描述子的鲁棒性以及可区别性。Mikolajczyk等[44]使用 GLOH 算法提取无人机影像的特征点, 指出此算法虽然可以改善大视角影像间的匹配效果, 但内存消耗较大, 不利于处理大冗余的影像序列。

ASIFT (affine-SIFT)算法将 4 参数相似变换空间扩展到6参数仿射变换空间[45], 提高了大视角影像数据特征点的提取效果。Brandenburg[46]基于无人机影像序列, 对比了SURF, SIFT, ASIFT, MSER (maximally stable extremal regions)与SUSAN (small univalue segment assimilating nucleus)算法, 在对大姿态角与大辐射变化的影像进行处理时, ASIFT 提取的特征点数量较多, 精度较高, 并保持了较高的计算效率。

CenSurE (center surround extremas)算法引入倾斜积分图像原理, 对所有尺度的像素进行快速滤波响应计算, 对光照变化与噪声具有较好的适应性, 在对大视角影像的特征提取精度、稳定性和可重复性方面优于SURF, Harris算法和FAST[47], 在处理效率上大大优于SIFT。张旭阳[48]分别使用SIFT与CenSurE 处理无人机红外影像, 结果显示 CenSurE的特征点提取效率是 SIFT 的 10 倍。Warren 等[49]进行无人机影像的SLAM实验, 在闭合回路侦测中使用 CenSurE 的侦测子, 提高了算法效率, 完成室外场景的实时三维重建。但是, CenSurE 算法在影像区域地形复杂、分辨率变化较大时, 匹配精度低于SIFT。

此外, 一些学者为了发挥Harris算法简单、高效及适合处理城区影像的优点, 改进了算法对尺度变化与噪声的敏感性[50-54](如 Harris-Laplace, Harris-SIFT等), 但计算效率普遍较低。

2) 简化描述子与减少冗余点。

与传统航空影像相比, 无人机影像序列的数据冗余较大。为了减少内存消耗, 提高计算效率, 许多学者将简化描述子和减少冗余点的相关算法应用于无人机影像处理中, 算法包括 PCA-SIFT, SURF, SIFT++和LDAHash (linear discriminant analysis hash)等。

PCA-SIFT (principal component analysis SIFT)算法使用主元分析, 将SIFT的描述子由128维降为36维, 算法的效率较高, 广泛应用于无人机视频拼接、图像增稳和目标识别等近实时场景中。Wat- charapinchai 等[55]利用 PCA-SIFT, 快速提取无人机视频影像的特征点, 估测飞机姿态, 辅助无人机着陆, 实验中无人机姿态可以在 5 帧内收敛, 速度估测误差为 0.01 m/s, 姿态估测误差为 5×10-5 rad/s, 但每帧影像的特征点只有 20 个, 当图像质量较差时, 匹配误差较大。

SURF (speeded up robust feature)算法利用积分图像的性质优化SIFT, 降低描述子维数, 易于并行处理, 是无人机影像重建中使用较多的方法[56-57]。Gini 等[29]用 LPS (Laica photogrammetry suite)和PhotoModeler 处理无人机近红外影像, 进行林区重建, 分别使用人工选择连接点、LPS 自动生成连接点和SURF算法进行影像定向, 指出SURF 算法可以避免部分植被阴影及树枝晃动对匹配精度的影响, 实验结果对植被重建有较高的参考价值, 但SURF算法在影像质量较差时, 同样无法保证稳定特征点的提取。

PCA-SIFT 和 SURF 的描述符维数低, 提取速度较快, 但当影像质量较差、场景较复杂时, 两种算法都无法获取合理数目的特征点。为此,有学者将 SIFT++算法引入无人机影像序列的重建中[32,58]。与其他算法相比, SIFT++所需内存更小, 更适合处理大冗余的海量无人机影像, 被集成于开源摄影测量软件 MICMAC 中。目前, 此软件广泛应用于无人机影像重建。

以上算法以及 SIFT 的其他改进算法大多使用浮点型描述子进行特征描述。为了提高计算效率, 降低内存消耗, 先后出现 BRIEF, ORB, BRISK 和FREAK 等二进制描述子。Küng 等[59]参考 LDA-Hash 算法, 使用二进制描述符表达 SIFT 特征, 以提高处理效率。目前, 商业软件 Pix4D 也使用此类方法[28]。

此外, 多尺度表达以及大重叠度必然带来匹配的冗余点。为此, 许多学者使用可视图[60]、DMD (differential morphological decomposition)构造尺度空间[61]和特征点分组[62]等方式减小冗余, 去除噪声。其中, Barazzetti等[63]使用可视图的方式删除冗余影像与连接点, 在不降低精度的同时, 提高处理速度10倍以上, 他们的算法有一定的参考价值。

3) 并行与分布式计算加速。

前面介绍的算法只能有限地改进计算效率。由于无人机数据采集时航行高度低, 影像相幅小, 所以与传统航测相比, 相同采集面积的数据量成倍增加。为此, 许多学者对相关算法进行并行与分布式计算的研究, 其中 SIFTFast 和 SIFTGPU (SIFT on GPU)算法被广泛应用[64]。Harwin 等[65]利用 SIFT-Fast 改善高分辨率影像的处理效率, Zhou 等[66]对SiftGPU 的 CUDA 版本进行优化, Mohammadi等[67]

在此基础上提出 SIFTCU (SIFT CUDA)加速算法。Turner等[30]利用SIFTFast改进Bundler, 在提高效率的同时, 使得 Bundler 可处理分辨率大于 2000× 1500像素的影像。

此外, 一些学者在通信优化、数据划分及分布策略等方面不断探索, 基于分布式计算提高海量影像的处理效率。目前的瓶颈主要是处理终端的通信开销和载荷不平衡分布导致的闲置时间问题[68-69]。随着硬件水平的不断提高, 以上问题会得到解决。

4) 特征线的提取与匹配。

由于点的几何特性不明显, 一些学者针对城市区域影像进行特征线的提取与匹配, 将结果与匹配点一起作为初值, 完成影像定向[70-71]。目前, 相关方法存在计算效率较低[72-73]、无法处理颜色变化较大的影像[74]、需要精确端点信息[71]以及获取匹配特征数量较少[75]等问题。Ok 等[74]利用概率密度函数与多个限制条件进行特征线的提取与匹配, 此方法比较适合城市区域影像处理, 并可以加入辅助信息进行改进。当前, 基于特征线的提取与匹配多用于传统航空影像与卫星影像, 有关无人机影像处理的研究较少。

除以上 4 个研究方向外, 还有学者通过改进搜索策略与数据存储结构来优化特征点提取[76-77], 但只能有限地改善算法效率。

综上所述, 在图像姿态角变化较大的情况下, 提高特征点提取的精度与效率是相关研究的重点。智能地选择特征点提取与匹配方法, 并结合其他几何与纹理特征来提高配准效率是今后的研究方向。

2.2.2 误匹配剔除方法

通过以上方法获取的特征存在一定误匹配, 直接影响后续的定向精度。目前去除误匹配的方法包括 LMS (least mean square), MLESAC (maximum likelihood estimation sample consensus)、RANSAC (random sample consensus), M 估计和 GTM (graph transformation matching)等。其中, RANSAC及其改进方法被广泛应用。目前, RANSAC的主要改进方向是结合局部优化与预检校模型提高算法效率, 例如 Lo-RANSAC (locally optimized RANSAC)[78], Randomized RANSAC[79-80]以及 Multi-stage RAN-SAC[81]等。在以上方法中, Randomized RANSAC算法效率较高, 被广泛应用。

获得准确的匹配特征后, 要进行相关参数的求解。传统航测的改进方法是在空三解算中通过求解共线方程获得影像的相对位姿数据, 基于 SFM 的方法则通过求解基础矩阵获得相关参数。目前, 多使用7点和8点法进行参数求解。

2.3 定向结果的非线性优化

为了提高结果精度, 通常需要对初始的定向与重建结果进行非线性优化。目前, 光束平差是应用最多的非线性优化方法, 收敛精度与速度是算法的两个重要指标。在无人机影像重建中光束平差占总时间消耗的 70%以上[3], 因此提高平差的收敛速度是目前的研究重点。围绕这一问题, 主要在以下 5个方面进行改进。

1) 先局部平差, 再合并优化结果。Shum 等[82]首次通过全局分割, 使用分层光束平差进行三维重建。Warren 等[49]基于 SLAM 技术, 使用 5 个相邻相机的姿态数据, 结合场景观测数据进行局部光束法平差, 完成无人机影像的近实时三维重建, 数据的处理效率是传统 SFM 方法的 3 倍以上, 但结果的总误差较大, 无法满足精细制图的要求。一些学者基于不确定噪声模型[83]、领域中子图融合[84]与光学分割等[85-86], 提出局部平差算法的改进。以上方法可以使得平差效率不随影像数的增加而降低, 但合并优化结果只是整体平差的近似实现, 不能保证整体结果最优, 多用于 SLAM 等近实时重建场 景[87-88]。

2) 交替最小化。为了降低平差解算的自由度, 一些学者研究交替固定空间点与投影矩阵的迭代方法, 以便提高算法效率。Jeong 等[85]采用嵌入式迭代方法来改进交替最小化光束平差的收敛性, 在每次迭代得到优化相机外方位元素时进行多次三维点优化, 从而保证得到的点结果是当前相机外方位元素的最优值, 在同类算法中性能表现优异。目前, 此方法达到收敛时, 所需迭代次数较多, 并对初值要求较高。

3) 并行与分布式计算加速。Agarwal 等[89]通过控制计算机组群分解海量影像, 首次在硬件上实现大尺度光束法平差的加速计算。张祖勋[90]和詹总谦等[91]将有关光束平差基础原理与加速方法的研究成果集成在 DPGrid 航测软件中, 并广泛应用于处理无人机影像。并行与分布式计算加速目前主要面临通信开销与数据的合理分割等问题。

4) 引入其他精度较高观测值辅助平差计算。

目前, 国内对这方面研究较多。袁修孝等[92-93]基于机载传感器, 提出多种平差算法, 并在此基础上不断改进 WuCAPS 软件。李聪等[94]通过叠加三视图约束来辅助光束平差。此类方法可明显改善平差效率, 但依赖第三方观测值导致适用场景有限, 例如建筑物遮挡和电磁干扰等因素导致 GPS 信号丢失时, 此类方法失效。

5) 变换模型的表达方式。目前, 主要围绕极坐标光束平差进行研究。Zhao 等[95]在 SLAM 应用背景下, 提出视差角参数化的光束平差模型, 并初步探索其航测应用前景。Zhao 等[96]在之前的研究基础上提出极坐标光束平差模型, 并在自由网与绝对网等多种条件下进行对比实验, 证明极坐标平差模型具有精度优势。目前, 缺少此类算法应用于无人机影像的研究, 且算法主、副锚点(对应的相机中心)的选择直接影响平差的收敛速度。

总体而言, 近几年缺少非线性优化算法的突破性研究成果。无人机影像重建中的光束平差主要是基于现有平差模块的应用与改进, 其中并行与分布式计算是提高收敛速度的研究重点。总结应用案例发现, 希腊的SBA (sparse bundle adjustment)[97], 美国 Willowgarage 公司的 sSBA (simple sparse bundle adjustment)[98]和德国弗莱堡大学的 G2O (a general framework for graph optimization)[99]在无人机影像重建中使用频率较高。其中, SBA 被集成在 Bundler与 APERO 中, 应用最为广泛; sSBA 是 SBA 的

升级版本, 将平差模型中的法方程构造为两层稀疏阵, 并利用 Cholmod 线性工具包(而不是 SBA 中的Lapack 工具包)进行快速解算, 加快线性方程组求 解过程; G2O 是使用图优化的方式解算非线性最小二乘问题, 多用于 SLAM 等快速平差的求解。

2.4 密集重建

利用光束平差可获得基于已有匹配点的稀疏三维点云, 可视化效果差, 因此要进行密集匹配。在众多密集匹配算法中, 半球匹配[59,100]、光流法[101]和基于面片的匹配法[102]是处理无人机影像的常用方法。

Gehrke 等[103]用半球匹配生成无人机影像的密集点云, 并与 LIDAR 点云进行对比, 实验表明影像点云密度更高, 且两者生成的 DSM 精度仅差 1个地面采样间隔。此后, Haala 等[14]用集成半球匹配的 SURF 软件进行密集重建, 由于植被、阴影与水系等弱纹理区域的影响, 重建结果的完整度仅有66%。Fritz 等[22]用半球匹配进行树木的密集重建, 重建完整度较差, 仅可用于树干胸径预测。

Rothmund 等[104]基于光流法, 对无人机影像进行密集重建, 生成的点云在平坦区域冗余较大, 在峭壁等弱纹理区域重建效果较差。Lisein 等[105-106]用光流法对林区进行密集重建, 需要针对树种设定复杂的参数, 对针叶与落叶林混生区域的重建效果较差。

半球法与光流法普遍存在弱纹理区域重建效果较差等问题。Furukawa 等[102]不断地改进基于面片的匹配方法, 并且实现墙体等弱纹理区域的重建。Harwin 等[65]使用基于面片的方法对压缩后的无人机影像进行重建, 点云密度降低至 1/5, 处理效率提高 11 倍, 压缩后生成的点云可以完成分米级别的地形变化检测。目前, PMVS2 (Patch-Based Multi-view Stereo 2)是无人机影像重建中应用最广泛的密集匹配方法[107-108]。

总体而言, 密集重建方法普遍存在计算量大、处理效率较低等问题, 并且缺少针对无人机影像的算法改进。我们通过参考计算机视觉技术中有关密集匹配的内容, 发现相关改进主要集中在以下几个方面: 基于并行计算, 优化处理效率, 例如 PMVS on GPU; 加入空间约束和自适应扩展算法, 根据场景选择重建策略与参数值[109]; 检测、修复杂点与空洞[56,104]; 非刚体重建以及运动物体的检测与剔 除[22]。

2.5 地理注册

地理注册是将密集匹配获取的点云从局部模型坐标系转化到大地坐标系, 注册的精度与效率直接影响三维重建的最终效果。由于无人机采集的空间数据范围较小, 一般可将地理注册看成相似变换, 使用7参数法完成坐标转换。

根据注册时数据的来源, 可以将地理注册分为两种: 基于机载数据的直接地理注册和基于其他控制数据的间接地理注册。部分重建方法在光束平差中引入带有大地坐标的控制点数据, 这种情况下地理注册与光束平差同步完成[19,31]。

2.5.1 间接地理注册

间接地理注册的地面控制数据(地面控制点)通常依靠差分 GPS 或全站仪进行测量[37,110]。当测区情况复杂, 不利于布设控制点时, 可采用已有地形图、正射影像或数字高程模型(digital elevation model, DEM)等资料进行人工选取, 但效率较低, 并会引入人机交互误差[111]。

针对此问题, 开展了控制数据与影像的自动注册研究。Zhou 等[112]研究自动识别 DEM 与正射影像中的十字路口与房屋脚点, 将其作为控制点进行视频影像的纠正与注册, 实验结果精度差, 错误率高。Laliberte 等[113]用机载位姿数据进行影像的粗略定向, 并与已有的低分辨率正射影像进行匹配注册, 地理注册精度为 0.48 m, 但他们的实验缺少对复杂地形区域的效果评估。Eugster 等[114-115]用低精度位姿数据进行无人机视频影像的粗定向, 在此基础上通过提取、匹配数字城市模型与视频影像的特征线来改善注册精度, 飞行高度为 50 m 时影像的注册精度为 0.7 m, 比直接注册的精度提高 4 倍。他们指出, 该方法需要根据场景与视频质量调整参数阈值, 无法完成实时注册, 且特征线彼此平行或分布不均匀时注册精度较差。此后, Eugster 等[37]通过数字城市模型中的控制点(精度为 10 cm)与后方交会来完成单张影像的外定向, 并通过马尔科夫场计算机载位姿数据的偏差, 将其作为后续计算的更新向量, 比直接注册的精度提高 5 倍以上, 但需要对每一个抽取的视频帧进行后方交会, 所以注册效率较低。Xiang 等[116]研究了基于已有正射影像的自动地理注册方法, 注册精度为14像素, 此方法要求目标区域有时效性较高的参考影像, 且参考影像与无人机影像的地面分辨率相近。

用已有地形图、正射影像与 DEM 等作为控制数据, 普遍存在数据时效性问题带来的注册误差。为了保证注册精度, 许多学者开展地面控制点快速布设与自动识别的研究。Berni 等[117]通过光束平差来提高机载位姿数据精度, 并结合少量地面控制点完成地理注册, 减少了控制点采集的外业任务量。Turner 等[118]基于颜色阈值法完成地面控制点的自动提取与注册, 注册精度为 10~15 cm。此方法虽适用于多种地形, 但对复杂纹理区域缺少有效性验证。近年来, 为了满足应急测绘中快速获取地面控制点的需求, GPS-RTK (GPS-real time kinematic)的布网建设不断发展, Wu 等[119]利用 VBS-RTK (vir-tual base station-RTK)技术进行地面控制点的快速测定, 在保证注册精度的同时提高了数据的采集效率, DSM水平方向精度为6.7~46.3 cm, 垂直方向为0.14~1.09 m。

此外, 控制点的采集方式与布设样式也影响注册精度, 目前相关研究较少, 主要沿用传统航测的有关规范[65]。部分学者研究古迹等特定地物的控制点布设样式对注册的影响, 但没有得出通用的结论[107,120]。

2.5.2 直接地理注册

直接地理注册具有时效性好、不需要外业测量等优势。但是, 无人机 POS 设备多用于导航而非测量, 直接注册精度差[121-122]。为了不增加硬件成本, 许多学者使用多视几何技术来提高 POS 精度, 完成地理注册[123-124]。

2008 年 Nagai 等[125]首次基于整合传感器定向进行直接地理注册, 通过引入离线差分 GPS 与平差迭代来提高位姿数据精度, 注册精度为 10~30 cm。此后, 许多学者基于多视几何技术来改善机载位姿精度, 进行直接地理注册, 注册精度普遍提高50%以上[23,126]。一些学者使用离线差分技术来提高位姿精度[14], 但时效性较差, 无法满足快速测绘等应用要求。近年来, 随着硬件技术的发展, 出现以iMAR和SPATIAL DUAL为代表的一系列小型化高精度位姿传感器[127], 其中双天线测姿定向差分GPS技术可以大大提高直接注册的精度, Gehrke等[103]与 Colomina 等[2]对此类传感器进行了较为全面的总结。Blázquez 等[128]用高精度 POS 数据进行直接地理注册, 指出厘米级别的定位精度与 0.06°的航向角可以在50 m航高完成2 cm的直接注册。Lisein 等[106]基于高精度位姿数据进行直接地理注册, 并与间接注册、SFM结合部分位姿数据的注册方式进行比较, 发现直接注册精度满足制图要求, 但缺乏地形因素对注册精度的影响分析。同年, Rehak 等[42]基于多旋翼平台的4组导航单元获取的高精度位姿数据进行直接地理注册, 注册精度为2~5 cm, 仅实现低航速与航高下的地理注册, 系统的实用性还需进一步验证。

Blaha 等[129]为了分析直接地理注册的影响因素, 基于全站仪和机载反射棱镜获取无人机的航迹参考数据, 首次比较了不同 GPS 差分软件对无人机直接地理注册的影响。Pfeifer 等[38]以及 Chiang等[43]定量分析了传感器检校、同步以及姿态测量误差对直接地理注册的影响, Pfeifer 等[38]首次在微型无人机平台(总重量小于 1 kg)上完成直接地理注册。Turner 等[30]通过总结前人的研究, 系统地评估了数据同步误差、相机与 GPS 天线位置误差、冗余数据与电磁干扰等因素对注册结果的影响, 指出基于普通机载的 POS 数据直接注册精度为 2~5 m, 使用高精度位姿传感器后注册精度可达 10 cm。此外, Rehak 等[42]分析了传感器整合中校准、滤波与同步对注册误差的影响, 得出相似结论。

当 GPS 信号受到干扰与遮挡时, 以上直接注册方法将失效。针对这个问题, Warren 等[49]基于SLAM 方法, 完成无人机影像的实时三维制图与地理注册, 他们以机载 MTI-G (master of translation and interpreting-GPS)为参考数据, 飞行轨迹数据总误差为 1.6%, 结果精度高于传统 SFM 一倍以上, 处理效率是SFM的3倍。一般而言, SLAM恢复的位姿数据精度较差, 多用于机器人导航等景深较浅的室内场景, 无法用于地形的三维制图与地理注册, Warren 等[49]在初始化过程中引入新的本质矩阵求解方法, 以解决室外场景的平面退化问题, 提高位姿数据的恢复精度, 为直接地理注册提供了新的解决思路。

综上所述, 间接地理注册一般需要人机交互进行控制数据的采集, 注册精度受影像分辨率、控制数据精度与时效性的影响, 一般可完成厘米级别的注册[59]。目前, 主要围绕地面控制点快速布设与控制数据的自动识别进行研究。此外, GPS-RTK网络的不断完善有助于提高控制数据的获取效率。通常, 控制数据的布设间隔应是无人机相对航高的1/5~1/10, 在地形剧烈变化区域要提高布设密度。直接地理注册精度与 POS 设备直接相关。由于高精度小型化位姿传感器造价较高, 可选商品有限, 并且受载荷与数据同步误差的影响, 直接地理注册一般用于飞行较慢的多旋翼与无人直升机。随着相关硬件设备的不断发展, 直接地理注册将成为今后的应用主流。

3 总结与展望

基于无人机影像序列的三维重建是传统空间信息获取方法的有效补充, 适合中小范围区域快速、廉价的三维信息获取。重建结果可广泛服务于灾害监控、古迹保护、精准农业与林业、矿区管理、地籍管理、路网检测与生态环境监控等行业。

通过对重建方法进行比较与分类, 不难发现, 传统航测改进的方法重建精度高, 适用于规则航迹影像的重建; 多视几何方法自动化程度高, 适用于特定地物等不规则航迹影像的重建。结合计算机视觉技术来提高重构的精度与自动化程度是目前研究的重点。在相关技术的发展中, 内定向技术较为成熟, 外定向主要关注大视角变化下稳定特征的提取、多种特征结合以提高定向精度和算法效率等问题; 光束平差的研究主要集中于提高收敛速度与精度方面, 以期提高场景重建的效率; 在计算机视觉领域, 密集匹配算法的研究明显遭遇瓶颈, 近几年缺少突破性的研究成果。以下几方面将成为未来的研究重点。

1) 结合高精度小型或微型 POS 设备的数据, 研究去除冗余影像、提高平差速度与精度、直接完成点云拼接以及简化重采样等技术。

2) 研究适用于多种场景的智能重建技术。目前不同重建方法的适用范围有限, 同一算法需针对应用场景设定复杂的参数与阈值, 普通用户难以掌握, 限制了其应用推广。

3) 研究无人机影像重建中杂点与空洞的检测与修复, 提高重建的完整性效果。

4) 研究地面控制信息的自动提取与匹配, 提高间接注册速度, 针对无GPS辅助的应用场景, 深入研究基于SLAM技术的直接地理注册方法。

5) 融合多源数据, 提高无人机影像的重建效果。例如, 将 LiDAR 获取的深度信息作为影像重建的控制条件, 提高重建精度与弱纹理区域的重建效果。

The authors have declared that no competing interests exist.

参考文献

[1] Eisenbeiss H.

A mini unmanned aerial vehicle (UAV): system overview and image acquisition

. The Inter-national Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2004: 36-43

[本文引用: 3]     

[2] Colomina I, Molina P.

Unmanned aerial systems for photogrammetry and remote sensing: a review

. ISPRS Journal of Photogrammetry and Remote Sensing 2014, 92:79-97

[本文引用: 2]     

[3] Nex F, Remondino F.

UAV for 3D mapping applica-tions: a review

. Applied Geomatics 2014, 6(1):1-15

[本文引用: 4]     

[4] Eisenbeiss H.

UAV photogrammetry [D].

Zurich: Swiss Federal Institute of Technology Zurich, 2009

[本文引用: 1]     

[5] Karras G E, Mavromati D, Madani M, et al.

Digital orthophotography in archaeology with low-altitude non-metric images // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXII, Part 5/W11

. Thes-saloniki 1999: 8-11

[本文引用: 1]     

[6] Haala N, Cramer M, Weimer F, et al.

Performance test on UAV-Based photogrammetric data collection // In-ternational Archives of the Photogrammetry

. Remote Sensing and Spatial Information Sciences 2012, 38:7-12

[本文引用: 1]     

[7] Eisenbeiss H.

The potential of unmanned aerial vehi-cles for mapping

. Photogrammetric Week 2011, 11:135-145

[8] Eisenbeiss H, Lambers K, Sauerbier M.

Photogram-metric recording of the archaeological site of Pin-chango Alto (Palpa, Peru) using a mini helicopter (UAV) // CAA 2005: Computer Apllication and Quan-titative Methods in Archaeology, Proccedings of the 33rd Conference

. Tomar 2005: 238‒243

[9] Baltsavias E, Gruen A, Eisenbeiss H, et al.

High-quality image matching and automated generation of 3D tree models

. International Journal of Remote Sensing 2008, 29(5):1243-1259

[10] Lambers K, Eisenbeiss H, Sauerbier M, et al.

Combining photogrammetry and laser scanning for the recording and modelling of the Late Intermediate Period site of Pinchango Alto, Palpa, Peru

. Journal of Archaeological Science 2007, 34(10):1702-1712

[11] Eisenbeiss H.

Applications of photogrammetric pro-cessing using an autonomous model helicopter // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVI, Part 4/W54

. Urumchi 2007, 36:51-56

[12] Eisenbeiss H.

The autonomous mini helicopter: a powerful platform for mobile mapping // The Inter-national Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVIII, Part 4/C1

. Calgary 2008: 977-983

[13] Eisenbeiss H, Sauerbier M.

Investigation of UAV systems and flight modes for photogrammetric appli-cations

. Photogrammetric Record 2011, 26:400-421

[14] Eisenbeiss H, Li Z.

Comparison of DSMs generated from mini UAV imagery and terrestrial laser scanner in a cultural heritage application // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVL, Part 1/W41

. Ankara 2006: 90-96

[本文引用: 2]     

[15] Haala N, Rothermel M.

Dense multiple stereo matching of highly overlapping UAV imagery // The International Archives of the Photogrammetry, Re-mote Sensing and Spatial Information Sciences, Vol XXXIX, Part B1

. Melbourne 2012: 387-392

[本文引用: 1]     

[16] Haala N, Cramer M, Rothermel M.

Quality of 3D point clouds from highly overlapping UAV imagery // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XL, Part 1/W2

. Rostock 2013: 183-188

[本文引用: 3]     

[17] Rothermel M, Haala N, Wenzel K, et al.

Fast and robust generation of semantic urban terrain models from UAV video streams // Procceedings of Interna-tional Conference on Pattern Recognition 2014

. Stock-holm:IEEE Computer Society 2014: 592-597

[本文引用: 1]     

[18] Rosnell T, Honkavaara E.

Point cloud generation from aerial image data acquired by a quadrocopter type micro unmanned aerial vehicle and a digital still camera

. Sensors 2012, 12(1):453-480

[本文引用: 3]     

[19] Qin R, Grün A, Huang X.

UAV project — building a reality-based 3D model

. Coordinates 2013, 9:18-26

[本文引用: 3]     

[20] Cramer M.

The UAV LGL BW project — a NMCA case study // Proceedings of 54th Photogrammetric Week

. Stuttgart 2013: 9-13

[本文引用: 3]     

[21] Jang H S, Lee J C, Kim M S, et al.

Construction of national cultural heritage management system using RC helicopter photographic surveying system // The International Archives of the Photogrammetry, Re-mote Sensing and Spatial Information Sciences, Vol XXXV, Part B5

. Istanbul 2004: 473-478

[本文引用: 1]     

[22] Fritz A, Kattenborn T, Koch B.

UAV-based photo-grammetric point clouds — tree stem mapping in open stands in comparison to terrestrial laser scanner point clouds // The International Archives of the Photogrammetry, Remote Sensing and Spatial Infor-mation Sciences, Vol XL, Part 1/W2

. Rostock 2013: 141-146

[本文引用: 3]     

[23] Lucieer A, Jong S M D, Turner D.

Mapping landslide displacements using Structure from Motion (SfM) and image correlation of multi-temporal UAV photo-graphy

. Progress in Physical Geography 2014, 38(1):97-116

[本文引用: 2]     

[24] Hugenholtz C H, Moorman B J, Riddell K, et al.

Small unmanned aircraft systems for remote sensing and earth science research

. Eos Transactions Ameri-can Geophysical Union 2012, 93(25):236-236

[本文引用: 1]     

[25] Whitehead K, Hugenholtzchris H, Myshak S, et al.

Remote sensing of the environment with small un-manned aircraft systems, part 1: a review of progress and challenges

. Journal of Unmanned Vehicle Sys-tems 2014, 2(3):69-85

[26] Whitehead K, Hugenholtzchris H, Myshak S, et al.

Remote sensing of the environment with small un-manned aircraft systems, part 2: scientific and com-mercial applications

. Journal of Unmanned Vehicle Systems 2014, 2(3):86-102

[本文引用: 1]     

[27] Strecha C, Küng O, Fua P.

Automatic mapping from ultra-light UAV imagery // Proceedings of the Euro-pean Calibration and Orientation Workshop 2012

. Catellldefels 2012: EPFL-CONF-175351

[本文引用: 1]     

[28] Strecha C, Bronstein A, Bronstein M, et al.

LDAHash: improved matching with smaller descriptors

. IEEE Transactions on Pattern Analysis & Machine Intelli-gence 2011, 34(1):66-78

[本文引用: 2]     

[29] Gini R, Pagliari D, Passoni D, et al.

UAV photo-grammetry: block triangulation comparisons // The International Archives of the Photogrammetry, Re-mote Sensing and Spatial Information Sciences, Vol XL, Part 1/ W2

. Rostock 2013: 157-162

[本文引用: 2]     

[30] Turner D, Lucieer A, Wallace L.

Direct georefe-rencing of ultrahigh-resolution UAV imagery

. IEEE Transactions on Geoscience & Remote Sensing 2014, 52(5):2738-2745

[本文引用: 3]     

[31] Unger J, Reich M,Heipke C.

UAV-based pho-togrammetry: monitoring of a building zone // The International Archives of the Photogrammetry, Re-mote Sensing and Spatial Information Sciences, Vol XL, Part 5

. Riva del Garda 2014: 601-606

[本文引用: 2]     

[32] Remondino F, Barazzetti L, Nex F, et al.

UAV photogrammetry for mapping and 3D modeling-current status and future perspectives.

International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences, 2011, 38(1): 25-31

[本文引用: 2]     

[33] Remondino F, Del Pizzo S, Kersten T P, et al.

Low-cost and open-source solutions for automated image orientation — a critical overview // Progress in Cul-tural Heritage Preservation: Proccedings of the 4th International Conference

. Limassol 2012: 40-54

[本文引用: 1]     

[34] Colomina I, Molina P, Parés M E, et al.

Towards a new paradigm for high-resolution low-cost photo-grammetry and remote sensing

The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII, Part B1. Beijing, 2008: 1201-1206

[本文引用: 1]     

[35] Vallet J, Panissod F, Strecha C, et al.

Photogram-metric performance of an ultra light weight swinglet UAV // Proceedings of UAV-g 2011

. Zurich, 2011: EPFL-CONF-169252

[本文引用: 2]     

[36] Fraser C, Cronk S, Hanley H.

Automatic calibration of colour digital cameras

. Photogrammetric Record 2006, 21:355-372

[本文引用: 3]     

[37] Eugster H, Nebiker S.

Geo-registration of video sequences captured from mini UAVs—approa- ches and accuracy assessment // Proceedings of The 5th International Symposium on Mobile Mapping Technology

. Padua 2012: 56-58

[本文引用: 3]     

[38] Pfeifer N, Glira P, Briese C.

Direct georeferencing with on board navigation components of light weight UAV platforms

. International Archives of Photo-grammetry Remote Sensing and Spatial Information Sciences , 2012, 39(B7):487-493

[本文引用: 4]     

[39] Habib A, Morgan M.

Stability analysis and geometric calibration of off-the-shelf digital cameras

. Photo-grammetric Engineering & Remote Sensing 2005, 71(6):733-741

[本文引用: 1]     

[40] Jensen R R.

Introduction small-scale unmanned aerial systems for environmental remote sensing

. Giscience & Remote Sensing 2011, 48:1-3

[本文引用: 1]     

[41] Hartmann W, Tilch S, Eisenbeiss H, et al.

Determi-nation of the UAV position by automatic processing of thermal images // The International Archives of the Photogrammetry, Remote Sensing and Spatial Infor-mation Sciences, Vol. XXXIX, Part B6

. Melbourne 2012: 111-116

[本文引用: 1]     

[42] Rehak M, Mabillard R, Skaloud J.

A micro-UAV with the capability of direct georeferencing

. International Society of Photogrammetry & Remote Sensing 2013, 40(1):317-323

[本文引用: 4]     

[43] Chiang K W, Tsai M L, Chu C H.

The Development of an UAV borne direct georeferenced photogrammetric platform for ground control point free applications

. Sensors 2012, 12(7):9161-9180

[本文引用: 2]     

[44] Mikolajczyk K, Schmid C.

Scale & affine invariant interest point detectors

. International Journal of Com-puter Vision 2004, 60(1):63-86

[本文引用: 2]     

[45] Morel J M, Yu G.

ASIFT: a new framework for fully affine invariant image comparison

. Siam Journal on Imaging Sciences 2009, 2(2):438-469

[本文引用: 1]     

[46] Brandenburg F.

An automatic approach to UAV flight planning and control for photogrammetric applica-tions: a test case in the asturias region (Spain)

. Photo-grammetric Engineering & Remote Sensing 2013, 79:87-98

[本文引用: 1]     

[47] Agrawal M, Konolige K, Blas M R.

CenSurE: center surround extremas for realtime feature detection and matching // Proceedings of Computer Vision-ECCV 2008

. Marseille 2008:102-115

[本文引用: 1]     

[48] 张旭阳

SIFT和CenSurE在无人机影像配准的优劣性比较

.河南科学, 2013, 31(9):1417-1423

[本文引用: 1]     

[49] Warren M, Mckinnon D, He H, et al.

Large scale monocular vision-only mapping from a fixed-wing UAS

. Springer Tracts in Advanced Robotics 2014, 92:495-509

[本文引用: 4]     

[50] Shi F, Huang X, Duan Y.

Robust harris-laplace detector by scale multiplication // Proceedings of International Symposium on Visual Computing

. Hei-delberg: Springer-Verlag 2009: 265-274

[本文引用: 1]     

[51] 熊自明, 闫鹤

改进 SIFT 小型无人机视频序列图像自动拼接方法

.测绘科学, 2013, 38(5):231-235

[52] 刘洋, 邹自力

基于 Harris 算子和 SIFT 特征匹配的无人机影像处理

.江西测绘, 2015(4):7-9

[53] Hui L, Shen H.

Application of improved SIFT algorithm on stitching of UAV remote sensing image

. Semiconductor Optoelectronics 2014, 35(1):108-112

[54] Wang Y, Chen Y, Xie D.

Automatic mosaic method of UAV water-area images based on POS data

. Lecture Notes in Electrical Engineering 2014, 278:53-62

[本文引用: 1]     

[55] Watcharapinchai N, Aramvith S, Siddhichai S, et al.

Dimensionality reduction of SIFT using PCA for object categorization // Proceedings of International Symposium on Intelligent Signal Processing and Communications Systems

. Xiamen 2009: 414-423

[本文引用: 1]     

[56] Neitzel F, Klonowski J.

Mobile 3D mapping with a low-cost UAV system // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVIII, Part 1/C22

. Zu-rich 2011: 1-6

[本文引用: 2]     

[57] Sona G, Pinto L, Pagliari D, et al.

Experimental analysis of different software packages for orientation and digital surface modelling from UAV images

. Earth Science Informatics 2014, 7(2):97-107

[本文引用: 1]     

[58] Remondino F.

Heritage recording and 3D modeling with photogrammetry and 3D scanning

. Remote Sen-sing 2011, 3(12):1104-1138

[本文引用: 1]     

[59] Küng O, Strecha C, Beyeler A, et al.

The accuracy of automatic photogrammetric techniques on ultra-light UAV imagery // Proceedings of UAV-g 2011

. Zurich 2011: EPFL-CONF-168806

[本文引用: 3]     

[60] Barazzetti L, Remondino F, Scaioni M, et al.

Fully automatic UAV image-based sensor orientation // Proceedings of the 2010 Canadian Geomatics Confe-rence and Symposium of CommissionⅠ.

Calgary, 2010: 1518‒1523

[本文引用: 1]     

[61] Gueguen L, Pesaresi M.

Multi scale Harris corner detector based on differential morphological decom-position

. Pattern Recognition Letters 2011, 32(14):1714-1719

[本文引用: 1]     

[62] Zhang J, Chen Q, Sun Q, et al.

A highly repeatable feature detector: improved Harris Laplace

. Multime-dia Tools & Applications 2011, 52(1):175-186

[本文引用: 1]     

[63] Barazzetti L, Scaioni M, Remondino F.

Orientation and 3D modelling from markerless terrestrial images: combining accuracy with automation

. The Photogram-metric Record 2010, 25(132):356-381

[本文引用: 1]     

[64]

Wu C. SiftGPU: a GPU implementation of scale invari-ant feature transform (SIFT)

[EB/OL]. (2009‒08‒27) [2012‒10‒18].

URL      [本文引用: 1]     

[65] Harwin S, Lucieer A.

Assessing the accuracy of georeferenced point clouds produced via multi-view stereopsis from unmanned aerial vehicle (UAV) imagery

. Remote Sensing 2012, 4(6):1573-1599

[本文引用: 3]     

[66] Zhou Y L, Mei K, Ji X, et al.

Parallelization and optimization of sift on GPU using CUDA // High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing

. Taxas 2013: 1351‒1358

[本文引用: 1]     

[67] Mohammadi M S, Rezaeian M.

Towards affordable computing: SiftCU a simple but elegant GPU-based implementation of SIFT

. International Journal of Computer Applications 2014, 90(7):30-37

[本文引用: 1]     

[68] 杨靖宇.

摄影测量数据 GPU 并行处理若干关键技术研究[D]

. 郑州: 解放军信息工程大学, 2011

[本文引用: 1]     

[69] 李劲澎, 龚志辉, 张婷

无人机影像SIFT特征匹配的集群并行处理方法

.测绘科学技术学报, 2012, 29(6):440-444

[本文引用: 1]     

[70] Bay H, Ferrari V, Gool L V. Wide-baseline stereo matching with line segments // Proceedings of2005

IEEE Computer Society Conference on Computer Vision and Pattern Recognition.

San Diego, 2005: 329‒336

[本文引用: 1]     

[71] Tang A W K, Ng T P, Hung Y S, et al.

Projective reconstruction from line-correspondences in multiple uncalibrated images

. Pattern Recognition 2006, 39 (5):889-896

[本文引用: 2]     

[72] Wang L, Neumann U, You S.

Wide-baseline image matching using line signatures // Proceedings of IEEE 12th International Conference on Computer Vision

. Kyoto 2009: 1311-1318

[本文引用: 1]     

[73] Zhang L, Koch R.

Line matching using appearance similarities and geometric constraints // Joint German Association for Pattern Recognition and OAGM Symposium

. Heidelberg: Springer-Verlag 2012: 236- 245

[本文引用: 1]     

[74] Ok A O, Wegner J D, Heipke C, et al.

Matching of straight line segments from aerial stereo images of urban areas

. ISPRS Journal of Photogrammetry and Remote Sensing 2012, 74:133-152

[本文引用: 2]     

[75] Fan B, Wu F, Hu Z.

Robust line matching through line-point invariants

. Pattern Recognition 2012, 45 (2):794-805

[本文引用: 1]     

[76] 朱志文, 沈占锋, 骆剑承

改进 SIFT 点特征的并行遥感影像配准

.遥感学报, 2011, 15(5):1024-1039

[本文引用: 1]     

[77] 牛俊伟, 郝向阳, 刘松林

一种改进的 SIFT 特征提取算法

.测绘科学技术学报, 2014, 31(2):173-176

[本文引用: 1]     

[78] Chum O, Matas J, Kittler J.

Locally optimized RANSAC // Pattern Recognition: 25th DAGM Sym-posium, Proccedings of the 25th Conference

. Hei-delberg 2003: 236-243

[本文引用: 1]     

[79] Ji R M, Chum O R, Ji R M, et al.

Randomized RANSAC // Proceedings of British Machine Vision Conference

. Vienna 2002: 49-58

[本文引用: 1]     

[80] Chum O, Matas J.

Optimal randomized RANSAC

. IEEE Transactions on Pattern Analysis and Machine Intelligence 2008, 30(8):1472-1482

[本文引用: 1]     

[81] Hui F, Mu K, Zhao X, et al.

An improved RANSAC algorithm based on the geometric constraints // International Conference of Computation Methods in Sciences and Engineering 2014

. Athens 2014:420-422

[本文引用: 1]     

[82] Shum H Y, Ke Q, Zhang Z.

Efficient bundle adjustment with virtual key frames: a hierarchical approach to multi-frame structure from motion // Computer Vision and Pattern Recognition

. Fort Collins 1999: 2538-2542

[本文引用: 1]     

[83] Engels C, Stewénius H, Nistér D.

Bundle adjustment rules

. Photogrammetric Computer Vision 2006, 2:124-131

[本文引用: 1]     

[84] Ni K, Steedly D, Dellaert F.

Out-of-core bundle adjustment for large-scale 3D reconstruction // Pro-ceedings of IEEE 11th International Conference on Computer Vision

. Rio de Janeiro 2007: 1-8

[本文引用: 1]     

[85] Jeong Y, Nister D, Steedly D, et al.

Pushing the envelope of modern methods for bundle adjustment

. IEEE Transactions on Software Engineering 2012, 34(8):1605-1617

[本文引用: 2]     

[86] Blanco J L, Gonzalez-Jimenez J, Fernandez-Madrigal J A.

Sparser relative bundle adjustment (SRBA): constant-time maintenance and local optimization of arbitrarily large maps // Proceedings of IEEE Inter-national Conference on Robotics and Automation

. Karlsruhe 2013: 70-77

[本文引用: 1]     

[87] Kendoul F.

Survey of advances in guidance, navi-gation, and control of unmanned rotorcraft systems

. Journal of Field Robotics 2012, 29(2):315-378

[本文引用: 1]     

[88] Dusha D, Mejias L.

Erroranalysis and attitude observability of a monocular GPS/visual odometry integrated navigation filter

. International Journal of Robotics Research 2012, 31(31):714-737

[本文引用: 1]     

[89] Agarwal S, Snavely N, Seitz S M, et al.

Bundle adjustment in the large // Proceedings of European Conference on Computer Vision

. Heidelberg: Springer-Verlag 2010: 29-42

[本文引用: 1]     

[90] 张祖勋.

从数字摄影测量工作站(DPW)到数字摄影测量网格(DPGrid)

. 武汉大学学报(信息科学版) 2007, 32(7):565-571

[本文引用: 1]     

[91] 詹总谦, 张祖勋, 张剑清

基于稀疏矩阵技术的光束法平差快速算法设计

.测绘通报, 2006, 12(2):5-8

[本文引用: 1]     

[92] 袁修孝

POS辅助光束法区域网平差

.测绘学报, 2008, 37(3):342-348

[本文引用: 1]     

[93] 袁修孝, 傅建红, 左正立, 等

机载 POS 系统用于航空遥感直接对地目标定位的精度分析

.武汉大学学报(信息科学版), 2006, 31(10):847-850

[本文引用: 1]     

[94] 李聪, 赵红蕊, 傅罡

基于独立三视图的图像序列三维重建

.计算机应用研究, 2015, 32(6):1869- 1873

[本文引用: 1]     

[95] Zhao L, Huang S, Yan L, et al.

Parallax angle parametrization for monocular SLAM

. Proceedings of Robotics and Automation(ICRA2011) Shanghai 2011:3117-3124

[本文引用: 1]     

[96] Zhao L, Huang S, Sun Y, et al.

ParallaxBA: Bundle adjustment using parallax angle feature parametri-zation

. International Journal of Robotics Research 2015, 34(4/5):493-516

[本文引用: 1]     

[97]

Lourakis M, Argyros A. SBA: a generic sparse bundle adjustment C/C++ package based on the Levenberg-Marquardt algorithm

[EB/OL]. (2008‒01‒01) [2013‒ 06‒01].

URL      [本文引用: 1]     

[98] Konolige K.

Sparse sparse bundle adjustment // Proceedings of British Machine Vision Conference 2010

. Aberystwyth 2010:1-11

[本文引用: 1]     

[99] Kummerle R, Grisetti G, Strasdat H, et al.

G2O: a general framework for graph optimization

. Proces-sing of IEEE International Conference on Robotics & Automation. Shanghai 2011: 3607-3613

[本文引用: 1]     

[100] Bulatov D, Solbrig P, Gross H, et al.

Context-based urban terrain reconstruction from UAV—videos for geoinformation applications

. The International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences, Vol XXXVIII, Part 1/C22. Zurich , 2011: 75-80

[本文引用: 1]     

[101] Brox T, Malik J.

Large displacement optical flow: descriptor matching in variational motion estimation

. IEEE Transactions on Pattern Analysis and Machine Intelligence 2011, 33(3):500-513

[本文引用: 1]     

[102] Furukawa Y, Ponce J.

Dense 3D motion capture from synchronized video streams // Proceedings of Image and Geometry Processing for 3-D Cinematography

. Heidelberg: Springer-Verlag 2010: 193-211

[本文引用: 2]     

[103] Gehrke S, Morin K, Downey M, et al.

Semi-global matching: an alternative to LIDAR for DSM genera-tion // Proceedings of the2010 Canadian Geomatics Conference and Symposium of CommissionⅠ.

Cal-gary, 2010: 2‒6

[本文引用: 2]     

[104] Rothmund S, Niethammer U, Malet J P, et al.

Landslide surface monitoring based on UAV-and ground-based images and terrestrial laser scanning: accuracy analysis and morphological interpretation

. First Break 2009, 27(8):75-82

[本文引用: 2]     

[105] Lisein J, Pierrotdeseilligny M, Bonnet S, et al.

A photogrammetric workflow for the creation of a forest canopy height model from small unmanned aerial system imagery

. Forests 2013, 4(4):922-944

[本文引用: 1]     

[106] Lisein J, Linchant J, Lejeune P, et al.

Aerial surveys using an unmanned aerial system (UAS): comparison of different methods for estimating the surface area of sampling strips

. Tropical Conservation Science 2013, 6(4):506-520

[本文引用: 2]     

[107] Fiorillo F, Remondino F, Barba S, et al.

3D digitization and mapping of heritage monuments and comparison with historical drawings // Annals of Photogrammetry, Remote Sensing and Spatial Infor-mation Sciences, Vol. XI, Part 5/W1

. Trento 2013: 133-138

[本文引用: 2]     

[108] Dobson R J, Brooks C, Roussi C, et al.

Developing an unpaved road assessment system for practical dep-loyment with high-resolution optical data collection using a helicopter UAV // Proceedings of Unmanned Aircraft Systems (ICUAS2013)

. Atlanta 2013:235- 243

[本文引用: 1]     

[109] Rijsdijk M, Van Hinsbergh W H M, Witteveen W, et al.

Unmanned aerial systems in the process of Juri-dical Verification of Cadastral Border // The Interna-tional Archives of the Photogrammetry, Remote Sen-sing and Spatial Information Sciences, Vol XL, Part 1/W2

. Rostock 2013: 325-331

[本文引用: 1]     

[110] Wang Q, Wu L, Chen S, et al.

Accuracy evaluation of 3D geometry from low-attitude UAV collections a case at Zi Jin Mine // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XL, Part 4

. Suzhou 2014: 297-300

[本文引用: 1]     

[111] Nakano T, Kamiya I, Tobita M, et al. Landform monitoring in active volcano by UAV and SfM-MVS technique // The International Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences, Vol XL, Part 8. Hyderabad, 2014: 71-75

[本文引用: 1]     

[112] Zhou G, Li C, Cheng P. Unmanned aerial vehicle (UAV) real-time video registration for forest fire monitoring // Proceedings of2005

IEEE International Geoscience and Remote Sensing Symposium.

Seoul, 2005: 1803‒1806

[本文引用: 1]     

[113] Laliberte A S, Winters C, Rango A. A procedure for orthorectification of sub-decimeter resolution imagery obtained with an unmanned aerial vehicle (UAV) // Proceedings of American Society for Photogrammetry and Remote Sensing Annual Conference. Portland, 2008: doi: 10.1.1.656.5022

[本文引用: 1]     

[114] Eugster H, Nebiker S. UAV-based augmented monitoring-real-time georeferencing and integration of video imagery with virtual globes // The Inter-national Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII, Part B3a. Beijing, 2008, 1229-1236

[本文引用: 1]     

[115] Eugster H, Nebiker S. Real-time georegistration of video streams from mini or micro UAS using digital 3D city models // Proceedings of 6th International Symposium on Mobile Mapping Technology. Sao Paulo, 2009:

10.

1

.1.534.954

[本文引用: 1]     

[116] Xiang H, Tian L. Development of a low-cost agri-cultural remote sensing system based on an autonomous unmanned aerial vehicle (UAV). Biosystems Enginee-ring, 2011, 108(2):174-190

[本文引用: 1]     

[117] Berni J A J, Zarco-Tejada P J, Suárez L, et al. Thermal and narrowband multispectral remote sensing for ve-getation monitoring from an unmanned aerial vehicle. IEEE Transactions on Geoscience and Remote Sen-sing, 2009, 47(3):722-738

[本文引用: 1]     

[118] Turner D, Lucieer A, Watson C. An automated technique for generating georectified mosaics from ultra-high resolution unmanned aerial vehicle (UAV) imagery, based on structure from motion (SfM) point clouds. Remote Sensing, 2012, 4(5):1392-1410

[本文引用: 1]     

[119] Wu C T, Hsiao C Y, Hsieh P S. Using UAV and VBS-RTK for rapid reconstruction of environmental 3D elevation data of the typhoon morakot disaster area and disaster scale assessment. Journal of Chinese Soil and Water, 2013, 44(1):23-33

[本文引用: 1]     

[120] Stal C, Lonneville B, Nuttens T, et al.

Highly detailed 3D modelling of Mayan cultural heritage using an UAV // Proceedings of 25th FIG Congress: Engaging the Challenges, Enhancing the Relevance.

Kuala Lumpur: International Federation of Surveyors, 2014: 23083441

[本文引用: 1]     

[121] Zhou G. Near real-time orthorectification and mosaic of small UAV video flow for time-critical event res-ponse. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(3):739-747

[本文引用: 1]     

[122] Diaz-Varela R A, Zarco-Tejada P J, Angileri V, et al. Automatic identification of agricultural terraces th-rough object-oriented analysis of very high resolution DSMs and multispectral imagery obtained from an unmanned aerial vehicle. Journal of environmental Management, 2014, 134:117-126

[本文引用: 1]     

[123] Puschel H, Sauerbier M, Eisenbeiss H. A 3D model of Castle Landenberg (CH) from combined photo-grammetric processing of terrestrial and UAV-based images // The International Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII, Part B3a. Beijing, 2008: 93-98

[本文引用: 1]     

[124] Grenzdorffer G J, Engel A, Teichert B. The photo-grammetric potential of low-cost UAVs in forestry and agriculture // The International Archives of the Photogrammetry, Remote Sensing and Spatial Infor-mation Sciences, Vol XXXVII, Part B3a. Beijing, 2008: 1207-1214

[本文引用: 1]     

[125] Nagai M, Chen T, Ahmed A, et al. UAV Borne mapping by multi sensor integration // The Inter-national Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII, Part B2. Beijing, 2008: 1215-1221

[本文引用: 1]     

[126] Choi K A, Lee I P. Image georeferencing using AT without GCPs for a UAV-based low-cost multisensor system. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 2009, 27(2):249-260

[本文引用: 1]     

[127]

Advanced Navigation Website Home Page. Product specifications

[DB/OL]. (2008‒01‒20) [2015‒01‒01].

URL      [本文引用: 1]     

[128] Blázquez M, Colomina I. Fast AT: a simple procedure for quasi direct orientation. ISPRS Journal of Photo-grammetry and Remote Sensing, 2012, 71:1-11

[本文引用: 1]     

[129] Blaha M, Eisenbeiss H, Grimm D, et al. Direct geo-referencing of UAVs. International Archives of the Photogrammetry, Remote Sensing and Spatial Infor-mation Sciences, Vol XXXVIII, Part 1/C22. Zurich, 2011: 131-136

[本文引用: 1]     

版权所有 © 《北京大学学报（自然科学版）》编辑部
技术支持：北京玛格泰克科技发展有限公司

/

〈 〉