(1)
北京大学学报(自然科学版) 第61卷 第5期 2025年9月
Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 61, No. 5 (Sept. 2025)
doi: 10.13209/j.0479-8023.2025.064
国家自然科学基金(52572353)、陕西省重点研发计划(2024GX-YBXM-288)、陕西省留学人员科技活动择优资助项目(2023001)和中央高校基本科研业务费(300102325501)资助
收稿日期: 2024–09–04；
修回日期: 2025–01–06
摘要 针对去雾算法得到的复原图像细节模糊和颜色易失真问题, 提出一种改进的图像去雾方法。首先, 获取含雾图像的主结构图及最小通道图, 计算主结构图像的行列亮度映射, 并寻找最值和次最值点, 构成 4 个备选区域, 将其中最小熵区域的中值作为全局大气光值。然后, 引入雾线可靠性评估参数来判断透射率点是否属于噪声区域, 对噪声区域的透射率点进行聚类, 并利用邻域雾线优化透射率来合并像素点过少的簇, 适当放大最大辐照度的选择范围来弥补区域受限带来的误差。最后, 使用侧窗盒式滤波, 提取最小通道中的边缘信息, 并根据雾线聚类结果的特性设计相对总变分的自适应权重因子, 去除纹理信息, 进一步细化透射率, 最终根据大气成像模型得到复原图像。实验结果表明, 与其他去雾算法相比, 所提算法在复原图像的信息熵、平均梯度、模糊系数及雾感知密度评估参数(FADE)等指标上均显著改进, 复原图像的细节更完整, 色彩能够更好地匹配人类视觉感知。
关键词 区域最小熵; 相对总变分; 雾霾线理论; 图像处理; 去雾
近年来, 针对单幅图像去雾算法的研究取得显著进展。根据原理, 可将图像去雾算法划分为两类: 基于大气散射模型[1–2]和基于深度学习[3]的方法。基于大气散射模型中, He 等[4]提出暗通道先验去雾算法, 去雾效果显著, 但在高亮度区域并不适用, 导致复原图像在天空区域失真, 且由于透射率计算精度不高, 复原图像存在“光晕效应”[5–6]。Zhu 等[7]提出颜色衰减先验去雾方法, 对含雾图像的景深信息线性建模, 并结合大气散射模型来恢复图像亮度, 但对浓雾区域的去除效果不佳。Berman 等[8]通过分析含雾图像在 RGB 色彩空间的像素点分布特性, 提出非局部雾线先验理论, 避免了光晕效应, 但存在对雾线聚类的偏差, 导致透射率的估计不够准确, 对大景深区域的恢复效果不佳。Dhara 等[9]使用色度扩散来识别偏色图像, 通过 MOS 值优化偏色大气光, 然而对颜色变化较小的图像可能无法消除颜色漂移。Ju 等[10]在大气成像模型中引入光吸收系数, 实现对雾气降质过程更准确的建模, 但复原图像在场景深度大的区域存在曝光现象。Liu 等[11]引入色彩保护和基于快速结构补丁分解的图像融合策略, 提出联合对比度增强和曝光融合的去雾算法, 但复原图像存在过度去雾的问题。
基于深度学习方法中, Cai 等[12]采用 CNN 架构, 通过设计用于特征提取的 Maxout 单元和新的激活函数(双边整流线性单元), 提出一种端到端的去雾网络 DehazeNet。Wu 等[13]针对现有去雾方法难以处理真实含雾图像的问题, 通过考虑真实雾天图像的退化过程, 提出一种高质量的码本先验去雾网络。Song 等[14]提出 DehazeFormer 方法, 通过修改归一化层、激活函数和空间信息聚合方案来解决高度不均匀的去雾问题。总体来说, 深度学习方法通常依赖于大规模的训练数据, 而公开的含雾图像数据集大多使用人工合成加雾, 对真实天气条件的含雾图像处理效果较差, 性能受限于训练数据的多样性和覆盖度。与之相比, 基于物理大气散射模型的去雾方法不依赖大规模的标注训练数据, 且具有更高的可解释性。
现有的去雾方法在处理高亮区域、浓雾区域和大景深场景时, 存在显著的局限性。因此, 本文提出一种结合区域最小熵和邻域雾线优化的图像去雾方法, 分析大气光成像模型, 利用区域最小熵来提升大气光值的选取精度, 并通过邻域雾线优化来提高透射率的准确性。同时, 设计一种自适应导向的相对总变分方法, 进一步细化透射率来改善浓雾区域和景深突变处的复原图像质量。
根据大气光成像模型[15–16], 图像成像时接收到的光主要由目标反射光经过粒子衰减和光照, 并通过粒子散射形成的大气光组成, 成像过程如下:
(1)
(2)
其中, I(x)为成像设备采集得到的含雾图像; J(x)为清晰复原图像; d(x)为场景深度; β(λ)为散射系数; λ表示入射光的波长; A 表示场景大气光值; t(x)表示含雾图像的透射率, 其物理意义是入射光经过粒子衰减后到达成像设备的部分光占原始入射光的比例。简化后的大气光成像模型为
(3)
可知去雾过程的关键在于 t(x)和 A 的求取。
基于非局部雾线先验理论的图像去雾算法[8](图1)是将图像中所有像素点在 RGB 坐标系中聚类为多个颜色簇, 同一簇内的像素点通常分布在图像的不同景深区域。如图 2 所示, 当雾霾影响到位于相同簇内的像素点时, 簇内像素点在RGB坐标系下会呈现直线状分布。假设大气光值已知, 将图像转换到以大气光值为中心的坐标系:
(4)
为便于后续聚类计算, 将 IA(x)转换到单位球面坐标系:
(5)
其中, r(x)为像素点 x 到场景大气光值 A 的距离, 定义为像素点 x 的辐照度; q(x)和f(x)分别为像素点在以 A 为原点的球面坐标系下相对于 A 的俯仰角和方位角。由式(3)得到辐照度 r(x)与景深 d(x)的关系:
(6)
(7)
(8)
图1 雾霾线理论
Fig. 1 Theory of haze line
其中, IT表示清晰图像到大气光值的距离向量; ||.||表示欧几里得范数; ITr, ITg 和 ITb 分别表示 IT 的 RGB 坐标系三通道的像素值。
对于每一簇, 都存在受雾霾影响最小的像素点, 对应的辐照度定义为该簇内最大辐照度, 记为rmax。结合式(7), 透射率可表示为
(9)
将大气光值 A 和以上获得的透射率带入式(3), 最终得到无雾清晰图像。
在雾线选取过程中, 将图像中像素点由RGB空间转换到以大气光值为中心的球面坐标系, 并进行聚类。采用有效的大气光选取方法, 能直接影响雾线聚类结果, 提升图像的复原质量。传统方法[17–18]在选取暗通道图像时, 将前 0.1%最亮像素的 RGB值作为场景大气光值。这种选取方式比较简便, 但当图像中存在白色高亮区域时, 计算获得的大气光估计值易选取到白色区域, 导致估计值过大, 复原图像偏暗。
相对总变分模型(relative total-variation model, RTV)[19]的原理是利用函数总变分, 对图像中的纹理和结构部分进行区分:
(10)
其中, p 为像素点的邻域区域; Sp 和 Ip 分别为结构图和输入图在 p 区域的值; l表示总变分权重系数; Dx, Dy和Lx, Ly分别是用于区分 x 和 y 方向上纹理和结构部分的正则化系数; e代表极小值, 用于防止分母 为 0。
图像中的明亮噪点和呈现白色的部分是影响大气光取值的重要因素。根据大气光成像模型, 大气光值是无穷远点的光照强度, 对应像素点的位置不应位于图像主体区域内。因此, 需对含雾图像的主体结构进行解析。利用式(10)中的 RTV 模型, 可获取各颜色通道主体结构图像:
图2 含雾图像像素点在RGB颜色空间的分布
Fig. 2 Distribution of pixel points in the RGB color space of the foggy image
(11)
其中, Ic 为输入含雾图像的颜色通道, Icstruct 表示通道c 的主体结构图像, λ 为滤波平滑权重, σ 表示控制纹理元素最大值的参数, Iter 为迭代次数, r, g 和 b 为RGB 颜色通道。通过对各通道主体进行结构解析, 可以去除图像中影响大气光取值的纹理元素和高亮噪声点。对各通道主体结构图做水平方向和竖直方向的亮度映射:
(12)
(13)
其中, m 和 n 表示图像的行列尺寸, (i, j)为像素点坐标, Rc 和 Cc 分别表示水平和竖直方向的亮度映射。为保证所选中心为该点区域内峰值点, 对相近的行和列求和:
(14)
(15)
其中, h 为邻域半径, row 为列区域搜索中心, 取值范围为 1+h ≤ row ≤ n – h; col 为行区域搜索中心, 取值范围为 1+h ≤ col≤ m – h。对行和列映射的(2h+1)邻域求和后, 选取最大和次大的行、列像素作为备选区域中心点进行排列组合, 构成 4 个备选大气光 区域。
直接使用上述 4 个备选大气光区域来求解大气光, 会受到白色区域的影响。因此, 本文选取 100张自然条件下的含雾图像, 使用自定义的大气光值进行去雾处理, 在此基础上寻找最符合人眼无雾感知的图像, 将相应的大气光值映射到图像中的对应像素位置。部分实验结果如图 3 所示, 其中红色、绿色和蓝色标识框分别对应大气光值的 R, G 和 B 分量所在位置。
图像信息熵衡量图像中信息的混乱程度[17], 也反映图像中随机像素色阶出现的期望。从图 3 可知, 大气光值像素点通常位于图像的天空区域或靠近图像上边界的高亮区域, 这些区域通常具有亮度较高和相对平滑的特性, 在图像信息熵的数值上体现为较小的值。根据这一特点, 计算 4 个备选区域各自的图像信息熵, 并以其中熵值最小区域作为大气光区域, 以该区域的中值作为全局大气光值 A, 如式(16)和(17)所示:
(16)
(17)
其中, k′为大气光点所在区域的索引, xk 和 yk 为第 k个备选区域的中心, P 为点(i, j)的像素值在该区域内出现概率, Ω 为备选大气光区域, median 表示取中值操作。
基于雾线先验理论[8], 在同类颜色簇中应存在部分受雾霾噪声影响较小且场景深度较浅的像素点。然而, 当簇中的像素数量较少时, 该假设难以成立。图 4 中红色标识点显示像素数量最少的前 10类颜色簇中最大辐照度的位置。
定义雾线簇内像素点对应的最大辐照度值为r′max, 真值为 rmax (r′max ≤ rmax)。簇内其他像素点的透射率粗估计值t′(x)为
(18)
其中, t(x)为透射率真值, r(x)为簇内其他像素点的辐照度值。由于透射率粗估计值 t′(x)大于真实透射率估计值 t(x), 因此需对含噪雾霾簇进行修正, 使得簇内最大辐照度可被正确地计算。
为提取该类噪声区域, 对所有雾线簇的像素数量和分布进行评估。定义 Sir为第 i 类雾线簇的标准差, 则第 i 类雾线簇可靠性评估参数 γi 为
(19)
簇内标准差与簇中像素点的离散程度正相关。当簇内像素数量充足时, 可将具有最大标准差的雾线簇视为最可靠簇。定义 Δr 为噪声阈值, 若 γi < Δr, 则认为该雾线簇透射率不可靠, 需要进行优化以找到最大辐照度; 若 γi ≥ Δr, 则认为该雾线簇内点计算所得透射率可靠。如图 5 所示, 当 Δr 的取值为 0.533时, 对噪声部分的提取效果显著。可以看出, 低可靠度的雾线簇主要分布在天空和远景区域, 这些区域内难以存在未被雾霾影响的像素点, 因此, 雾线簇中的最大辐照度偏小。
图3 大气光选取区域
Fig. 3 Selection region for atmospheric light
图4 小样本雾线簇最大辐照度
Fig. 4 Maximum haze length of small-sample fog line clusters
噪声区域的雾线簇内像素点离散程度较小, 需要合并像素点过少的簇, 并适当放大最大辐照度的选择范围, 以便弥补区域受限带来的误差。雾线簇辐照度样本集合 Snoise 定义如下:
(20)
其中, s 为辐照度样本, n 为样本总数, |si|表示 si 的样本容量, Nnoise 表示低可靠区域总像素数量。筛选掉样本容量小于 0.03%的雾线簇样本后, 对集合中的所有元素用 K-means 聚类构成 4 类新的雾线样本, 拓宽辐照度取值范围:
(21)
在辐照度坐标轴上, s1～s4 呈从左到右依次递增的分布关系, 即 s1 的辐照度最小, s4 的辐照度最大。完成雾线样本分类后, 每一类雾线样本内仍然难以包含合适的辐照度, 因此, 对于雾线样本
和
, 选取辐照度坐标轴右侧邻域的质心 u2, u3 和 u4作为该类最大辐照度, 对于样本
, 选取自身的最大值作为该类最大辐照度:
(22)
低可靠度区域的雾线簇分类可视化结果如图 6所示。可以看出, 4 类区域的场景深度逐渐减小, 这一特性使得 r′max 对应的像素点向清晰方向移动, 进而修正透射率。如果将计算得到的粗透射率 t′(x)直接用于复原图像, 容易出现光晕效应, 因此需要进一步细化。
侧窗盒式滤波方法[18](side window box filtering, SWBF)通过对窗口进行位移或旋转, 在 8 个滤波窗口(上、下、左、右、左上、左下、右上、右下)中选择最适合的滤波窗口来处理当前像素, 使待滤波像素位于滤波窗口边缘, 从而减少卷积区域中其他无用像素对边缘像素点的弱化影响。SWBF 模型如式(23)和(24)所示:
图5 低可靠度雾霾噪声区域提取
Fig. 5 Extraction of low-reliability haze noise areas
红色区域为
雾线, 绿色区域为
雾线, 蓝色区域为
雾线, 黄色区域为
雾线
图6 雾线簇分类结果
Fig. 6 Classification results of fog line clusters
(23)
(24)
其中, ωij 为待计算像素点 i 位置的侧窗算子中 j 位置的权值, qj 为输入图像中 j 位置的像素点值, Ωi 为待计算像素点 i 位置的侧窗区域。
对边缘的准确提取可以有效地消除复原图像中的光晕。最小通道图像中含有丰富的边缘信息, 如式(25)所示:
(25)
为了获取最小通道图像中的边缘信息, 利用式(24)和(25)对侧窗进行盒式滤波, 使图像的主体轮廓更加凸显。SWBF 处理效果见图 7。可以看出, 图中边缘信息被有效地提取, 噪声信息被有效地抑制, 主体上丰富的纹理信息在一定程度上被平滑。
通过 SWBF 的边缘结果图
, 可计算得到引导图像, 将透射率粗估计图像作为输入, 利用引导滤波[20]获得一次细化透射率图像 t′GF:
(26)
(27)
其中, w 为引导系数(取值为 0.9), t′为粗透射率估计, r 为滤波半径, ε为防止系数过小的正则项。
SWBF 提取并保留了最小通道图像中的边缘信息和图像主体的纹理信息, 因此, 采用由 Is 计算得到的引导图像会在一定程度上保留纹理信息, 而透射率与场景深度正相关, 所以主体的纹理信息属于需要去除的无用信息。基于这一观点, 本文设计自适应导向相对总变分方法进行平滑处理, 使用改进的权重因子调整图像平滑的程度, 对粗透射率进行二次优化, 在保留粗透射率中边缘信息的同时, 进一步抑制主体的纹理信息。处理过程如下:
图7 边缘特征提取
Fig. 7 Edge feature extraction
(28)
(29)
(30)
其中, p, Sp, Ip, Dx, Dy, Lx, Ly 与式(10)表述一致, λn 为改进的自适应权重因子, r′(x)为当前计算点 x 对应的辐照度, σrx 为当前计算点 x 所在雾线簇的辐照度标准差, σrmax 为所有雾线簇辐照度标准差最大值, t′(x)为当前计算点 x 对应的粗透射率值, r′ROI_max 为前 10个像素数量最多的雾线簇中标准差最大的簇所对应的最大辐照度。
利用极值映射和最小区域熵获取大气光值 A, 结合极值雾线透射率的邻域优化, 获取细化后的透射率 t, 然后根据大气光成像模型, 得到雾天图像复原结果:
(31)
其中, t0 为定义透射率下的阈值, 取值为 0.1; J 为复原图像。算法流程如图 8 所示。
本文的软件实验环境为 MATLAB2020b, 硬件平台为 NVIDIA GeForce GTX3060。本文的实验图像来自 Fattal 数据集[21]。选取 4 种具有代表性的自然条件下的含雾图像场景图片, 将本文算法分别与基于暗通道先验的去雾算法(dark channel prior, DCP)[4]、基于颜色衰减先验的去雾算法(color atte- nuation prior dehazing, CAP)[7]、基于自适应大气光细化和非线性色彩平衡的去雾算法(color cast de-pendent image dehazing via adaptive airlight refine-ment and non-linear color balancing, NCB)[9]、基于雾线先验理论的去雾算法(non local image dehazing, NLD)[8]、联合对比度增强和曝光融合的图像去雾算法(joint contrast enhancement and exposure fusion for real-world image dehazing, CEEF)[11]以及基于高质量码本先验的真实图像去雾网络算法(real image dehazing network via high-quality codebook priors, RIDCP)[13]和 Dehazeformer[14]进行对比。使用信息熵[22]、平均梯度[23]、模糊系数[24]和雾感知密度评估参数(fog aware density evaluator, FADE)[25]进行客观评价。为对比各算法运算过程的耗时, 在计算运算时长时, 统一将含雾图像尺寸调整为 540×400。
图8 算法流程
Fig. 8 Algorithm flowchart
1)信息熵(H)。反映图像中所包含的信息量, 信息熵越大, 意味着图像所携带的信息量越多。信息熵 H 的计算方法为
(32)
其中, j 表示像素 i 的邻域灰度值, f(i, j)为特征对(i, j)的频次, N 为图像大小。
2)平均梯度(G)。用于评估图像的细节丰富程度以及边缘信息的完整性, 计算方法为
(33)
其中, M 和 N 分别表示图像的行数和列数,
和
分别表示水平和垂直方向的梯度。
3)模糊系数(Kblur)。反映图像的模糊程度, 计算方法如下:
(34)
(35)
其中, 
表示像素点(i, j)经过斜向微分型空间滤波器处理后的值。
4)雾感知密度评估参数(FADE)。用于去雾算法的无参考评价指标, 不需要以清晰图像作为参考, 采用 12 种与雾相关的统计特征, 涵盖清晰度、对比度、图像熵、暗通道特性和颜色特性等多个方面。这些特征的提取依赖于滤波器设计、局部统计、图像块划分和颜色建模等多种方法, 最终通过线性组合的方式, 形成对感知雾密度的综合评估, 能够准确地评估图像中的雾霾浓度。
图 9 为纹理信息复杂的自然景观有雾场景及其复原结果(实验 1)。图中的场景具有很大的景深变化, 由于图中的树木经历多次景深突变且纹理信息丰富, 导致出现额外的主体明暗部分。DCP 的复原结果整体上较为清晰, 但是近景树叶处存在明显的光晕, 图像整体上较为暗淡。CAP 的复原图像对比度较高, 但是图像整体过于平滑, 丢失很多纹理信息, 导致去雾效果不真实。NCB 的复原图像整体上覆盖一层薄雾, 且近景树叶处存在光晕。NLD 避免了光晕效应, 但复原图像中远处天空部分去雾不彻底。RIDCP 复原的近景树木部分较为真实, 但远处天空部分仍然留存浓雾; CEEF 对远景的去雾效果较好, 但复原图像中近景树叶和道路部分存在过度去雾, 导致树叶变黑, 颜色发生偏移。Dehazeformer复原图像整体上比较真实, 但去雾效果不均匀, 远处仍然有雾留存。本文算法得到的复原图像同时保证了远处天空和近处树叶的复原效果, 且图像整体上相比原图的亮度和饱和度有所提升, 图像色彩更符合人眼感受。
图9 实验1图像去雾效果
Fig. 9 Dehazing effect of experimental image 1
图 10 为近景存在白色区域干扰的含雾图像及其复原图像(实验 2)。复原该类图像的最大难点在于景深变化明显, 且近景处树木颜色突出, 存在白色干扰建筑。DCP 复原图像的去雾效果明显, 但由于白色建筑的影响, 导致选取的大气光值偏大, 复原图像整体上偏暗, 并且右上角天空区域失真。CAP 复原图像的亮度偏低, 去雾效果不彻底, 远景处仍然有浓雾。NCB 得到的复原图像亮度有所提升, 较好地复原了近景岩石处的细节, 但近景树木处存在明显的光晕。NLD 方法得到的复原图像整体上较为清晰, 但远景处去雾效果不佳; RIDCP得到的复原图像较为真实, 但近景树木周围仍然有浓雾。CEEF 的复原结果整体上细节明显, 但近景树木处存在明显的光晕。Dehazeformer 对近处去雾效果良好, 但去雾效果不均匀, 远处树木去雾效果不明显。本文方法在保证图像天空区域不失真的同时, 有效地去除远景树林部分以及近景处岩石和树木的雾气, 避免了光晕效应, 显著地提升整体亮度和色彩饱和度, 更好地复原了图像的细节信息。
图 11 为低对比度的城市建筑图像及其复原图像(实验 3)。与其他场景图像相比, 该类图像复原的难点在于雾霾浓度整体上较高, 导致远景处建筑模糊不清且细节严重丢失, 对比度总体上较低。DCP 的复原图像去雾效果较好, 但由于近景处白色建筑的影响, 大气光值选取偏大, 导致白色建筑房顶和地面颜色失真。CAP 方法提高了近景处白色区域的色彩准确性, 图像亮度有所提高, 但整体上去雾效果不足, 仍然有浓雾存在。NCB 复原图像的细节呈现明显, 但远景树木仍然被一定程度的雾霾覆盖。NLD 的复原图像偏蓝, 远景处仍然留存浓雾。RIDCP 保证了整体的去雾效果, 但图像远景部分偏黄, 导致远景建筑颜色失真。CEEF 的复原图像整体上亮度较低, 且远处去雾效果不佳。Dehazeformer的复原图像偏暗, 且有明显雾气存在。本方法在保证近景处白色区域色彩准确的同时, 有效地恢复远景细节, 图像色彩整体上更加真实。
图10 实验2图像去雾效果
Fig. 10 Dehazing effect of experimental image 2
图 12 为景深变化明显的城市遥感图像及其复原图像(实验 4)。相比于其他图像, 难点在于存在景深突变, 且天空处浓雾导致物体色彩暗淡, 细节信息丢失严重。DCP 的复原图像能有效地恢复远景建筑, 但近景处存在明显的光晕效应。CAP 的复原图像整体上亮度提升, 但去雾效果不明显, 仍然保留一定的雾霾。NCB 方法呈现较为清晰的细节, 但近景处光晕效应未完全消除, 建筑处仍然有轻微雾气残留。NLD 的复原图像整体色调偏蓝, 远景处去雾不彻底。RIDCP 保证了图像整体的去雾效果, 但天空处偏黄, 且近景树叶处存在光晕。CEEF 得到的复原图像近景处去雾过度, 导致颜色失真, 远景处仍然有浓雾。Dehazeformer 的复原图像仍然保留大量雾气。本文方法在抑制近景处光晕效应的同时, 确保远景的去雾效果, 建筑处的雾霾得到有效的去除, 且图像的整体色彩更符合人眼视觉。
图11 实验3图像去雾效果
Fig. 11 Dehazing effect of experimental image 3
图12 实验4图像去雾效果
Fig.12 Dehazing effect of experimental image 4
图 13 展示不同算法对远景天空有浓雾的室外场景的去雾效果(实验 5)。DCP 复原图像的去雾效果显著, 近景处麦田细节清晰, 但由于白色噪声的影响, 大气光值选取偏大, 导致图像整体上偏暗, 天空区域出现失真。CAP 的复原图像去雾效果不彻底。NCB 提升了图像亮度, 但整体去雾效果不够。NLD 得到的复原图像整体上清晰, 近景表现较好, 远景去雾效果较差, 有明显的雾霾残留。RIDCP 得到的复原图像较为真实, 近景细节突出, 远处去雾效果差。CEEF 的复原图像整体上细节明显, 但存在颜色偏移。Dehazeformer 复原的图像去雾效果不明显。本文方法在保证图像天空区域不失真的同时, 有效地去除远景部分以及近景处麦田的雾气, 更好地复原了图像的细节信息, 视觉效果更自然。
图13 实验5图像去雾效果
Fig. 13 Dehazing effect of experimental image 5
图 14 展示雾霾环境下不同算法对室内薄雾场景的去雾效果(实验 6)。DCP复原图像的去雾效果明显, 近景草坪细节清晰, 但由于场景中亮色区域的影响, 大气光值选取偏大, 导致图像整体上偏暗。CAP 的复原图像远景区域有明显的雾气残留, 且存在颜色偏移。NCB 复原图像较为清晰, 近景细节还原较好, 但远景处有雾残留。NLD 复原的图像雾气去除不彻底, 且存在颜色偏移。RIDCP 图像还原真实, 但亮度稍显不足。CEEF 的复原图像整体上细节明显, 但存在颜色偏移。Dehazeformer 复原的图像近景表现较为突出。本文方法有效地去除远景区域的雾气, 并增强了近景草地的细节表现, 整体上亮度和色彩饱和度表现自然。
图14 实验6图像去雾效果
Fig. 14 Dehazing effect of experimental image 6
根据图像去雾评价标准, 采用信息熵、平均梯度、模糊系数及 FADE 等客观指标对复原图像质量进行评价, 结果如表 1 所示。
图 9～14 的实验结果表明, DCP 的复原图像在各项评价指标上表现较好, 但由于图像整体上偏暗, 导致信息熵相对较低。相比于原始图像, CAP 的复原图像信息熵有所提升, 整体上亮度较高, 但去雾不完全, 复原图像中存在一定浓度的雾霾, 其他评价指标也表现较差。NCB 复原的图像在各项指标上均有所改善, 但近景处仍然存在光晕效应。NLD复原的图像各项指标表现良好, 但该算法将大气光值到颜色线的距离投影到可变阈值的圆锥体, 并利用霍夫投票来获取大气光值, 对图像中的噪声和伪影较为敏感, 导致估计大气光值的准确性下降, 使得图像远景过亮且整体上呈现偏蓝色调。RIDCP 的复原图像去雾彻底, 但天空部分偏黄。CEEF 保证了远景处的色彩, 但近景处存在过度去雾导致的色彩偏移。Dehazeformer 的复原图像去雾不均匀。与原始图像相比, 本文算法得到的复原图像信息熵最大, 包含的细节信息最丰富, 平均梯度及模糊系数较高, 评价参数 FADE 较低, 说明图像的清晰度高, 细节还原更完整。
表1 去雾图像的参数评价
Table 1 Evaluation of dehazed image parameters
实验去雾算法模糊系数信息熵平均梯度FADE运算时长/s 实验1原始图像–14.81958.26410.4254– DCP[4]1.083315.19009.17920.18791.3618 CAP[7]0.644714.59415.16420.29642.6391 NCB[9]1.049015.23829.45770.22572.1648 NLD[8]1.695616.088513.62970.15235.3491 RIDCP[12]1.446515.403811.34950.2136– CEEF[11]1.802515.517613.65610.11002.5195 Dehazeformer[14]1.250616.12119.52340.2039– 本文方法1.808616.177914.19610.10782.7163 实验2原始图像–13.50603.47781.2000– DCP[4]1.497714.60714.73750.33250.8840 CAP[7]1.203713.77363.72060.40481.2144 NCB[9]1.689814.80415.46650.26721.5436 NLD[8]2.387214.61157.66560.21073.5753 RIDCP[12]2.146515.12376.52120.3814– CEEF[11]2.404714.71427.50580.21411.6034 Dehazeformer[14]1.512215.17055.55210.3291– 本文方法2.711315.56838.02920.20602.5544 实验3原始图像–13.04082.10662.7633– DCP[4]2.844514.12835.78310.28390.8831 CAP[7]1.756612.73413.60391.05141.3167 NCB[9]3.318214.61816.66830.32931.6610 NLD[8]3.778315.22907.68950.38821.9208 RIDCP[12]4.227115.16457.73120.2110– CEEF[11]3.243813.81656.43240.31651.8269 Dehazeformer[14]1.584513.55794.27670.3473– 本文方法4.640415.25329.26610.20772.1709 续表 实验去雾算法模糊系数信息熵平均梯度FADE运算时长/s 实验4原始图像–12.32062.75222.3899– DCP[4]3.160314.84728.44240.34760.7325 CAP[7]1.484313.26023.95171.06221.1597 NCB[9]3.261714.88058.68330.40371.6042 NLD[8]3.600714.93859.44900.36052.3349 RIDCP[12]3.668215.04278.54920.2995– CEEF[11]2.640214.28156.79560.42011.8480 Dehazeformer[14]2.151514.45526.55520.4498– 本文方法4.089015.166410.62700.29032.5509 实验5原始图像–12.99275.40250.6792– DCP[4]1.647713.78357.89640.17210.8617 CAP[7]1.094613.10826.35710.42853.0756 NCB[9]1.299113.50057.71030.22161.4514 NLD[8]2.279014.784310.78480.15292.8394 RIDCP[12]2.026713.92439.97280.1594– CEEF[11]2.260114.817012.03840.11291.9027 Dehazeformer[14]1.271213.59337.04790.2963– 本文方法2.585914.946912.69490.10173.5624 实验6原始图像–15.54957.34190.5037– DCP[4]2.627917.306815.87510.15681.0368 CAP[7]1.272116.35469.27620.24572.8825 NCB[9]1.978217.092313.75540.18332.2932 NLD[8]2.117017.269814.58440.17113.6956 RIDCP[12]1.540817.662511.47600.1760– CEEF[11]2.190916.785414.48720.16152.0394 Dehazeformer[14]1.184815.91169.04590.2586– 本文方法2.774117.986316.32710.15283.0117
说明: 粗体数字表示该列指标的最好结果; 由于深度学习算法依赖训练好的模型对单张图片进行推理来获得去雾结果, 所以其时间记录不具有通用性或可比性, 在表中用“–”代替。
本文提出一种结合最小熵区域和雾线邻域优化的去雾方法, 通过对亮度映射进行最小区域熵约束, 获取图像中的大气光值。在透射率的计算中, 根据噪声判别式获取雾霾噪声区域, 对该区域的像素点进行聚类, 并利用最大辐照度直方图邻域优化方法, 进一步改善透射率的估计。同时, 设计了自适应导向相对总变分方法, 用于细化透射率的估计。实验结果表明, 与其他去雾算法相比, 本文算法的复原图像在信息熵、平均梯度、模糊系数及 FADE 等评价指标均显著改进, 实际复原结果表明对远景区域的复原效果较好, 同时也避免了近景处的光晕效应, 且色彩更符合人眼视觉, 能够有效地去除雾霾, 提升图像质量。
参考文献
[1] 黄鹤, 胡凯益, 宋京, 等. 雾霾线求解透射率的二次优化方法. 西安交通大学学报, 2021, 55(8): 130–138
[2] Kim S E, Park T H, Eom I K. Fast single image deha-zing using saturation based transmission map estima-tion. IEEE, 2020, 29: 1985–1998
[3] 贾童瑶, 卓力, 李嘉锋, 等. 基于深度学习的单幅图像去雾研究进展. 电子学报, 2023, 51(1): 231–245
[4] He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353
[5] 袁小平, 陈艳宇, 石慧. 基于雾线暗通道先验改进的图像去雾算法. 激光与光电子学进展, 2022, 59 (8): 181–188
[6] Yang Yan, Wang Zhiwei. Haze removal: push DCP at the edge. IEEE Signal Processing Letters, 2020, 27: 1405–1409
[7] Zhu Qingsong, Mai Jiaming, Shao Ling. A fast single image haze removal algorithm using color attenuation prior. IEEE Transactions on Image Processing, 2015, 24(11): 3522–3533
[8] Berman D, Treibitz T, Avidan S. Non-local image dehazing // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 1674–1682
[9] Dhara S K, Roy M, Sen D, et al. Color cast dependent image dehazing via adaptive airlight refinement and non-linear color balancing. IEEE Transactions on Cir-cuits and Systems for Video Technology, 2020, 31(5): 2076–2081
[10] Ju Mingye, Ding Can, Ren Wenqi, et al. IDE: image dehazing and exposure using an enhanced atmospheric scattering model. IEEE Transactions on Image Proces-sing, 2021, 30: 2180–2192
[11] Liu Xiaoning, Li Hui, Zhu Ce. Joint contrast enhance-ment and exposure fusion for real-world image deha-zing. IEEE Transactions on Multimedia, 2022, 24: 3934–3946
[12] Cai Bolun, Xu Xiangmin, Jia Kui, et al. DehazeNet: an end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 2016, 25(11): 5187–5198
[13] Wu Ruiqi, Duan Zhengpeng, Guo Chunle, et al. RIDCP: revitalizing real image dehazing via high-quality codebook priors // 2023 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, 2023: 22282–22291
[14] Song Yuda, He Zhuqing, Qian Hui, et al. Vision trans-formers for single image dehazing. IEEE Transactions on Image Processing, 2023, 32: 1927–1941
[15] 黄鹤, 胡凯益, 郭璐, 等. 改进的海雾图像去除方法. 哈尔滨工业大学学报, 2021, 53(8): 81–91
[16] Huang He, Song Jing, Guo Lu, et al. Haze removal method based on a variation function and colour at-tenuation prior for UAV remote-sensing images. Journal of Modern Optics, 2019, 66(12): 1282–1295
[17] 李加元, 胡庆武, 艾明耀, 等. 结合天空识别和暗通道原理的图像去雾. 中国图象图形学报, 2015, 20(4): 514–519
[18] Yin Hui, Gong Yuanhao, Qiu Guoping. Side window filtering // 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, 2019: 8758–8766
[19] 肖新杰, 李志伟, 张楠楠, 等. 结合天空分割和金字塔融合的多尺度图像去雾. 计算机工程, 2023, 49 (12): 205–213
[20] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397–1409
[21] Fattal R. Dehazing using color-lines. ACM Trans Graph, 2014, 34(1): 1–14
[22] 黄鹤, 李战一, 胡凯益, 等. 融合大气光值–图估计的无人机航拍图像去雾. 哈尔滨工业大学学报, 2023, 55(5): 88–97
[23] Hautiere N, Tarel J P, Aubert D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges. Image Analysis & Stereology, 2011, 27(2): 87–95
[24] 黄文辉, 陈仁雷, 张家谋. 数字视频图像质量客观测量方法的改进与实现. 北京邮电大学学报, 2005, 28(4): 87–90
[25] Choi L K, You J, Bovik A C. Referenceless prediction of perceptual fog density and perceptual image defog-ging. IEEE Transactions on Image Processing, 2015, 24(11): 3888–3901
Dehazing Method Integrating Regional Minimum Entropy and Neighborhood Haze Line Optimization
Abstract An improved image dehazing method is proposed to address the issues of blurred details and color distortion in the restored image obtained by traditional dehazing algorithms. Firstly, the main structural image and the minimum channel image of the hazy image are acquired. The brightness mapping of the main structural image is calculated, and the maximum and sub-maximum points are identified to form four candidate regions. The median value of the region with the minimum entropy is selected as the global atmospheric light value. Subsequently, a fog line reliability evaluation parameter is introduced to determine whether transmission rate points belong to the noise area. Clustering of transmission rate points in the noise area is conducted, and the transmission rate is optimized using neighborhood fog lines. Clusters with too few pixels are merged, and the selection range of the maximum irradiance is appropriately expanded to compensate for errors caused by limited areas. Finally, edge information in the minimum channel is extracted using a side window box filter. An adaptive weight factor based on the characteristics of fog line clustering results is designed to remove texture information, further refine the transmission rate, and ultimately obtain the restored image based on the atmospheric imaging model. Experimental results demonstrate that the proposed algorithm shows significant performance improvements compared with various dehazing algorithms, with enhancements in information entropy, average gradient, blur coefficient, and fog concentration evaluation index (FADE), resulting in more complete details and better color matching with human visual perception in the restored image.
Key words regional minimum entropy; relative total variation; haze line theory; image processing; defogging