基于生成对抗网络的砂岩薄片图像视野外重建

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 2 (Mar. 2023)

1.北京大学地球与空间科学学院, 北京 100871; 2.造山带与地壳演化教育部重点实验室, 北京 100871; †通信作者, E-mail: cdwu@pku.edu.cn

摘要利用生成对抗网络(GAN)模型, 对砂岩薄片图像的微观颗粒和孔隙结构进行视野外重建, 并对预测图像的语义进行评价。结果表明, 模型能够预测 2.25 倍于原始视野的砂岩微观结构, 并且针对不同类型的岩石图像语义均具有良好的性能。模型对不同颗粒的表面纹理、颗粒形态以及多颗粒间复杂接触关系等语义的图像视野外预测结果与真实图像较为吻合。但是, 在微观特殊现象图像的视野外重建任务中, 模型缺乏对特殊现象的敏感性。在孔隙结构重建时, 模型对微孔面孔率的预测误差大于粒间孔、裂隙和溶蚀孔等孔隙空间。不同孔隙空间重建图像的预测效果可能与孔隙特征(如孔径大小和连通性)有关。

关键词 生成对抗网络(GAN); 岩石薄片图像; 颗粒结构; 孔隙结构; 图像视野外推

岩石是造岩矿物按一定结构集合而成的, 内部含大量不规则的孔隙。孔隙与颗粒的微观结构影响岩石的强度、渗透率、孔隙度和电导率等物理化学性质[1]。油气储层岩石的微观孔隙结构和分布特征与其储油能力和渗流能力息息相关, 对油气藏的储量和产能产生重要影响。过去 40 年中, 石油工业的需求使得针对储层岩石孔隙微观结构特征的表征和模拟方法不断改进, 其中典型的有高斯场随机模拟法、退火模拟法、物理过程模拟法和多点地质统计法等, 模型的描述能力也不断提升[2−3]。然而, 通过数字岩芯建模来表征微观孔隙结构的相关研究局限于微米级别的岩芯, 难以获得超出观察视野范围的高质量岩石结构数据。

岩石薄片图像是油气勘探开发过程中的重要资料, 是划分岩性类别、理解岩石结构等地质研究的基础。在石油勘探中, 岩石薄片图像处理技术对区分储层类型和判别成岩作用具有重要意义。21 世纪以来, 深度学习算法和图形处理器等软件和硬件的发展为数字图像处理提供了先进的实验条件和计算条件, 许多学者认识到, 相对传统的统计方法, 机器学习方法在分析岩石图像信息和应对油气开发实际问题方面具有优越性。程国建等[4]将深度学习方法应用到岩石图像处理任务中, 证明其可行性。Saxena 等[5]采用基于卷积神经网络(convolutional neural networks, CNN)的有监督语义分割方法, 将岩石薄片自动分割为包括孔隙、石英等在内的 10 级子单元多重区域。白林等[6]利用 VGG (visual geo-metry group)卷积神经网络, 实现对安山岩、白云岩和鲕粒灰岩等不同类型岩石薄片图像的精细分类。Odi 等[7]对岩芯的 CT 扫描数据与沉积相分类的关联性进行训练学习, 建立基于计算机断层扫描(CT)数据的沉积相预测模型。Liu 等[8]提出基于生成对抗网络(generative adversarial networks, GAN)的超分辨率图像增强方法, 并对砂岩薄片图像进行超分辨率重建, 达到肉眼视觉上清晰的重建效果。

图像视野外重建任务在图像修复相关研究中受到的关注较少。与内部像素信息缺失相比, 学习并预测图像边界之外的特征非常具有挑战性, 也具有很高的应用价值。Zhang 等[9]最先提出图像视野外推的研究课题, 并尝试利用传统图像处理技术还原一幅全景图像的拍摄视角。Sabini 等[10]首次将 GAN运用到图像视野外推的研究中, 并且成功地运用到Place365 数据集上。尽管他们的模型仅考虑图像的横向拓展任务, 但证明了深度学习方法在图像边界拓展研究中的可行性。Cheng 等[11]提出基于不同微补丁生成图像外部边界的 GAN 模型, 并在用户可操作性方面加以改进, 实现高自由度的生成图像。上述尝试性研究在生成图像多样性和计算机视觉艺术方面有所改进, 但生成的图像难以多方向扩展, 同时预测性较弱, 难以运用到具体实践中。2020 年, Van Hoorick[12]提出能够同时拓展 4 个方向图像边界的 outpainting 模型, 成功地实现高质量艺术画作图像边界的扩展, 为图像视野外重建提供了启发。

岩石微观结构表征研究主要基于已有实验和图像资料, 对样品进行客观描述和参数统计, 关心图像内部的语义信息。基于深度学习的生成图像研究则更关注计算机视觉领域的灰度结构和信噪特征等信息, 缺少对图像内容语义的深刻理解。本文基于生成对抗网络, 重建超越原始视野范围的岩石颗粒和孔隙分布的图像, 并结合图像语义评价砂岩薄片图像的视野外重建效果。

1 模型与原理

1.1 生成对抗网络(GAN)

GAN 是 Goodfellow 等[13] 2014 年提出的基于深度学习的生成模型, 其基本思想来自博弈论(game theory)中的零和博弈, 即框架中同时训练两个模型, 其中一个是用于捕获图像中数据分布的生成器 G, 另一个模型判别器 D则用于判断生成的图像是否足够逼真。通过生成器与判别器之间的竞争学习和结果对抗, 拟合原图像的特定分布, 并最终达到纳什均衡(Nash equilibrium)。GAN 在图像增强、图像分类以及生成高质量虚拟样本等领域均有应用。

1.2 基于对单一全景图像网格化采样的生成对抗网络

与传统的大数据集机器学习方法不同, 单图像GAN 模型不需要依赖图像大数据集, 能够针对单张包含复杂纹理和几何形态的图像进行训练学习[14]。Asano 等[15]证明, 在单个图像上训练一个能够充分自我监控和数据增强的模型, 就可以实现效率极高的图像特征提取。Shaham 等[14] 2019 年提出基于多分辨率单图像学习的 SinGAN 模型, 该模型的成功应用表明, 单张自然图像内部通常具有足够的信息量, 可以支撑 GAN 模型的学习, 并生成质量极高的新图像样本。

本文基于单张高分辨率的岩石薄片全景图像, 利用网格化多视域采样学习策略, 将采样图像输入一个单独训练的 CNN 二分类器(主要针对矿物颗粒和孔隙)中, 将分类结果输入对应的样本库, 分别进行 GAN 训练。GAN 的框架使用 Encoder-Decoder模型, 生成器 G由编码器(encoder)、全连接层和解码器(decoder)组成。编码器获取待预测的输入图像, 产生该图像的潜在特征表示。解码器解读这种特征表示, 产生待预测的图像内容。编码器与解码器之间由一个全连接层连接。编码器由 6 个卷积层组成, 负责对输入图像进行重复下采样, 以便提取图像内容和对象语义。全连接层的作用是在每个特征映射的激活过程中传播信息。解码器由 6 个与编码器对应的反卷积层组成, 用以“撤销”编码器执行的下采样操作。鉴别器 D包括 5 个卷积层, 对输入图像视野外的生成区域的真实性做出判断, 用于估计生成器生成图像为真的概率。

模型的损失函数采用重建损失 λrec 和对抗性损失 λadv 线性组合的模式[16]。重建损失采用 L1 损失形式, 有助于减少模糊图像的生成。为了提高生成器的图像生成质量, 本研究改进了对抗性损失的变动系数更新规则, 即在多次完整地传递数据集后(训练轮次 N递增), 模型将加大对抗性损失的系数λadv(N), 用于惩罚生成器产生不真实的图像输出。损失函数表示如下:

式中, Lrec 和 Ladv 分别表示重建误差和对抗性误差, LG和 LD分别表示生成器 G和鉴别器 D的损失函数, G(x)为生成器 G生成的图像; D(x)为鉴别器 D判断输入图像为真的概率。

本研究使用的深度学习模型整体结构如图 1 所示。开始训练时, 模型的 GAN 部分输入分辨率为192×192 像素的薄片图像, 原图在遮盖四角与同行、同列的 32 个像素之后传入生成器, 试图生成原 192× 192 像素分辨率的图像。在一维直线上, 模型试图预测 1.5 倍视域内的岩石薄片图像分布; 在二维平面上, 模型试图拓展 2.25 倍的边界范围。尽管在特定直线方向仅增加了 0.25 倍的视野范围, 但实际重建的视野外像素数量已经超过传入生成器的基础视域的像素数量。

岩石通常经历复杂的地质作用。以沉积岩为例, 一般经历原生颗粒的剥蚀、搬运、沉积、成岩压实、后生作用和风化作用等过程。不同区域地质作用的差异导致岩石宏观特征的差异, 同一区域沉积和成岩作用等过程的分化也导致岩石内部强烈的微观非均质性。因此, 采用包括不同种类、不同地区的岩石图像大数据集的深度学习模型进行训练和重建, 容易引入与当前样品无关的外生变量。同时, 在一定的微观范围内, 造岩矿物和颗粒经历的沉积作用和成岩作用大致相似, 其可预测性大大增加。有限元理论认为, 岩石是由一个个性质相近的微小的连续三维区块组成的复合体, 其数字图像中也存在近似的二维特征[17]。因此, 利用基于无重叠网格化采样的 GAN 模型对单张高质量岩石全景图像进行学习, 不仅可以回避冗余图像集对单个特定岩石样本的干扰, 又能从微观上充分提取岩石图像的特征, 生成具有良好预测性的外部边界图像。

2 图像采集与处理

2.1 多视域岩石图像拼合系统

岩石薄片鉴定是地质学的常用研究方法, 一般用于显微镜下观察矿物的颜色和形态等二维特征。铸体薄片则是在普通岩石薄片的基础上, 向岩芯中注入带有颜色(通常为红色或蓝色)的有机胶或树脂, 待充分冷却后切片观察。本文研究的岩石样品为准噶尔盆地白垩系清水河组长石岩屑砂岩, 矿物组成主要为石英和长石等浅色矿物, 因此选择蓝色有机树脂作为孔隙的填充胶体。

精细结构的全景视野影像拍摄通常对显微设备的要求很高。本文采用移动拍摄和后期拼合的方式降低对照相设备的要求, 获得约 100 倍正常视域大小的全景岩石薄片图像。实验所用显微镜的目镜放大倍数为 10, 物镜放大倍数为 4。正常视野下, 每次拍摄可以得到 2400μm×1600μm 真实视域 5472× 3648 像素分辨率的图像。采用电动载物台定距移动拍摄的方式, 可以采集整块岩石铸体薄片中各部位图像集(拍摄时, 每步移动往往需要保持一定的图像重合率)。图像拼接技术已趋于成熟, 实验中采用 PTGui 软件对采集的岩石薄片图像集进行流程化对准、拼接和裁剪, 最终得到一张 54720×36480像素分辨率的高质量全景岩石薄片图像(图 2)。

2.2 图像预处理

为了获取单个岩石样本图像内部的显微结构, 采用网格化无重叠采样的方式, 从全景岩石薄片图像中获取约 50000 张 192×192 像素分辨率的矿物颗粒或孔隙显微图像。本文从孔隙和矿物颗粒两种介质的角度, 分别评价模型的视野外重建效果, 因此需要一个二分类器来实现将全部采样图像分为孔隙和矿物两类样本, 分别输入深度学习模型进行训练。

我们最初考虑使用经典图像处理方式来实现孔隙‒颗粒二元分类。孔隙介质内部充填的蓝色胶体使得孔隙部分所占的像素绝大部分在色彩空间中落在蓝色区间。理论上可以根据蓝色像素数占总像素数的比例阈值, 区分图像主要描述的对象。但是, 在实际筛选时, 由于铸体注胶过程的不可控性以及薄片磨制厚度的非均匀性等因素, 不同孔隙介质中的蓝色像素值在较大的色彩空间内变动, 难以确定用于筛选的具体像素阈值(图 3)。同时, 用阈值型分类器判断一个采样图像是颗粒还是孔隙结构时, 由于孔隙通常不会脱离颗粒而单独存在, 因此需要引入划分比例, 用于区分图像的主要语义。划分比例可以采用蓝色像素数占总像素数的比例, 即孔隙介质在视野中所占比例。即使有经验的地质学家, 也很难将判断标准数值化, 因此基于经典图像编辑的颜色阈值二分类器算法的鲁棒性较差。

我们转而考虑卷积神经网络作为二分类器的基本载体, 其网络框架参考 VGG16[18]网络, 包括 13个卷积层以及对应的池化层和全连接层等结构。定义孔隙结构的标签为 0, 颗粒结构为 1。训练样本为人工标注已分类的 1000 张采样图像, 最终模型的分类正确率为 91.8%。经过测试 100 幅额外采样图像, 同时与人工分类结果进行对比, 卷积神经网络与人工分类结果的相同率为 89%。因此, 基于岩石薄片全景图像的网格化无重叠采样集可以被卷积神经网络分为颗粒和孔隙两种类型。

3 实验结果分析

3.1 模型训练情况

实验环境为 Intel Core i7-10875H CPU, Nvidia RTX 3060 GPU, 基于 Pytorch 深度学习框架实现GAN 模型, 整体训练时长约为 16 小时。图 4 显示模型训练中生成器 G和判别器 D的误差收敛情况, 训练中损失函数值逐渐减小, 当训练轮次超过 150时, 生成器和鉴别器的误差函数值趋于收敛。

3.2 图像评价指标

峰值信噪比(peak signal to noise ratio, PSNR)和结构相似度(structural similarity, SSIM)是计算机视觉领域评价两张图像相似程度的常用指标。

PSNR的数学表达式如下:

式中, MSE 表示当前图像 X和 Y的均方误差; H和 W分别表示图像的高度和宽度; n为每像素的比特数, 本文取 8, 即像素灰度阶数为 256。PSNR 数值越大, 表示两张图像的相似程度越高, 重建结构的失真度越小。

SSIM 指标综合考虑图像 X与 Y的亮度 l、对比度 c和结构 s信息, 其数学表达式如下:

式中, μX和 μY分别表示图像 X和 Y的灰度平均值; σX和 σY分别表示图像 X和 Y的灰度方差, σXY表示二者的协方差; C1, C2 和 C3 为常数, 由常数 K1, K2 和L决定, 一般取 K1=0.01, K2=0.03, L为最大灰度范围, 在 unit8 数据类型中取 255。SSIM 取值在 0～1之间, 一般情况下, SSIM 越接近 1, 表示两张图像的相似程度越高, 重建的失真度越小。

2017 年, Ledig 等[19]提出 SRGAN 网络模型, 同时将评价者打分的模式引入图像重建语义检验中, 并指出 PSNR 等经典图像学指标的局限性。图像压缩和重建类研究多采用 PSNR 和 SSIM 作为图像学检验指标, 而对图像语义重建效果的检验关注甚少。一方面, 由于研究人员缺乏多领域的知识, 使得评价图像语义显得具有挑战性; 另一方面, 因为不同领域的图像语义存在差别, 难以提出普适的定量化语义重建效果标准。本文以地质图像语义分析为主, 结合常用指标 PSNR 和 SSIM, 分析所使用的GAN 模型在岩石薄片视野外重建任务中的表现效果。

3.3 矿物颗粒结构视野外重建效果分析

地质学研究中主要从颗粒成分、颗粒直径、接触关系、颗粒形态和颜色纹理等方面, 对组成岩石的各类矿物颗粒进行描述和分析[20]。对于地质学研究而言, 岩石颗粒组成的分析是关键的一步。不同矿物颗粒成分在岩石薄片图像中体现为颜色、边缘与内部纹理等特征的可区分性。

本研究从岩石薄片全景图像采样的测试集中挑选 100 幅图像语义主要为颗粒结构的 192×192 像素分辨率的图像, 输入模型进行视野外重建, 图 5 显示多幅图像的边界扩展效果。当石英与岩屑颗粒处于同一视野时, 鉴别两者的重要特征是颜色和纹理。石英颗粒表面多呈灰白色, 无复杂纹理; 岩屑颗粒的组成较为复杂, 颜色多偏暗沉, 其内部排列结构取决于母岩的具体性质。模型针对同视野中石英和岩屑颗粒进行边界拓展的效果较为成功, 不仅清晰地重建两种不同颗粒的颜色和纹理, 对于颗粒边缘走向的预测也与真实图像较为接近(图 5(a)和(b))。当样本同时出现长石、岩屑和石英颗粒时, 图像重建的复杂性增加。在单偏光显微镜下, 长石和石英均为灰白色, 长石表面因蚀变而呈现与岩屑相似的复杂纹理。如果模型的学习处于欠拟合状态, 则视野外重建的结果可能会将长石颗粒的表面归于石英或岩屑的简单二元分类中, 并造成明显的视觉误差。然而, 在颜色区分的实际测试中, 针对3 种矿物位于同一视域的情况, 模型对石英、长石和岩屑颗粒的视野外重建结果均与地质学认识相符, PSNR 和 SSIM指标也反映出视野外重建质量较高。同时, 在纹理特征方面, 重建结果也较为成功地还原了长石和岩屑颗粒在基础视野外的基本分布(图 5(c))。

颗粒之间的接触关系对岩石结构的分析非常重要。如果重建模型不能学习到较为精准的颗粒间接触关系, 即使能够正确地预测颗粒类型或表面纹理, 重建图像质量依然不能满足地质学研究的需求。沉积岩的颗粒间接触类型主要有点接触、线接触、凹凸接触和缝合接触等, 单图像样本中可能出现上述接触关系的任意组合。图 6 显示多幅主要语义为颗粒接触关系的图像视野外重建效果, 测试样本既包括只具有线性接触关系的同矿物间接触(A 类任务)的图像, 也包括含多种组合接触关系的同矿物间接触(B 类任务)以及多种组合接触关系的不同颗粒间接触(C 类任务)等具有复杂语义的图像。在相对简单的 A 类任务中, 重建结果基本上延续基础视野内颗粒间原始的线接触关系, 同时对石英纹理和颜色的预测较为成功(图 6(a))。在 B 类任务中, 模型能较准确地捕捉石英颗粒之间的点接触及缝合接触关系, 并在外部视野预测中未出现明显的误差(图 6 (b))。相对复杂的 C 类任务中, 在基础视域内几乎没有原图像下部和右上部的提示像素(已知像素分布)情况下, 模型对颗粒间接触关系的预测较为成功, 但细节上仍与真实视域有误差, 主要在于高估了蓝色像素的分布概率(孔隙在视野内的出现频率) (图 6(c))。

颗粒形态是通过肉眼直观地衡量重建图像预测性能的重要指标。沉积岩中的颗粒往往经过风化、搬运、沉积和成岩等自然过程, 其形态具有多样性和复杂性。在制作岩石薄片过程中, 切面的随机朝向也影响图像中颗粒的基本形状, 使得在无提示像素时, 人工预测颗粒形状具有较强的主观性[21]。即使存在一定数量的提示像素, 预测任务也相当具有挑战性。挑选矿物形状明显偏离原始结晶形态的复杂图像作为测试样本, 图 7 显示多幅主要语义为颗粒形态的图像视野外重建结果。在基础视野中存在少量提示像素的情况下, 模型对视野外颗粒形态的预测结果较好地反映了真实图像(图 7(a)和(b))。图7(c)中, 基础视域内存在两个需要进行形态重建的目标体(上部的“八”字状石英内部裂纹和下部的纺锤状石英颗粒溶蚀边), 重建结果较好地预测了目标区域, 也表明多方向的视野外重建模型对预测外部视野的颗粒形态任务没有方向偏好。

岩石的微观非均质性使其内部偶尔出现成分结构明显异于一般颗粒或孔隙的特殊组分, 例如化石结构、有机质残留以及粒内不规则溶蚀现象等。这种特殊现象的地质成因易于解释, 甚至可以对其是否存在于某区块的岩石中进行模糊预测, 但一般难以准确地预测其在岩石内部的分布。本文尝试使用模型对此类特殊现象在岩石内部的分布进行预测, 测试样本分为有提示像素和无提示像素两类, 图 8显示多幅主要语义为特殊现象的图像视野外重建结果。当图像中存在部分有机质残留的提示像素区域时, 模型倾向于将黑色的有机质沿切向外延, 但不能形成与原图接近的闭合环(图 8(a))。显微镜下观察岩石样本, 发现与图 8(a)类似的有机质残留在训练图像集中极少出现, 导致模型对此类分布特征学习不足。当基础视野中完全没有特殊现象的提示像素时, 模型的表现逊色一些(图 8(b)和(c))。大量正常岩石图像样本的学习使得模型在一定程度上认为视野外围的岩石结构可能是性质较为均一的。化石结构和有机质残留等特殊现象的出现非常重要, 有可能指示沉积环境和含油气情况等重要信息。在视野内缺少提示像素的情况下, 提高模型预测特殊现象的精确率, 从而减少对储层油气储量的错误性高估尤为重要。通常, 在岩石薄片观察过程中直接发现有机质残留等现象的概率极低, 而高估储层的油气储量容易造成勘探和开发成本的多余支出。因此, 薄片图像外部视野预测结果缺乏对特殊现象的敏感性, 对分析储层含油气情况而言可能是一种良性反馈。

3.4 孔隙结构视野外重建效果分析

岩石内部孔隙空间可以分为粒间孔、溶蚀孔、粒内孔、微孔和裂缝等, 各类孔隙空间的区别主要在于孔隙形态、发育位置和孔隙成因等要素的不同, 对岩石内部的连通性和渗透性等物理性质有着不同的影响[22]。铸体薄片中的孔隙主要呈蓝色, 一般不发育特殊纹理, 因此评价模型对孔隙分布的预测效果需要考虑的特征维度远少于评价颗粒结构。本文从岩石薄片全景图像采样的测试集中挑选 100 幅图像语义主要为孔隙结构的 192×192 像素分辨率的图像, 根据孔隙形状、分布位置和面孔率等主要特征, 对孔隙图像的视野外重建结果进行分析和评价。

面孔率(φ)是孔隙介质在视野内占据像素的比例, 表达式如下:

式中, Npore表示孔隙像素数量, Ntotal表示图像总像素数量。同时, 通过面孔率预测误差(ε)描述模型预测结果与真实视野的差异:

式中, φexp表示预测图像的面孔率; φreal表示真实视野的面孔率。

粒间孔隙的形状主要取决于颗粒的外轮廓和接触关系, 粒间孔在图像中的位置分布并不影响图像视野外推的重建结果。对输入图像主体为颗粒(图9(a))和孔隙(图 9(b))的粒间孔测试图像分别进行视野外重建, 结果显示模型正确地预测了粒间孔的形状和面孔率, 同时较为清晰地反映了粒间孔之间的连接喉道。与形状边缘光滑的粒间孔相较, 溶蚀孔的形态受成岩阶段溶蚀性流体影响, 具有较强的非均质性。模型能够基于已有样本, 对复杂形状的外边界进行推测, 能够比较准确地反映受溶蚀作用改造的不规则孔隙(图 9(c))和粒内溶孔群(图 9(d))的非均质性特征。同时, 基于面孔率数据反映的溶蚀强度信息也与真实情况较为吻合(表 1)。

微孔是分布于黏土矿物和岩屑等成分内部的细小孔隙群, 在 40 倍放大视野下难以直接观察。由于微孔细小, 且多集群分布, 在局部视野中可以被视为具有规律性的颗粒内部纹理。本文模型基于卷积神经网络的基本架构, 有望对微孔隙群纹理的分布进行有效的预测, 图 9(e)和(f)展示模型对具有不同面孔率的微孔图像预测结果。直观视觉和图像指标显示, 微孔隙的纹理性特征重建质量较高, 基于面孔率数据反映的微孔占比也与真实结果较为一致(表 1)。模型在微孔视野外重建任务中的表现弱于其他任务, 可能是因为微孔像素在基础视野中所占图像的比例较小, 同时连通性差, 像素之间的相关性低, 模型难以学习到微孔的自组织特征。这一缺陷有望通过增加原始图像样本放大倍数或增加微孔图像样本数量等手段加以改善。

裂缝型孔隙空间在岩石图像中一般呈发散状的线形分布, 其走向和开度具有较强的自组织规律性, 像素之间的相关性强。图 9(g)和(h)展示模型对裂缝型孔隙空间的视野外重建效果, 无论是对直线型简单裂缝走向和开度的判断(图 9(h)), 还是对发散型裂缝簇分布特征的预测(图 9(g)), 均与真实视野有较高的吻合度。因此, 基于 GAN 的砂岩薄片视野外重建模型能够学习图像中各类孔隙的特征, 并能较准确地预测 2.25 倍于原始视野的孔隙形状和分布等要素。

3.5 不同模型视野外重建效果对比

与图像内部像素填充相比, 有关图像视野外重建的研究还处于起步阶段, 当前研究的数量和程度较为有限。本文以 Yu 等[23]提出的图像修复 Deep-Fill 模型和 Sabini 等[10]提出的 POB (painting outside box)模型在砂岩薄片图像视野外重建任务中的效果作为对比。

如图 10 所示, DeepFill, POB 和本文模型的输入图像条件存在差异。DeepFill 以半侧图像作为输入, 向另一侧扩展, 获取两倍视野的重建图像。POB 以中线为对称轴, 向两侧各采样 0.25 倍边长, 输出时向两侧扩展, 获取两倍视野的重建图像。与 POB模型相比, 本文模型能够实现 2.25 倍视野的砂岩薄片图像视野外重建, 生成更平滑的孔隙和矿物的边界和形态, 并产生良好的纹理效果。同时, 针对DeepFill 模型单方向扩展图像导致的明显误差, 本文模型在预测图像的多向性方面做了改进, 模型向外扩展图像时, 不局限于预先选定的方向, 实现全向性的岩石图像视野外重建。

4 结论和讨论

1)基于对单张全景图像进行学习的 GAN 模型, 能够对岩石微观结构进行高质量的视野外重建。在网格化无重叠采样的策略下, 模型能够学习单张全景岩石薄片图像的结构细节, 并完成 2.25 倍基础视域的微结构预测任务。实验结果表明, 在肉眼视觉、语义解释以及 PSNR 和 SSIM 指标上, 预测图像均具有良好的效果。

2)本文模型在颗粒结构图像的外部视野预测任务中表现良好: 长石、石英、岩屑三端元颗粒表面纹理预测结果与石英、岩屑两端元预测结果具有一致性, 模型正确地学习了岩石中不同颗粒表面的纹理差异。对于具有多种颗粒间接触关系的复杂语义图像, 在基础视野具有部分提示像素的情况下, 模型能准确地预测颗粒间的多种接触关系; 基础视野无提示像素时, 模型对面孔率存在高估。颗粒形态重建任务中, 模型能准确地恢复纹理和颗粒外形的视野外分布, 且预测性能没有方向偏好。模型对有机质残留、粒内溶蚀等特殊现象缺乏敏感性, 这对通过薄片观察来分析含油气情况可能是一种良性反馈。

3)评价孔隙结构的视野外重建需考虑的维度少于颗粒结构的视野外重建。模型对粒间孔、溶蚀孔和裂缝等主要孔隙空间的视野外重建结果, 在孔隙形状、位置分布和面孔率统计等图像语义分析以及 PSNR 和 SSIM 指标的测试中均表现良好。由于微孔像素在基础视野中占比低, 并且连通性差, 像素间关联性低, 模型难以学习到微孔分布的精确特征, 对微孔面孔率预测的平均误差大于普通孔隙。

考虑到岩石图像的微观非均质性, 当前模型的训练、测试和重建均基于单张高分辨率岩石薄片全景图像的无重叠采样集, 并取得良好效果。现阶段颗粒‒孔隙结构的研究对象主要为砂岩, 积累的图像资料以砂岩样品为主。后续研究中可基于更多种类的岩石图像进行训练, 减弱不同类别岩石图像间的干扰, 得到支持更广泛岩石类别的模型, 实现多种岩石的视野外图像重建。

由于薄片收集的困难(如钻井取样、切磨薄片)和观察设备的限制, 获取连续的更大视野的岩石图像有时很困难。本文提出的模型有望扩大薄片图像观察的微观结构边界, 获取具有较高可信度的超出原本受限视野的岩石结构信息。后续的改进和应用也有望提升计算机断层扫描和扫描电子显微镜等观测仪器的分辨率和视野范围, 为精确地评价油气储层的物性和精准的油气田开发提供更多的微观岩石结构证据。

[1] 彭瑞东, 杨彦从, 鞠杨, 等. 基于灰度CT图像的岩石孔隙分形维数计算. 科学通报, 2011, 56(26): 11‒24

[2] 赵秀才. 数字岩心及孔隙网络模型重构方法研究[D]. 北京: 中国石油大学, 2009: 2‒8

[3] 马微. 基于岩石薄片图像的多孔介质三维重构研究[D]. 西安: 西安石油大学, 2014: 1‒5

[4] 程国建, 刘丽婷. 深度学习算法应用于岩石图像处理的可行性研究. 软件导刊, 2016, 15(9): 163‒166

[5] Saxena N, Day-Stirrat R J, Hows A, et al. Application of deep learning for semantic segmentation of sand-stone thin-sections. Computers & Geosciences, 2021, 152: 104778

[6] 白林, 魏昕, 刘禹, 等. 基于VGG模型的岩石薄片图像识别. 地质通报, 2019, 38(12): 2053‒2058

[7] Odi U, Nguyen T. Geological facies prediction using computed tomography in a machine learning and deep learning environment // 2018 SPE/AAPG/SEG Unconventional Resources Technology Conference. Houston: OnePetro, 2018: URTEC-2901881-MS

[8] Liu Ye, Guo Chao, Cao Jie, et al. A new resolution enhancement method for sandstone thin-section ima-ges using perceptual GAN. Journal of Petroleum Sci-ence and Engineering, 2020, 195: 107921

[9] Zhang Yinda, Xiao Jianxiong, Hays J, et al. Frame-break: dramatic image extrapolation by guided shift-maps // 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Portland, 2013: 1171‒1178

[10] Sabini M, Rusak G. Painting outside the box: ima- ge outpainting with GANs [EB/OL]. (2018‒08‒25) [2022‒01‒20]. https://arxiv.org/abs/1808.08483v1

[11] Cheng Y, Lin C H, Lee H, et al. In&Out: diverse ima-ge outpainting via GAN inversion [EB/OL]. (2021‒04‒ 01) [2022‒01‒02]. https://arxiv.org/abs/2104.00675

[12] Van Hoorick B. Image outpainting and harmoniza- tion using generative adversarial networks [EB/OL]. (2020‒02‒15) [2021‒09‒15]. https://arxiv.org/abs/1912. 10960

[13] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Gene-rative adversarial nets. Cambridge: MIT Press, 2014

[14] Shaham T R, Dekel T, Michaeli T. Singan: learning a generative model from a single natural image // 2019 IEEE/CVF International Conference on Computer Vi-sion (ICCV). Seoul, 2019: 4570‒4580

[15] Asano Y M, Rupprecht C, Vedaldi A. Surprising ef-fectiveness of few-image unsupervised feature learning [EB/OL]. (2020‒02‒19) [2021‒09‒20]. https://arxiv. org/abs/1904.13132

[16] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: feature learning by inpainting // 2016 IEEE Conference on Computer Vision and Pattern Recog-nition (CVPR). Las Vegas, 2016: 2536‒2544

[17] 严成增, 郑宏, 孙冠华, 等. 基于数字图像技术的岩土材料有限元‒离散元分析. 岩土力学, 2014, 35(8): 2408‒2414

[18] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2015‒04‒10)[2021‒09‒20]. https://arxiv.org/abs/1409. 1556

[19] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative ad-versarial network // 2017 IEEE Conference on Com-puter Vision and Pattern Recognition (CVPR). Hono-lulu, 2017: 4681‒4690

[20] 叶润青, 牛瑞卿, 张良培, 等. 基于图像分类的矿物含量测定及精度评价. 中国矿业大学学报, 2011, 40(5): 810‒815

[21] 陈建湟, 张中俭, 徐文杰, 等. 基于数字图像处理的矿物颗粒形态定量分析. 工程地质学报, 2021, 29(1): 59‒68

[22] 吴浩, 刘锐娥, 纪友亮, 等. 典型致密砂岩气储层孔隙结构分类及其意义——以鄂尔多斯盆地盒 8 段为例. 天然气地球科学, 2016, 27(5): 835‒843

[23] Yu Jiahui, Lin Zhe, Yang Jimei, et al. Generative image inpainting with contextual attention // 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, 2018: 5505‒ 5514

Outpainting Reconstruction of Sandstone Thin-Section Image Based on Generative Adversarial Network

1. School of Earth and Space Sciences, Peking University, Beijing 100871; 2. The Key Laboratory of Orogenic Belts and Crustal Evolution (MOE), Beijing 100871; † Corresponding author, E-mail: cdwu@pku.edu.cn

Abstract A generative adversarial network (GAN) model is applied to the outpainting reconstruction on the micro grain and pore structure of sandstone thin-section image, and the semantics of the predicted image is analyzed in the model. The findings demonstrate that the model can predict a lager view of sandstone microstructure, which is 2.25 times the size of the original vision, and has good performance for different types of rock image semantics. The predicted image semantics, such as surface texture of different grains, grain morphology and complex contact relationship between multiple grains are consistent with the real results. However, in the task of outpainting reconstruction on microscopic special phenomenon in rock thin-section, the model lacks sensitivity to special phenomenon. In the task of reconstruction on pore structure, the prediction error of micropore distribution is larger than that of common pore spaces such as intergranular pores, fractures and dissolution pores. The prediction performance of reconstruction results of different pore spaces may be related to pore features (such as pore size and connectivity).

Key words generative adversarial network (GAN); rock thin-section image; grain structure; pore structure; image outpainting