北京大学学报(自然科学版) 第62卷 第2期 2026年3月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 62, No. 2 (Mar. 2026)

doi: 10.13209/j.0479-8023.2025.097

国家自然科学基金(616966031, 6186646462)资助

收稿日期: 2025–02–18;

修回日期: 2025–09–06

融合CINO-LoRA和Self-condition的DiffuSum藏文文本自动摘要

王蓉 1,2 才智杰 1,2,†

1.青海师范大学计算机学院, 西宁 810016; 2.藏语智能全国重点实验室, 西宁 810008; †通信作者, E-mail: Czjqhsd@163.com

摘要 为进一步提升藏文文本自动摘要的性能, 针对 DiffuSum 模型在藏文摘要任务中因句子表征能力不足、参数规模过大导致的上下文建模受限以及训练成本高等问题, 提出一种融合 CINO-LoRA 与自调节(Self-condition)的藏文文本自动摘要模型 TiDiffuSum。该模型在句子编码器中引入 CINO-LoRA 机制, 以增强藏文语义表征并显著减少训练参数量; 在扩散生成模块中集成 Self-condition 策略, 加强对上下文语义的理解与利用。实验结果表明, TiDiffuSum 在藏文摘要数据集 TSUM 上能够将参数量有效压缩至基线模型的 0.45%, 且ROUGE-1, ROUGE-2 和 ROUGE-L 指标分别提升 1.07, 0.78 和 1.08, 显著优于基线模型。

关键词 藏文; 文本自动摘要; DiffuSum模型; 句子表征

随着信息技术的飞速发展以及大数据时代的到来, 信息量爆炸式增长, 如何从海量信息中快速、准确地获取关键内容成为一项重要的挑战。在此背景下, 文本自动摘要[1](简称文本摘要, text summa-rization)应运而生, 其目标是将原文内容压缩为简洁、全面且易于理解的摘要, 以便提升信息获取效率。

根据摘要生成方式的不同, 文本自动摘要可分为抽取式摘要与生成式摘要两大类。

抽取式摘要通过抽取原文本中的关键词和重要句子而形成摘要, 保持原文本的完整性和精确性, 但会导致文本中的重要信息流失, 影响摘要的逻辑性和连贯性。抽取式摘要方法经历了从词频统计、语义分析到深度学习模型多种技术的演变, Salton等[2]1975 年提出 TF-IDF(term frequency-in-verse do-cument frequency)算法, 该算法基于词频–逆文档频率权重, 选择文本中权重最高的句子作为摘要。Mihalcea 等[3]2004 年提出 TextRank 算法, 该算法利用无监督的图模型, 基于词语和句子的相似性构建图结构, 并使用迭代方法计算句子的评分, 选取得分最高的句子作为摘要。Zhang 等[4]2019 年提出HiBERT 算法, 通过在文档层次和句子层次进行编码, 捕捉全局和局部信息, 精准地提取关键句子。He 等[5]2022 年提出 Ctrlsum 模型, 该模型是一个可控的抽取式文本摘要模型, 可以通过设定摘要长度或重点信息, 生成个性化的摘要, 极大地提升了摘要生成的灵活性和实用性。Zhang 等[6]2023 年将DiffuSum 模型应用于英文文本摘要, 该模型通过将匹配损失和对比损失联合优化句子编码器, 并利用扩散生成模块生成的摘要句子表征与原始文本句子表征进行相似度匹配, 选出与文本句子表征最相关的句子作为摘要。

生成式摘要利用模型和算法, 从原文中提炼出最关键的信息, 重新组织成具有连贯性、创造性和流畅性的句子来描述原文内容。生成式摘要可能导致信息误解或过度简化, 从而影响摘要的深度和全面性。生成式摘要方法也经历了从传统算法到深度学习模型多种技术的演变, Zhang 等[7]2020 年提出PEGASUS 模型, 采用自监督学习方法, 通过掩蔽和预测文本中重要句子的方式进行训练, 能够生成简洁且准确的摘要。Raffel 等[8]2020 年提出 T5 模型, 将所有自然语言处理任务转换为文本到文本形式的通用模型, 通过对摘要任务的预训练, 生成流畅且语义连贯的摘要。Liu 等[9]2022 年提出 BRIO模型, 该模型是一种新的训练范式, 专注于优化生成式摘要的准确性和连贯性, 通过基于排名的损失函数生成多个候选摘要, 并对其进行排序和微调, 提升摘要的语义准确性。班琪等[10]2025 年提出一种低资源场景下的汉语–传统蒙古语跨语言的摘要方法, 采用多任务框架, 共享两个解码器的交叉注意力, 结合一致性学习, 在低资源场景下对齐目标语义, 通过同时优化交叉熵与一致性损失提升跨语言摘要生成效果。

目前, 英文和汉文文本摘要已取得显著的成果, 并广泛应用于各种自然语言处理任务中。相比之下, 藏文文本摘要仍然处于初级阶段, 研究成果相对较少。安见才让[11]针对 Web 文档的 6 种特征形式, 2010 年提出一种藏文摘要生成方案, 通过计算Web 句子特征词权重和结构权重, 按权重选择句子, 生成具有一定质量的摘要。南奎娘若等[12]2016 年采用权重度量和不同特征的加权方法抽取藏文文本摘要。李维等[13]2020 年通过 TextRank 算法将藏文文本转化为图形式, 利用词向量方法生成句子向量, 通过迭代句子向量间的相似度抽取摘要。吕晶[14]2022 年利用 TextRank 算法, 对藏文新闻文本中的每个句子进行打分, 抽取得分高的句子作为摘要。Huang 等[15]2023 年提出端到端预训练的 CMPT 模型, 该模型通过去噪与对比学习, 显著地提升编码器的理解能力, 从而改善藏文文本摘要的性能。2025 年夏吾吉等[16]在构建藏文短文本摘要数据集TB-SUM 的基础上, 提出融合不同基本单元的 Fu-sion_GloVe_GRU_Atten 模型, 为藏文摘要生成研究提供数据支持。

目前, DiffuSum 模型在藏文文本自动摘要任务中存在因句子表征能力不足、参数规模过大导致上下文建模受限以及训练成本高等问题。本文基于抽取式摘要模型 DiffuSum, 结合藏文文本的特点, 将扩散模型应用在藏文文本自动摘要任务中, 提出一种融合 CINO-LoRA 和 Self-condition 的藏文文本自动摘要模型 TiDiffuSum(Tibetan Integration of CINO-LoRA and Self-condition DiffuSum for Text Summari-zation)。

1 基本模型与技术

1.1 DiffuSum模型

传统的抽取式摘要模型通常依赖序列标注方法, 即为文本中每个句子标注 0 或 1 的标签, 0 表示非摘要, 1 表示摘要[17]。这种方法的局限性在于它将摘要生成简化为二元决策, 忽略了句子之间的复杂关联和全局语义结构, 因此无法灵活地处理文本信息的重要性和多样性。针对这一问题, Zhang 等[6]提出 DiffuSum 模型, 首次将图像处理中的生成模型Diffusion[18]应用到文本摘要中。DiffuSum 模型规避 0/1 序列标注, 采用匹配损失和对比损失优化层, 对句子编码器模块进行联合优化, 随后利用扩散生成模块, 通过对摘要前向加噪和反向去噪, 获取与真实摘要相近的句子表征, 并将生成摘要句子表征与原始文本的每个句子表征进行相似度匹配, 从而选出与文本句子表征最相关的句子作为摘要。该模型的结构如图 1 所示。

DiffuSum 模型由句子编码器模块和扩散生成模块组成。句子编码器模块使用 Transformer Encoder中的 Sentence-BERT[19], 通过句子编码器模块, 将离散的原始文本…)和摘要…,)生成初始文本句子表征,…)和摘要句子表征 初始句子表征 Ed和 Es 通过一个堆叠的 Transformer 层和一个投影层, 获得连续的上下文的句子表征和… 经连接层, 将 Hd和 HS 连接, 得到 Hin, 作为扩散生成模块的输入。为了提升模型对句子相似度的理解和区分能力, 句子编码器模块中增加匹配损失和对比损失优化层。匹配损失能有效地衡量 Hd 与 HS 句子之间的相似性, 使得模型能够更好地学习句子之间的匹配关系, 从而生成更加精确的句子表征。对比损失用于区分正样本与负样本, 使 Hd 与 HS 之间匹配的正样本句子对在空间上更加接近, 不匹配的负样本句子对更遥远。在扩散生成模块, 通过对句子编码器模块获得的 Hin =Hd||HS进行马尔可夫转移, 得到, 在文本不变的情况下, 仅对摘要进行前向加噪和反向去噪, 从文本句子表征中提取与扩散生成模型生成的摘要句子表征匹配值较高的 m个句子表征, 组成最终的摘要。前向加噪是在每一步的摘要表征中逐渐加入高斯噪音, 旨在反向去噪时增强模型对表征的理解。反向去噪是从含高斯噪音的数据中恢复出摘要表征, 旨在特定的噪音条件下生成与真实摘要相近的表征。具体过程: 前向加噪按式(1)对加入高斯噪音, 得到带噪的摘要表征 反向去噪对带噪的摘要表征按式(2)去噪, 得到去噪后的摘要表征。

, (1)

, (2)

其中, t表示扩散步数, || 表示连接文本表征和摘要表征, N 表示服从正态分布,表示当前步,表示前一步, 表示噪音的大小, I 表示单位矩阵, 表示均值, 表示方差。

1.2 藏文句嵌入模型

句嵌入(sentence embedding)[20]是自然语言处理领域的一项重要技术, 它将句子表示为向量, 捕捉句子的语义信息。不同语言的句子结构和语法存在显著差异, 为了提升藏文句嵌入的性能, 学者们研究了针对藏文的句嵌入模型, 目前公开的藏文句嵌入模型有 TiBERT[21], TBERT[22], RoBERTa[23]和CINO[24]。

1 )TiBERT 是中央民族大学发布的预训练模型。该模型采用多层双向 Transformer 架构, 能够通过双向捕捉上下文信息, 生成与上下文相关的句嵌入, 预训练语料规模为 3.56G, 基元为词。

2 )TBERT 是青海师范大学和兰州大学共同发布的预训练模型。该模型采用与 BERT 相似的双向语义解析, 并具备多层自注意力机制, 以便增强对上下文信息的理解能力。预训练语料规模为 6.27G, 基元为词。

图1 DiffuSum 模型的结构[6]

Fig. 1 Structure of Diffusum model[6]

3 )RoBERTa 是青海师范大学发布的预训练模型。该模型具有与 BERT 相同的架构, 但通过更大规模的数据集和更多的训练轮次, 去除 BERT 的一些限制, 增强了对上下文依赖的学习能力。预训练语料规模为 10G, 基元为子词。

4 )CINO 是哈尔滨工业大学与科大讯飞联合实验室发布的多语言预训练模型。该模型基于多语言预训练模型 XLM-R (cross-lingual language model—RoBERTa)进行二次预训练, 能够理解藏语、蒙语和维吾尔语等多种国内少数民族语言, 并支持迁移学习, 适应多种自然语言处理任务。预训练语料规模为 28G。

1.3 LoRA与Self-condition技术

LoRA(low-rank adaptation)是一种参数高效微调技术, 用于解决大型预训练模型在特定任务微调中的挑战[25]。传统的微调方法需要更新整个模型的参数, 而 LoRA 通过引入低秩矩阵 A和 B, 冻结大部分模型的参数, 只微调少量附加参数, 从而显著地降低计算和存储成本。计算方法如下:

(3)

其中, 。

藏文句嵌入模型(TiBERT, TBERT, RoBERTa和 CINO)包含许多矩阵乘法的密集层, 融合 LoRA的低秩矩阵 A 和 B, 可以有效地减少训练的参数量, 并提升句嵌入的表征能力。CINO-LoRA 的结构如图 2 所示。

自调节器(Self-condition)[26]是一种提升序列生成模型性能的技术, 其核心在于递归地将模型在先前时间步生成的隐状态或输出作为当前时间步的额外条件输入, 从而增强模型对上下文和历史信息的建模能力。传统的扩散生成模型的输出依赖随机高斯噪声或初始条件生成输出, 而 Self-condition 机制通过公式实现动态调节。模型在初始步骤 t生成一个初步的输出, 将初步输出视为一个“伪标签”或“条件信号”。在后续步骤 t+1 中, 将自身生成的输出作为额外的条件输入, 使模型输出不仅参考初始输入 z, 还将之前生成的输出作为新的条件输入, 从而增强模型对上下文和历史信息的建模能力。Self-condition 确保模型在每一步生成能够参考之前的输出, 有效地增强模型对上下文信息的理解, 有助于捕捉长距离依赖关系, 从而提升生成质量。

图2 CINO-LoRA 的结构[24–25]

Fig. 2 Structure of CINO-LoRA model[24–25]

2 TiDiffuSum模型

Diffusum 模型首次将扩散模型引入抽取式文本摘要任务中, 实现文本摘要的有效提取。尽管 Dif-fusum 模型在英文文本摘要抽取任务中表现优异, 但句子编码器模块使用针对英文设计的 Sentence-BERT 编码器, 因此跨语言迁移能力较弱, 无法有效适应藏文句子的表征, 在藏文文本摘要抽取任务中表现不佳。Diffusum 模型中的句子编码器模块训练的参数量大, 训练成本高, 导致效率低下。另外, 模型的扩散生成模块使用传统的扩散生成方法, 只用当前潜在变量作为输入重构原始数据, 每个生成步骤仅依赖当前输入, 无法有效地捕捉之前生成内容的语义信息, 导致摘要的连贯性和逻辑性不佳。本文提出一种融合 CINO-LoRA 和 Self-condition 的DiffuSum 藏文文本自动摘要模型 TiDiffuSum, 其结构如图 3 所示。

TiDiffuSum 模型由句子编码器模块以及扩散生成模块组成。句子编码器模块将离散的原始文本和摘要通过 CINO-LoRA 分别按式(4)和(5)获得原始文本句子表征和摘要句子表征。

(4)

(5)

图3 TiDiffuSum 模型的结构

Fig. 3 Structure diagram of TiDiffusum model

其中, 表示与文本有关的参数, 表示与摘要有关的参数, k表示原始文章的序列长度, l 表示原始摘要的序列长度, kl。

经连接层将和连接, 得到, 作为扩散生成模块的输入。为了提升模型对句子相似度的理解和区分能力, 在 TiDiffuSum 模型的句子编码器模块也增加匹配损失和对比损失优化层。在扩散生成模块, 对句子编码器模块获得的=进行马尔可夫转移, 得到=。在文本不变的情况下, 对摘要采用融合 Self-condition 方法进行前向加噪和反向去噪, 使得扩散生成模块在融合Self-condition 技术下逐步生成摘要句子表征, 从文本句子表征中提取与扩散生成模型生成的摘要句子表征匹配值较高的前 m个句子表征组成最终的摘要。前向加噪中融合 Self-condition 增强技术, 能够提升反向去噪过程的推理能力, 更好地帮助模型从含高斯噪音的数据中得到摘要表征。反向去噪中融合 Self-condition, 能够提升模型对摘要上下文的理解能力, 帮助模型更精准地从高斯噪声中获得与真实摘要接近的表征。

针对 DiffuSum 模型在藏文文本摘要任务中的不足, TiDiffuSum 模型首先将适合藏文句子表征的CINO 引入 DiffuSum 模型, 增强藏文文本的表征能力, 并在 CINO 中融合 LoRA 技术, 提升模型的训练速度。其次, 在扩散生成模块中融合自调节器 Self-condition, 使扩散生成模块获取更丰富的语义信息, 进一步提高摘要生成的质量。

3 实验与结果分析

3.1 实验配置与数据

目前公开的藏文文本摘要数据集有中央民族大学发布的 Ti-SUM[27]和 TN-SUM[28], 其数量和格式无法满足本研究的需求, 因此, 本文从藏文新闻网站爬取摘要数据。采用 DiffuSum 模型构建数据集的方法 MatchSum[29], 将数据集 Ti-SUM, TN-SUM以及爬取的数据转换为 TiDiffuSum 模型适配的格式。使用大语言模型 GLM4, 进一步从 3 个数据集中筛选优质数据, 得到数据集 TSUM。将训练集与测试集按 8⁚2 的比例划分。数据集的具体信息如表1 所示。

本文的实验中将 ROUGE[30]分数和 BertScore[31]作为评估标准。ROUGE-1(R-1)指生成摘要与参考摘要之间 1-gram(单个词)的重叠情况, 反映单个词的匹配程度; ROUGE-2(R-2)指生成摘要与参考摘要之间 2-gram(连续两个词)的重叠情况, 反映词组的匹配程度。ROUGE-L(R-L)指生成摘要与参考摘要之间的最长公共子序列(LCS)的长度, 考虑了词组的匹配, 反映生成摘要的流畅性和连贯性。Bert-Score-F(FBERT)指文本摘要任务中生成摘要与参考摘要语义相似度的得分, 通过精确率和召回率的调和平均, 综合评估生成摘要的质量。ROUGE-N(N= 1 表示 R-1, N=2 表示 R-2), ROUGE-L 和 BertScore 的计算方法如下:

表1 TSUM 数据集信息

Table1 Information of TSUM dataset

数据集构建者篇数 Ti-SUM中央民族大学 1000 TN-SUM中央民族大学20000 TSUM本文60000

(6)

(7)

其中, Refsummaries 表示参考摘要集合, Countmatch (n-gram)表示候选摘要与参考摘要共同出现的 n-gram 的数量, Count(n-gram)表示参考摘要中所有 n-gram 的总数量; LCS(X, Y)表示参考摘要 X 与候选摘要 Y 的最长公共子序列长度, |X| 表示参考摘要的词数, |Y| 表示候选摘要的词数, b 表示召回率权重。

(8)

其中, 精确度, 召回率表示生成摘要, y表示参考摘要, xi和yi表示 BERT 的嵌入向量。

DiffuSum 模型的句子编码器模块使用 Trans-former Encoder 中的 Sentence-BERT。由于目前没有公开的藏文 Sentence-BERT 句嵌入模型, 本文选择现有的藏文句嵌入模型 TiBERT, TBERT, RoBERTa和 CINO。TiDiffuSum 模型的参数设置见表 2。

为了验证 LoRA 对句子编码器模块训练参数量的影响, 本文通过实验, 分析 4 种藏文句嵌入模型中有无 LoRA 以及秩 r对模型参数量和性能的影响, 结果如表 3 和 4 所示。

表2 TiDiffuSum 模型参数设置

Table 2 Parameter settings of TiDiffuSum model

参数名参数值参数名参数值 Batch_Size64Epoch 10 Learning rate1×10–5In_channel128 Diff_steps500Seed101

实验结果表明, 当嵌入层分别采用 TiBERT, TBERT, RoBERTa 和 CINO 编码时, 原始参数量分别为 109.09, 105.24, 83.45 和 190.00M, 融合 LoRA技术后, 参数量大幅度减少至 0.74, 0.83, 0.80 和0.86M, 参数压缩率分别为 0.68%, 0.79%, 0.96%和0.45%, 说明 LoRA 技术可以大幅度减少训练参数, 其中 CINO-LoRA 参数压缩率最优(0.45%)。当 r=8时, 模型性能最优。

为了验证 Self-condition 对性能的影响, 本文以TiBERT-LoRA, TBERT-LoRA, RoBERTa-LoRA 以及CINO-LoRA 为句嵌入, 观察有无 Self-condition 和扩散步数 T对模型性能的影响, 实验结果如表 5 和 6所示。

可以看出, 融合 CINO-LoRA 和 Self-condition的 TiDiffuSum 模型在各项评估中性能最优, ROUGE得分分别为 40.27, 19.04 和 37.56, 说明 TiDiffuSum模型可以提升藏文文本摘要的提取性能。TiBERT-LoRA 融合 Self-condition 后, ROUGE 得分分别提升0.70, 0.46 和 1.12; TBERT-LoRA 融合 Self-condition后, ROUGE 得分分别提升了 0.64, 0.70 和 1.47; RoBERTa-LoRA 融合 Self-condition 后, ROUGE得分分别提升 1.27, 0.81 和 0.13; CINO-LoRA 融合 Self- condition 后, ROUGE 得分分别提升 1.11, 0.74 和1.41, 表明扩散生成模块中融合 Self-condition 能够提升藏文文本摘要的质量。BertScore 在所有情况下的得分基本上一致, 只有 CINO-LoRA 融合 Self-condition 的 BertScore 得分比最低得分增长 0.022。在融合 Self-condition 扩散生成模块中, 当扩散步数T取 500 时, 性能最佳。

表3 句嵌入模型中融合 LoRA 前后参数量对比

Table 3 Comparison of parameter counts before and after integrating LoRA in sentence embedding model

嵌入层训练参数/M参数压缩率/% TiBERTTiBERT-LoRA109.09 0.740.68 TBERT TBERT-LoRA105.24 0.830.79 RoBERTa RoBERTa-LoRA 83.45 0.800.96 CINOCINO-LoRA190.00 0.860.45

说明: 粗体数字表示优能最优, 下同。

表4 Lora 中不同秩的实验结果

Table 4 Experimental results of Lora at different ranks

秩R-1R-2R-L r = 440.0618.7536.93 r= 840.2719.0437.56 r = 1639.7118.3937.08

表5 TSUM 测试集上的实验结果

Table 5 Experimental results on the TSUM test set

嵌入层Self-conditionR-1R-2R-LFBERT TiBERT-LoRA×38.4717.6835.240.847 √39.1718.1436.360.851 TBERT-LoRA×39.0518.1535.430.850 √39.6918.8536.900.854 RoBERTa-LoRA×37.2017.2635.080.846 √38.4718.0735.210.848 CINO-LoRA×39.1618.3036.150.852 √40.2719.0437.560.868

说明: √表示使用 Self-condition 机制, ×表示不使用 Self-condition机制。

表6 扩散步数的敏感性分析

Table 6 Sensitivity analysis of diffusion step

扩散步数R-1R-2R-L T = 50040.2719.0437.56 T = 100040.0818.9337.10

本文通过实验, 观测 TiDiffuSum 模型中生成摘要数量 m的不同取值对模型性能的影响, 实验结果如表 7 所示。

可以看出, 生成摘要数量从 3 开始逐渐增大时, 模型的性能也在逐渐提升。当 m=5 时, 模型的性能达到最优, 之后开始下降。因此在 TiDiffuSum 模型中, 取 m=5 性能最优, 本文所有实验中 m均取 5。

表7 不同的生成摘要数量的实验结果

Table 7 Experimental results on different numbers of generated summaries

生成摘要数量R-1R-2R-L 338.6317.8336.05 439.5818.3736.97 540.2719.0437.56 639.9518.9437.20 738.7618.2236.40

为了进一步验证 TiDiffuSum 模型在小数据集上的表现, 本文在小数据集 Ti-SUM 和 TN-SUM 上进行实验, 实验结果如表 8 所示。

可以看出, TiDiffuSum 模型在小数据集上的性能更优。在 Ti-SUM 上 ROUGE 得分分别为 41.57, 27.07 和 39.54, 比大数据集 TSUM 分别提升 1.30, 8.03 和 1.98; 在 TN-SUM 上 ROUGE 得分分别为50.38, 33.94 和 49.33, 比 TSUM 分别提升 10.11, 14.9和 11.77。

为了比较本文模型 TiDiffuSum 与大语言模型在数据集 TSUM 上生成文本摘要的性能, 选择 3 个大语言模型 Baichuan, GLM 和 Qwen 进行实验, 实验结果如表 9 所示。

可以看出, Qwen-14B 生成藏文文本摘要的性能最佳, 其 ROUGE 得分分别为 35.80, 15.50 和 33.00, 本文模型 TiDiffuSum 在藏文文本摘要任务中的表现比性能最佳的大语言模型 Qwen-14B 更优。

3.2 消融实验

本文对融合 CINO-LoRA 和 Self-condition 的 Ti-DiffuSum 模型进行消融实验, 验证 TiDiffuSum模型各个组成部分的有效性。在 TiDiffuSum 模型中使用 TiBERT, TBERT, RoBERTa 和 CINO 等藏文句嵌入层时, CINO 的性能最佳, 因此本文消融实验以CINO 为嵌入层。消融实验结果如表 10 所示。

从表 10 可以看出, 无 LoRA和 Self-condition 情况下, ROUGE 得分分别为39.20, 18.26 和 36.48, 扩散生成模块中融合 Self-condition 后, ROUGE 得分分别提高到 39.23, 18.37 和 36.71, 表明扩散生成模块中融合的 Self-condi-tion 有助于提升模型的整体性能。句子编码器中融合 LoRA 后, ROUGE 得分分别为 39.16, 18.30 和 36.15, ROUGE 得分基本没有变化, 表明融合 LoRA 对模型的性能影响较小, 但 LoRA能够显著地减少嵌入层训练的参数量(表 3)。句子编码器模块中融合 LoRA 且扩散生成模块融合 Self-condition 后, ROUGE 得分分别提高到 40.27, 19.04和 37.56, 表明同时融合 LoRA 和Self-condition 能够提升模型的整体性能, 进一步验证了以 CINO 为嵌入层时, 融合 LoRA 和 Self-condi-tion 的 TiDiffuSum模型在藏文文本摘要任务中的有效性。

表8 在 Ti-SUM 和 TN-SUM 上的实验结果

Table 8 Experimental results on Ti-SUM and TN-SUM

数据集R-1R-2R-L Ti-SUM41.5727.0739.54 TN-SUM50.3833.9449.33

表9 大语言模型上的实验结果

Table 9 Experimental results on large language models

模型R-1R-2R-L Baichuan3-7B31.2012.5029.00 Baichuan3-13B33.0013.8030.50 GLM-434.5014.6031.70 Qwen-14B35.8015.5033.00 TiDiffuSum40.2719.0437.56

表10 TiDiffuSum 消融实验结果

Table 10 Ablation experiment results of TiDiffuSum

序号LoRASelf-conditionR-1R-2R-L 1××39.2018.2636.48 2×√39.2318.3736.71 3√×39.1618.3036.15 4√√40.2719.0437.56

4 结束语

在藏文信息处理中, 缺乏高质量的摘要数据集与高效模型严重制约了该语言文本摘要技术的发展。为进一步提升藏文自动摘要的性能, 本文设计了一种融合 CINO-LoRA 和 Self-condition 的藏文文本摘要模型 TiDiffuSum。首先, 针对 DiffuSum 模型的句子编码器模块表征藏文文本不足和参数量庞大而训练成本高的问题, 将句子编码器替换为CINO, 并融合 LoRA 技术, 来增强藏文表征能力, 减少参数量。其次, 针对扩散生成模块提取文本语义信息不足的问题, 在扩散生成模块中融合 Self-condition, 获取更丰富的语义信息。实验结果验证了本文提出的 TiDiffuSum 模型提升藏文文本自动摘要的有效性。

参考文献

[1] 李金鹏, 张闯, 陈小军, 等. 自动文本摘要研究综述. 计算机研究与发展, 2021, 58(1): 1–21

[2] Salton G, Wong A, Yang C S. A vector space model for automatic indexing. Communications of the ACM, 1975, 18(11): 613–620

[3] Mihalcea R, Tarau P. Textrank: bringing order into text // Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Barcelona, 2004: 404–411

[4] Zhang X, Wei F, Zhou M. HIBERT: document level pretraining of hierarchical bidirectional transformers for document summarization // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, 2019: 5059–5069

[5] He J, Kryscinski W, McCann B, et al. Ctrlsum: towards generic controllable text summarization // Proceedings of the 2022 Conference on Empirical Methods in Natu-ral Language Processing. Abu Dhabi, 2022: 5879–5915

[6] Zhang Haopeng, Liu Xiao, Zhang Jiawei, et al. Diffu-Sum: generation enhanced extractive summarization with DiffUsion // Proceedings of the Findings of the Association for Computational Linguistics. Toronto, 2023: 13089–13100

[7] Zhang J, Zhao Y, Saleh M, et al. Pegasus: pretraining with extracted gap-sentences for abstractive summari-zation by sequence-to-sequence models // Proceedings of the 37th International Conference on Machine Lear-ning. Vienna, 2020: 11328–11339

[8] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 2020, 21: 1–67

[9] Liu Y, Liu P, Radev D, et al. BRIO: bringing order to abstractive summarization // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Dublin, 2022: 2890–2903

[10] 班琪, 云静, 邓磊. 低资源场景下的汉语–传统蒙古语跨语言摘要方法研究. 计算机工程与科学, 2025, 47(5): 931–939

[11] 安见才让. 藏文搜索引擎系统中网页自动摘要的研究. 微处理机, 2010, 31(5): 77–80

[12] 南奎娘若, 安见才让. 基于敏感信息的藏文文本摘要提取的研究. 网络安全技术与应用, 2016, 7(4): 58–59

[13] 李维, 闫晓东, 解晓庆. 基于改进 TextRank 的藏文抽取式摘要生成. 中文信息学报, 2020, 34(9): 36–43

[14] 吕晶. 基于深度学习的藏文抽取式摘要研究[D]. 兰州: 兰州大学, 2022

[15] Huang S, Yan X, Ouyang X, et al. Abstractive sum-marization of Tibetan based on end-to-end pre-trained model // Proceedings of the 22nd Chinese National Conference on Computational Linguistics. Harbin, 2023: 113–123

[16] 夏吾吉, 黄鹤鸣, 樊永红, 等. 不同基本单元信息融合的藏文短文本摘要生成. 计算机工程, 2025, 51 (6): 174–183

[17] Nallapati R, Zhai F, Zhou B. Summarunner: a recurrent neural network based sequence model for extractive summarization of documents. Proceedings of the AAAI Conference on Artificial Intelligence, 2017, 31(1): 3075–3081

[18] Ho J, Jain A, Abbeel P. Denoising diffusion probabili-stic models. Advances in Neural Information Proces-sing Systems, 2020, 33: 6840–6851

[19] Reimers N, Gurevych I. Sentence-BERT: sentence em-beddings using siamese BERT-networks // Proceedings of the 2019 Conference on Empirical Methods in Na-tural Language Processing and the 9th International Joint Conference on Natural Language Processing. Hong Kong, 2019: 3982–3992

[20] Lin Z, Feng M, dos Santos C, et al. A structured sel-fattentive sentence embedding [EB/OL]. (2017–03–09) [2025–09–27]. https://arxiv.org/abs/1703.03130

[21] Liu S, Deng J, Sun Y, et al. TiBERT: Tibetan pre-trained language model // 2022 IEEE International Conference on Systems, Man, and Cybernetics. Pra-gue, 2022: 2956–2961

[22] 青海师范大学省部共建藏语智能信息处理及应用国家重点实验室和兰州大学开源软件与实时系统教育部工程研究中心. 藏文预训练语言模型 TBERT [EB/OL]. (2023–10–08)[2025–09–27]. https://github. com/Dslab-NLP/Tibetan-PLM

[23] Sangjee D. sangjeedondrub/tibetan-roberta-base hug-ging face [EB/OL]. (2024–06–25)[2025–09–27]. https: //huggingface.co/sangjeedondrub/tibetan-roberta-base

[24] Yang Z, Xu Z, Cui Y, et al. CINO: a Chinese minority pre-trained language model // Proceedings of the 29th International Conference on Computational Linguis-tics. Gyeongju, 2022: 3937–3949

[25] Hu E J, Shen Y, Wallis P, et al. LoRA: low-rank adap-tation of large language models. International Confe-rence on Learning Representations, 2022, 1(2): 1–13

[26] Strudel R, Tallec C, Altché F, et al. Self-conditioned embedding diffusion for text generation [EB/OL]. (2022–11–08)[2025–09–27]. https://arxiv.org/abs/2211. 04236

[27] 闫晓东, 王羿钦, 黄硕, 等. 藏文文本摘要数据集. 中国科学数据(中英文网络版), 2022, 7(2): 43–49

[28] 黄硕, 闫晓东, 田金超. TN-SUM: 藏文文本摘要数据集. 中国科学数据(中英文网络版), 2024, 9(4): 66–74

[29] Zhong M, Liu P, Chen Y, et al. Extractive summa-rization as text matching // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Seattle, 2020: 6197–6208

[30] Lin C Y. Rouge: a package for automatic evaluation of summaries // Workshop on Text Summarization Bran-ches Out, Post-Conference Workshop of ACL. Barce-lona, 2004: 74–81

[31] Zhang T, Kishore V, Wu F, et al. BERTscore: evaluating text generation with BERT [EB/OL]. (2019–04–21) [2025–09–27]. https://arxiv.org/abs/1904.09675

Automatic Summarization of Tibetan Texts Using DiffuSum with CINO-LoRA and Self-condition Integration

WANG Rong1,2, CAI Zhijie1,2,†

1. College of Computer Science and Technology, Qinghai Normal University, Xining 810016; 2. The State Key Laboratory of Tibetan Intelligence, Xining 810008; † Corresponding author, E-mail: Czjqhsd@163.com

Abstract To further improve the performance of Tibetan text automatic summarization, the paper proposes a Tibetan text summarization model TiDiffuSum, which integrates CINO-LoRA and Self-condition into the DiffuSum to address issues of insufficient sentence representation, large parameter scale limiting contextual modeling, and high training costs in the Tibetan task. TiDiffuSum model introduces CINO-LoRA mechanism into the sentence encoder to enhance Tibetan semantic representation and significantly reduce the number of training parameters. Additionally, it incorporates Self-condition strategy in the diffusion generation module to strengthen the comprehension and utilization of contextual semantics. Experimental results indicate that TiDiffuSum can effectively reduce the parameter count to 0.45% of the baseline model on the Tibetan summarization dataset (TSUM), and achieves improvements of 1.07, 0.78, and 1.08 in ROUGE-1, ROUGE-2, and ROUGE-L scores, significantly outperforming baseline models.

Key words Tibetan; text automatic summarization; Diffusum model; sentence representation