增强提示学习的少样本文本分类方法

doi:10.13209/j.0479-8023.2023.071

北京大学学报自然科学版 ›› 2024, Vol. 60 ›› Issue (1): 1-12.DOI: 10.13209/j.0479-8023.2023.071

增强提示学习的少样本文本分类方法

李睿凡^1,2,3,†, 魏志宇¹, 范元涛¹, 叶书勤¹, 张光卫^2,4

1. 北京邮电大学人工智能学院, 北京 100876 2. 教育部信息网络工程研究中心, 北京 100876 3. 交互技术与体验系统文化和旅游部重点实验室, 北京 100876 4. 北京邮电大学计算机学院, 北京 100876

收稿日期:2023-05-18 修回日期:2023-08-30 出版日期:2024-01-20 发布日期:2024-01-20
通讯作者: 李睿凡, E-mail: rfli(at)bupt.edu.cn
基金资助:
国家自然科学基金(62076032)资助

Enhanced Prompt Learning for Few-shot Text Classification Method

LI Ruifan^1,2,3,†, WEI Zhiyu¹, FAN Yuantao¹, YE Shuqin¹, ZHANG Guangwei^2,4

1. School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing 100876 2. Engineering Research Center of Information Networks, Ministry of Education, Beijing 100876 3. Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism, Beijing 100876 4. School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876

Received:2023-05-18 Revised:2023-08-30 Online:2024-01-20 Published:2024-01-20
Contact: LI Ruifan, E-mail: rfli(at)bupt.edu.cn

摘要/Abstract

摘要：

针对少样本文本分类任务, 提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式, 在利用预训练语言模型先验知识的基础上实现隐式数据增强, 并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息, 采用三元组损失联合优化方法, 并引入掩码语言模型任务作为正则项, 提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估, 结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

关键词: 预训练语言模型, 少样本学习, 文本分类, 提示学习, 三元组损失

Abstract:

An enhanced prompt learning method (EPL4FTC) for few-shot text classification task is proposed. This algorithm first converts the text classification task into the form of prompt learning based on natural language inference. Thus, the implicit data enhancement is achieved based on the prior knowledge of pre-training language models and the algorithm is optimized by two losses with different granularities. Moreover, to capture the category information of specific downstream tasks, the triple loss is used for joint optimization. The masked-language model is incorporated as a regularizer to improve the generalization ability. Through the evaluation on four Chinese and three English text classification datasets, the experimental results show that the classification accuracy of the proposed EPL4FTC is significantly better than the other compared baselines.

Key words: pre-trained language model, few-shot learning, text classification, prompt learning, triplet loss

李睿凡, 魏志宇, 范元涛, 叶书勤, 张光卫. 增强提示学习的少样本文本分类方法[J]. 北京大学学报自然科学版, 2024, 60(1): 1-12.

LI Ruifan, WEI Zhiyu, FAN Yuantao, YE Shuqin, ZHANG Guangwei. Enhanced Prompt Learning for Few-shot Text Classification Method[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2024, 60(1): 1-12.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.071

https://xbna.pku.edu.cn/CN/Y2024/V60/I1/1

[1]	徐寅鑫, 杨宗保, 林宇晨, 胡金龙, 董守斌. 基于知识图谱和预训练语言模型深度融合的可解释生物医学推理[J]. 北京大学学报自然科学版, 2024, 60(1): 62-70.
[2]	孔祥夫, 董波, 徐可, 陶永亮. 基于BERT的民生问题文本分类模型——以浙江省政务热线数据为例[J]. 北京大学学报自然科学版, 2023, 59(3): 456-466.
[3]	李子成, 常晓琴, 李雅梦, 李寿山, 周国栋. 基于联合学习的少样本多类别情感分类方法[J]. 北京大学学报自然科学版, 2023, 59(1): 57-64.
[4]	蒋彦廷. 依据《中国图书馆分类法》的英文图书分类探索[J]. 北京大学学报自然科学版, 2023, 59(1): 11-20.
[5]	陈晓娜, 高鹏飞, 梁越, 马应龙. 基于类别混合嵌入的电力文本层次化分类方法[J]. 北京大学学报自然科学版, 2022, 58(1): 77-82.
[6]	王倩, 李茂西, 吴水秀, 王明文. 基于跨语种预训练语言模型XLM-R的神经机器翻译方法[J]. 北京大学学报自然科学版, 2022, 58(1): 29-36.
[7]	朱钦佩, 缪庆亮. 开放域对话系统的抗噪回复生成模型[J]. 北京大学学报自然科学版, 2021, 57(1): 38-44.
[8]	杨双涛, 符博, 于晨晨, 胡长建. 基于Masked-Pointer的多轮对话重写模型[J]. 北京大学学报自然科学版, 2021, 57(1): 31-37.
[9]	李保利. 基于类别层次结构的多层文本分类样本扩展策略[J]. 北京大学学报（自然科学版）, 2015, 51(2): 357-366.
[10]	胡韧奋,诸雨辰. 唐诗题材自动分类研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 262-268.

增强提示学习的少样本文本分类方法

Enhanced Prompt Learning for Few-shot Text Classification Method

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics

留言