联合自编码任务的多机制融合复述生成模型

doi:10.13209/j.0479-8023.2019.104

北京大学学报自然科学版 ›› 2020, Vol. 56 ›› Issue (1): 53-60.DOI: 10.13209/j.0479-8023.2019.104

联合自编码任务的多机制融合复述生成模型

刘明童¹, 张玉洁^1,†, 张姝², 孟遥³, 徐金安¹, 陈钰枫¹

1. 北京交通大学计算机与信息技术学院, 北京 100044 2. 富士通研究开发中心, 北京 100027 3. 联想研究院人工智能实验室, 北京 100085

收稿日期:2019-05-23 修回日期:2019-09-20 出版日期:2020-01-20 发布日期:2020-01-20
通讯作者: 张玉洁, E-mail: yjzhang(at)bjtu.edu.cn
基金资助:
国家自然科学基金(61876198, 61976015, 61370130, 61473294)、中央高校基本科研业务费专项资金(2018YJS025)、北京市自然科学基金(4172047)和科学技术部国际科技合作计划(K11F100010)资助

A Multi-Mechanism Fused Paraphrase Generation Model with Joint Auto-Encoding Learning

LIU Mingtong¹, ZHANG Yujie^1,†, ZHANG Shu², MENG Yao³, XU Jin’an¹, CHEN Yufeng¹

1. School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044 2. Fujitsu Research and Development Center, Beijing 100027 3. Lenovo Research, AI Lab, Beijing 100085

Received:2019-05-23 Revised:2019-09-20 Online:2020-01-20 Published:2020-01-20
Contact: ZHANG Yujie, E-mail: yjzhang(at)bjtu.edu.cn

摘要/Abstract

摘要：

基于神经网络编码–解码框架的复述生成模型存在两方面的问题: 1) 生成的复述句中存在实体词不准确、未登录词和词汇重复生成; 2) 复述平行语料的有限规模限制了编码器的语义学习能力。针对第一个问题, 本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型, 利用复制机制从原句复制词语来解决实体词和未登录词生成问题; 利用覆盖机制建模学习注意力机制历史决策信息来规避词汇重复生成。针对第二个问题, 基于多任务学习框架, 提出在复述生成任务中联合自编码任务, 两个任务共享一个编码器, 同时利用平行复述语料和原句子数据, 共同增强复述生成编码器的语义学习能力。在Quora复述数据集上的实验结果表明, 提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题, 并提高了复述句的生成质量。

关键词: 复述生成, 自编码, 多任务学习, 多机制融合, 注意力机制, 复制机制, 覆盖机制

Abstract:

Neural network encoder-decoder framework has become the popular method for paraphrase generation, but there are still two problems. On the one hand, there are such issues as inaccurate entity words, unknown words and word repetition in the generated paraphrase sentences. To solve the first problem, we proposed a multimechanism fused paraphrase generation model to improve the decoder. The copy mechanism was used to copy words form input sentence for improving the generation of entity and unknown words. The coverage mechanism was used to model historical attention information to avoid word repetition. On the other hand, the limited-scale parallel paraphrase corpus limits the learning ability of the encoder. We proposed to jointly learn auto-encoding task, which shares one encoder with paraphrase generation task. The joint auto-encoding task enhances the learning ability of the encoder. Experimental results on Quora paraphrase dataset show that the multi-mechanism fused paraphrase generation model with joint auto-encoding task can effectively improve the performance of paraphrase generation.

Key words: paraphrase generation, auto-encoding, multi-task learning, multi-mechanism fusion, attention mechanism, copy mechanism, coverage mechanism

刘明童, 张玉洁, 张姝, 孟遥, 徐金安, 陈钰枫. 联合自编码任务的多机制融合复述生成模型[J]. 北京大学学报自然科学版, 2020, 56(1): 53-60.

LIU Mingtong, ZHANG Yujie, ZHANG Shu, MENG Yao, XU Jin’an, CHEN Yufeng. A Multi-Mechanism Fused Paraphrase Generation Model with Joint Auto-Encoding Learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2020, 56(1): 53-60.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2019.104

https://xbna.pku.edu.cn/CN/Y2020/V56/I1/53

[1]	李超, 侯霞, 乔秀明. 融合知识的文博领域低资源命名实体识别方法研究[J]. 北京大学学报自然科学版, 2024, 60(1): 13-22.
[2]	王瑞, 梁建国, 花嵘. 基于多尺度特征解析的放射学报告生成方法[J]. 北京大学学报自然科学版, 2024, 60(1): 71-78.
[3]	丁娜, 刘鹏, 邵惠鹏, 王学奎. 双向注意力文本关键词匹配法条推荐[J]. 北京大学学报自然科学版, 2024, 60(1): 79-88.
[4]	田原, 庞骁, 赵文祎, 常啸寅, 程楚云, 邹佩, 曹晓澄. 基于Transformer的滑坡短期位移预测模型[J]. 北京大学学报自然科学版, 2023, 59(2): 197-210.
[5]	高晓倩, 周夏冰, 张民. 基于多信息感知的多方对话问答方法[J]. 北京大学学报自然科学版, 2023, 59(1): 21-29.
[6]	陈源, 丘心颖. 结合自监督学习的多任务文本语义匹配方法[J]. 北京大学学报自然科学版, 2022, 58(1): 83-90.
[7]	苏丰龙, 孙承哲, 景宁. 融合上下文的残差门卷积实体抽取[J]. 北京大学学报自然科学版, 2022, 58(1): 69-76.
[8]	马超, 万璋, 张玉洁, 徐金安, 陈钰枫. 引入图像信息的多模态复述生成模型[J]. 北京大学学报自然科学版, 2022, 58(1): 45-53.
[9]	王引苗, 韩志敏. 基于多跳路径的知识库补全[J]. 北京大学学报自然科学版, 2022, 58(1): 7-12.
[10]	杨二光, 刘明童, 张玉洁, 孟遥, 胡长建, 徐金安, 陈钰枫. 无监督的句法可控复述模型用于对抗样本生成[J]. 北京大学学报自然科学版, 2021, 57(1): 83-90.
[11]	万璋, 张玉洁, 刘明童, 徐金安, 陈钰枫. 融合物体空间关系机制的图像摘要生成方法[J]. 北京大学学报自然科学版, 2021, 57(1): 75-82.
[12]	林子杰, 龙云飞, 杜嘉晨, 徐睿峰. 一种基于多任务学习的多模态情感识别方法[J]. 北京大学学报自然科学版, 2021, 57(1): 7-15.
[13]	吴瑞萦, 孔芳. 融合篇章表征的事件指代消解研究[J]. 北京大学学报自然科学版, 2020, 56(1): 82-88.
[14]	贾云龙, 韩东红, 林海原, 王国仁, 夏利. 面向微博用户的消费意图识别算法[J]. 北京大学学报自然科学版, 2020, 56(1): 68-74.
[15]	田珂珂, 周瑞莹, 董浩业, 印鉴. 基于编码器共享和门控网络的生成式文本摘要方法[J]. 北京大学学报自然科学版, 2020, 56(1): 61-67.

联合自编码任务的多机制融合复述生成模型

A Multi-Mechanism Fused Paraphrase Generation Model with Joint Auto-Encoding Learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

留言