基于Deep Learning的代词指代消解

北京大学学报（自然科学版）

基于Deep Learning的代词指代消解

奚雪峰^1,2,周国栋¹

1. 苏州大学计算机科学与技术学院, 自然语言处理实验室, 苏州 215006; 2. 苏州科技学院计算机科学与工程系, 苏州 215009;

收稿日期:2013-06-24 出版日期:2014-01-20 发布日期:2014-01-20

Pronoun Resolution Based on Deep Learning

XI Xuefeng^1,2, ZHOU Guodong¹

1. Natural Language Processing Laboratory, School of Computer Science and Technology, Soochow University, Suzhou 215006; 2. Department of Computer Science and Engineering, Suzhou University of Science and technology, Suzhou 215009;

Received:2013-06-24 Online:2014-01-20 Published:2014-01-20

摘要/Abstract

摘要： 针对指代消解一直是自然语言处理中的核心问题, 提出一种利用DBN (deep belief nets)模型的Deep Learning 学习机制进行基于语义特征的指代消解方法。DBN模型由多层无监督的RBM (restricted Boltzmann machine)网络和一层有监督的BP (back-propagation)网络组成, RBM网络确保特征向量映射达到最优, 最后一层 BP 网络可以对RBM网络的输出特征向量进行分类, 从而训练指代消解分类器。在 ACE04 英文语料及ACE05中文语料上进行测试, 实验结果表明, 增加RBM训练层数可以提高系统性能。此外, 引入对特征集合的抽象分层因素, 也对系统性能的提升产生积极作用。

关键词: 代词消解, 深度学习, 深层语义特征

Abstract: Because coreference resolution is a fundamental task in natural language process, a coreference resolution system based on Deep Learning model via the deep belief nets (DBN), which is a classifier of a combination of several unsupervised learning networks, named RBM (restricted Boltzmann machine) and a supervised learning network named BP (back-propagation), is proposed to detect and classify the coreference relationships between the anaphor and antecedent. The RBM layers maintain as much information as possible when feature vectors are transferred to next layer. The BP layer is trained to classify the features generated by the last RBM layer. The experiments are conducted on the ACE 2004 English NWIRE corpus and the ACE 2005 Chinese NWIRE corpus. The results show that increasing the number of layers RBM training and joining of abstract layer for feature set are able to improve the performance of coreference resolution system.

Key words: pronoun resolution, Deep Learning, deep semantic feature

中图分类号:

TP391

奚雪峰,周国栋. 基于Deep Learning的代词指代消解[J]. 北京大学学报（自然科学版）.

XI Xuefeng,ZHOU Guodong. Pronoun Resolution Based on Deep Learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

[1]	李玳, 王天牧, 张思, 秦跃, 谢福贵, 刘辛军, 聂振国, 黄红拾. 基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断[J]. 北京大学学报自然科学版, 2024, 60(1): 109-117.
[2]	张丰硕, 李豫, 李向前, 徐金安, 陈钰枫. 一种消减多模态偏见的鲁棒视觉问答方法[J]. 北京大学学报自然科学版, 2024, 60(1): 23-33.
[3]	姚照原, 马磊, 万玮, 宋本钦, 王卫红, 邓继伟, 肖蕾, 冀锐, 魏之皓, 崔要奎. 基于深度学习的遥感样本库一致性评估[J]. 北京大学学报自然科学版, 2023, 59(4): 563-568.
[4]	周翔宇, 毛善君, 李梅. 基于频域降采样和CNN的轴承故障诊断方法[J]. 北京大学学报自然科学版, 2023, 59(2): 251-260.
[5]	李放, 曹健, 李普, 谢豪, 赵雄波, 王源, 张兴. 基于ARM+FPGA异构平台的目标检测加速模块设计与实现[J]. 北京大学学报自然科学版, 2022, 58(6): 1035-1041.
[6]	李天然, 刘明童, 张玉洁, 徐金安, 陈钰枫. 基于深度学习的实体链接研究综述[J]. 北京大学学报自然科学版, 2021, 57(1): 91-98.
[7]	黄德朋, 李正华, 龚晨, 张民. 基于神经耦合模型的异构词法数据转化和融合[J]. 北京大学学报自然科学版, 2020, 56(1): 97-104.
[8]	黄红拾, 王政飞, 许国雄, 李文新, 张思, 张东霞, 敖英芳. 基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法[J]. 北京大学学报自然科学版, 2019, 55(5): 859-864.
[9]	方海泉, 蒋云钟, 冶运涛, 曹引. 基于深度学习和多次棋盘分割法的高分辨率影像河流提取[J]. 北京大学学报自然科学版, 2019, 55(4): 692-698.
[10]	蔡振宇, 盖增喜. 人工智能在拾取地震P波初至中的应用——以汶川地震余震序列为例[J]. 北京大学学报自然科学版, 2019, 55(3): 451-460.
[11]	厉小军, 施寒潇, 陈南南, 柳虹, 邹轶. 基于表示学习的情感分析研究[J]. 北京大学学报自然科学版, 2019, 55(1): 105-112.
[12]	王潜升, 余南, 张梅山, 韩子嘉, 付国宏. N3LDG: 一种轻量级自然语言处理深度学习库[J]. 北京大学学报自然科学版, 2019, 55(1): 113-119.
[13]	吴焕钦, 张红阳, 李静梅, 朱俊国, 杨沐昀, 李生. 基于伪数据的机器翻译质量估计模型的训练[J]. 北京大学学报（自然科学版）, 2018, 54(2): 279-285.
[14]	刘勘,袁蕴英. 基于自动编码器的短文本特征提取及聚类研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 282-288.