融合上下文的残差门卷积实体抽取

doi:10.13209/j.0479-8023.2021.102

北京大学学报自然科学版 ›› 2022, Vol. 58 ›› Issue (1): 69-76.DOI: 10.13209/j.0479-8023.2021.102

融合上下文的残差门卷积实体抽取

苏丰龙†, 孙承哲, 景宁

国防科技大学电子科学学院, 长沙 410073

收稿日期:2021-06-12 修回日期:2021-08-15 出版日期:2022-01-20 发布日期:2022-01-20
通讯作者: 苏丰龙, E-mail: xueshu2021(at)qq.com

A Context-Fusion Method for Entity Extraction Based on Residual Gated Convolution Neural Network

SU Fenglong^†, SUN Chengzhe, JING Ning

School of Electronic Science, National University of Defense Technology, Changsha 410073

Received:2021-06-12 Revised:2021-08-15 Online:2022-01-20 Published:2022-01-20
Contact: SU Fenglong, E-mail: xueshu2021(at)qq.com

摘要/Abstract

摘要：

基于传统卷积框架的实体抽取方法, 由于受到卷积感受野大小的控制, 当前词与上下文的关联程度有限, 对实体词在整个句子中的语义欠考虑, 识别效果不佳。针对这一问题, 提出一种基于残差门卷积的实体识别方法, 利用膨胀卷积和带残差的门控线性单元, 从多个时序维度同步考虑词间的语义关联, 借助门控单元调整流向下一层神经元的信息量, 缓解跨层传播的梯度消失问题, 同时结合注意力机制捕捉词间的相关语义。在公开命名实体识别数据集和专业领域数据集上运行结果表明, 与传统的实体抽取框架相比, 基于残差门卷积命名实体算法的速度和精度都有较强的竞争优势, 体现出算法的优越性和强鲁棒性。

关键词: 实体抽取, 残差门卷积, 梯度消失, 注意力机制

Abstract:

Due to the convolutional receptive field size, the current word has a limited relevance to the context. It brings about a problem, that is, the semantics of the entity words in the whole sentence is under-considered. The Residual Gated Convolution Neural Network (RGCNN) uses dilated convolution and residual gated linear units to simultaneously consider the associations between words from different dimensions, which adjusts the amount of information flowing to the next layer of neurons. And then by this way the vanishing gradient can be alleviated in cross-layer propagation. At the same time, RGCNN combines the attention mechanism to calculate the semantics between words in the last layer. The results on datasets show that RGCNN has a competitive advantage in speed and accuracy, which reflects the superiority and robustness of the algorithm.

Key words: entity extraction, residual gated convolution, vanishing gradient, attention mechanism

苏丰龙, 孙承哲, 景宁. 融合上下文的残差门卷积实体抽取[J]. 北京大学学报自然科学版, 2022, 58(1): 69-76.

SU Fenglong, SUN Chengzhe, JING Ning. A Context-Fusion Method for Entity Extraction Based on Residual Gated Convolution Neural Network[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2022, 58(1): 69-76.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2021.102

https://xbna.pku.edu.cn/CN/Y2022/V58/I1/69

[1]	王瑞, 梁建国, 花嵘. 基于多尺度特征解析的放射学报告生成方法[J]. 北京大学学报自然科学版, 2024, 60(1): 71-78.
[2]	李超, 侯霞, 乔秀明. 融合知识的文博领域低资源命名实体识别方法研究[J]. 北京大学学报自然科学版, 2024, 60(1): 13-22.
[3]	丁娜, 刘鹏, 邵惠鹏, 王学奎. 双向注意力文本关键词匹配法条推荐[J]. 北京大学学报自然科学版, 2024, 60(1): 79-88.
[4]	田原, 庞骁, 赵文祎, 常啸寅, 程楚云, 邹佩, 曹晓澄. 基于Transformer的滑坡短期位移预测模型[J]. 北京大学学报自然科学版, 2023, 59(2): 197-210.
[5]	高晓倩, 周夏冰, 张民. 基于多信息感知的多方对话问答方法[J]. 北京大学学报自然科学版, 2023, 59(1): 21-29.
[6]	马超, 万璋, 张玉洁, 徐金安, 陈钰枫. 引入图像信息的多模态复述生成模型[J]. 北京大学学报自然科学版, 2022, 58(1): 45-53.
[7]	王引苗, 韩志敏. 基于多跳路径的知识库补全[J]. 北京大学学报自然科学版, 2022, 58(1): 7-12.
[8]	万璋, 张玉洁, 刘明童, 徐金安, 陈钰枫. 融合物体空间关系机制的图像摘要生成方法[J]. 北京大学学报自然科学版, 2021, 57(1): 75-82.
[9]	吴瑞萦, 孔芳. 融合篇章表征的事件指代消解研究[J]. 北京大学学报自然科学版, 2020, 56(1): 82-88.
[10]	贾云龙, 韩东红, 林海原, 王国仁, 夏利. 面向微博用户的消费意图识别算法[J]. 北京大学学报自然科学版, 2020, 56(1): 68-74.
[11]	田珂珂, 周瑞莹, 董浩业, 印鉴. 基于编码器共享和门控网络的生成式文本摘要方法[J]. 北京大学学报自然科学版, 2020, 56(1): 61-67.
[12]	刘明童, 张玉洁, 张姝, 孟遥, 徐金安, 陈钰枫. 联合自编码任务的多机制融合复述生成模型[J]. 北京大学学报自然科学版, 2020, 56(1): 53-60.
[13]	刘明童, 张玉洁, 徐金安, 陈钰枫. 基于句法结构的神经网络复述识别模型[J]. 北京大学学报自然科学版, 2020, 56(1): 45-52.
[14]	黄炎, 孙海丽, 徐科, 余晓阳, 王同洋, 张新访, 路松峰. 基于主题约束的篇章级文本生成方法[J]. 北京大学学报自然科学版, 2020, 56(1): 9-15.
[15]	李兰君, 周俊生, 顾颜慧, 曲维光. 基于改进孪生网络结构的相似法律案例检索研究[J]. 北京大学学报自然科学版, 2019, 55(1): 84-90.

融合上下文的残差门卷积实体抽取

A Context-Fusion Method for Entity Extraction Based on Residual Gated Convolution Neural Network

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

留言