摘要:
医疗文本具有实体密度高、句式冗长等特点, 简单的神经网络方法不能很好地捕获其语义特征, 因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量, 并提取实体标记特征; 然后通过双向长短期记忆网络获取医疗文本的上下文特征, 同时使用卷积神经网络获取文本的局部特征; 再使用注意力机制对序列特征进行加权, 获取文本全局语义特征; 最后将实体标记特征与全局语义特征融合, 并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明, 新提出的混合神经网络模型的性能比主流模型均有提升, 说明这种多特征融合的方式可以提升实体关系抽取的效果。
赵丹丹, 张俊朋, 孟佳娜, 张志浩, 苏文. 基于预训练模型和混合神经网络的医疗实体关系抽取[J]. 北京大学学报自然科学版, 2023, 59(1): 65-75.
ZHAO Dandan, ZHANG Junpeng, MENG Jiana, ZHANG Zhihao, SU Wen. Medical Entity Relation Extraction Based on Pre-trained Model and Hybrid Neural Network[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2023, 59(1): 65-75.