基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

doi:10.13209/j.0479-8023.2023.073

北京大学学报自然科学版 ›› 2024, Vol. 60 ›› Issue (1): 62-70.DOI: 10.13209/j.0479-8023.2023.073

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

徐寅鑫¹, 杨宗保¹, 林宇晨¹, 胡金龙^1,2, 董守斌^1,2,†

1. 华南理工大学计算机科学与工程学院, 广州 510641 2. 中山市华南理工大学现代产业技术研究院, 中山 528437

收稿日期:2023-05-10 修回日期:2023-07-31 出版日期:2024-01-20 发布日期:2024-01-20
通讯作者: 董守斌, E-mail: sbdong(at)scut.edu.cn
基金资助:
中山市引进高端科研机构创新专项资金(2019AG031)资助

Interpretable Biomedical Reasoning via Deep Fusion of Knowledge Graph and Pre-trained Language Models

XU Yinxin¹, YANG Zongbao¹, LIN Yuchen¹, HU Jinlong^1,2, DONG Shoubin^1,2,†

1. School of Computer Science and Engineering, South China University of Technology, Guangzhou 510641 2. Zhongshan Institute of Modern Industrial Technology of SCUT, Zhongshan 528437

Received:2023-05-10 Revised:2023-07-31 Online:2024-01-20 Published:2024-01-20
Contact: DONG Shoubin, E-mail: sbdong(at)scut.edu.cn

摘要/Abstract

摘要：

基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时, 因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题, 联合推理模型并未取得较好的效果。基于此, 提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式, 利用大型生物医学知识库构造子图并进行去噪, 改进文本和子图实体的信息交互方式, 增加对应文本和子图节点的直接交互, 使得两个模态的信息能够深度融合。同时, 利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明, 与现有的生物医学领域联合推理模型相比, DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。

关键词: 生物医学, 预训练语言模型, 知识图谱, 联合推理

Abstract:

Joint inference based on pre-trained language model (LM) and knowledge graph (KG) has not achieved better results in the biomedical domain due to its diverse terminology representation, semantic ambiguity and the presence of large amount of noise in the knowledge graph. This paper proposes an interpretable inference method DF-GNN for biomedical field, which unifies the entity representation of text and knowledge graph, denoises the subgraph constructed by a large biomedical knowledge base, and further improves the information interaction mode of text and subgraph entities by increasing the direct interaction between corresponding text and subgraph nodes, so that the information of the two modes can be deeply integrated. At the same time, the path information of the knowledge graph is used to provide interpretability for the model reasoning process. The test results on the public dataset MedQA-USMLE and MedMCQA show that DF-GNN can more reliably leverage structured knowledge for reasoning and provide explanatory properties than existing biomedical domain joint inference models.

Key words: biomedical domain, pre-trained language model, knowledge graph, joint reasoning

徐寅鑫, 杨宗保, 林宇晨, 胡金龙, 董守斌. 基于知识图谱和预训练语言模型深度融合的可解释生物医学推理[J]. 北京大学学报自然科学版, 2024, 60(1): 62-70.

XU Yinxin, YANG Zongbao, LIN Yuchen, HU Jinlong, DONG Shoubin. Interpretable Biomedical Reasoning via Deep Fusion of Knowledge Graph and Pre-trained Language Models[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2024, 60(1): 62-70.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.073

https://xbna.pku.edu.cn/CN/Y2024/V60/I1/62

[1]	李睿凡, 魏志宇, 范元涛, 叶书勤, 张光卫. 增强提示学习的少样本文本分类方法[J]. 北京大学学报自然科学版, 2024, 60(1): 1-12.
[2]	高勇, 孟浩瀚, 叶超. 基于空间约束的地理知识图谱嵌入表示的负样本生成方法[J]. 北京大学学报自然科学版, 2023, 59(3): 434-444.
[3]	蒋彦廷. 依据《中国图书馆分类法》的英文图书分类探索[J]. 北京大学学报自然科学版, 2023, 59(1): 11-20.
[4]	王倩, 李茂西, 吴水秀, 王明文. 基于跨语种预训练语言模型XLM-R的神经机器翻译方法[J]. 北京大学学报自然科学版, 2022, 58(1): 29-36.
[5]	田佳来, 吕学强, 游新冬, 肖刚, 韩君妹. 基于分层序列标注的实体关系联合抽取方法[J]. 北京大学学报自然科学版, 2021, 57(1): 53-60.
[6]	朱钦佩, 缪庆亮. 开放域对话系统的抗噪回复生成模型[J]. 北京大学学报自然科学版, 2021, 57(1): 38-44.
[7]	杨双涛, 符博, 于晨晨, 胡长建. 基于Masked-Pointer的多轮对话重写模型[J]. 北京大学学报自然科学版, 2021, 57(1): 31-37.
[8]	王巍巍, 王志刚, 潘亮铭, 刘阳, 张江涛. 双语影视知识图谱的构建研究[J]. 北京大学学报（自然科学版）, 2016, 52(1): 25-34.
[9]	刘小鹏;魏朋. 跨学科学术交流对科研合作及研究生培养的影响初探 ——以北京大学生物医学跨学科讲座为例[J]. 北京大学学报（自然科学版）, 2015, 51(3): 571-576.
[10]	朱玉贤 . 植物基因工程的现状与展望[J]. 北京大学学报（自然科学版）, 1996, 32(2): 261-270.

基于知识图谱和预训练语言模型深度融合的可解释生物医学推理

Interpretable Biomedical Reasoning via Deep Fusion of Knowledge Graph and Pre-trained Language Models

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics

留言