基于多尺度特征解析的放射学报告生成方法

doi:10.13209/j.0479-8023.2023.076

北京大学学报自然科学版 ›› 2024, Vol. 60 ›› Issue (1): 71-78.DOI: 10.13209/j.0479-8023.2023.076

基于多尺度特征解析的放射学报告生成方法

王瑞, 梁建国, 花嵘^†

山东科技大学计算机科学与工程学院, 青岛 266590

收稿日期:2023-05-18 修回日期:2023-07-31 出版日期:2024-01-20 发布日期:2024-01-20
通讯作者: 花嵘, E-mail: huarong(at)sdust.edu.cn

Radiology Report Generation Method Based on Multi-scale Feature Parsing

WANG Rui, LIANG Jianguo, HUA Rong^†

College of Computer Science and Engineering, Shandong University of Science and Technology, Qingdao 266590

Received:2023-05-18 Revised:2023-07-31 Online:2024-01-20 Published:2024-01-20
Contact: HUA Rong, E-mail: huarong(at)sdust.edu.cn

摘要/Abstract

摘要：

在使用深度学习模型自动生成放射学报告时, 由于数据的极度不平衡, 当前的模型难以识别异常区域特征, 从而导致对疾病的错判与漏判。为了提升模型对疾病的识别能力, 提高放射学报告的质量, 提出使用多尺度特征解析Transformer (MFPT)模型来生成放射学报告。构建一个关键特征强化注意力(KFEA)模块, 以便加强对关键特征的利用; 设计一个多模态特征融合(MFF)模块, 以便促进语义特征与视觉特征的特征融合, 缓解特征差异造成的影响; 探索阶段感知(SA)模块在放射学报告任务中对初级特征的优化作用。最后, 在流行的放射学报告数据集IU X-Ray上, 与当前的主流模型进行对比实验, 结果表明, 所提模型取得当前最佳效果。

关键词: 注意力机制, 特征融合, 放射学报告, Transformer, 图像–文本生成

Abstract:

When using deep learning models to automatically generate radiology reports, due to the extreme imbalance of data, it is difficult for current models to identify abnormal regional features, which leads to misjudgment and missed judgment of the disease. In order to improve the model’s ability to identify diseases and improve the quality of reports, the authors use a multi-scale feature parsing Transformer (MFPT) model to generate radiology reports. Among them, a key feature enhanced attention (KFEA) module is constructed to strengthen the utilization of key features. A multi-modal feature fusion (MFF) module is designed to promote the feature fusion of semantic features and visual features and alleviate the impact caused by feature differences. This paper explores the role of stage-aware (SA) module in optimizing primary features in radiology reporting tasks. Finally, compared with the current mainstream models on the popular radiology report dataset IU X-Ray, the results show that the proposed model has achieved the current best effect.

Key words: attention mechanism, feature fusion, radiology report, Transformer, image-text generation

王瑞, 梁建国, 花嵘. 基于多尺度特征解析的放射学报告生成方法[J]. 北京大学学报自然科学版, 2024, 60(1): 71-78.

WANG Rui, LIANG Jianguo, HUA Rong. Radiology Report Generation Method Based on Multi-scale Feature Parsing[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2024, 60(1): 71-78.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.076

https://xbna.pku.edu.cn/CN/Y2024/V60/I1/71

[1]	李超, 侯霞, 乔秀明. 融合知识的文博领域低资源命名实体识别方法研究[J]. 北京大学学报自然科学版, 2024, 60(1): 13-22.
[2]	张乃洲, 曹薇. 基于交叉注意力多源数据增强的情境感知查询建议方法[J]. 北京大学学报自然科学版, 2024, 60(1): 34-42.
[3]	丁娜, 刘鹏, 邵惠鹏, 王学奎. 双向注意力文本关键词匹配法条推荐[J]. 北京大学学报自然科学版, 2024, 60(1): 79-88.
[4]	周伯瀚, 曹健, 王源. 基于Transformer模型的手写数学公式语法树解码器[J]. 北京大学学报自然科学版, 2023, 59(6): 909-914.
[5]	田原, 庞骁, 赵文祎, 常啸寅, 程楚云, 邹佩, 曹晓澄. 基于Transformer的滑坡短期位移预测模型[J]. 北京大学学报自然科学版, 2023, 59(2): 197-210.
[6]	高晓倩, 周夏冰, 张民. 基于多信息感知的多方对话问答方法[J]. 北京大学学报自然科学版, 2023, 59(1): 21-29.
[7]	张文慧, 汪美玲, 侯志荣. 融合语境语义差异特征的短文本匹配模型[J]. 北京大学学报自然科学版, 2023, 59(1): 30-38.
[8]	马超, 万璋, 张玉洁, 徐金安, 陈钰枫. 引入图像信息的多模态复述生成模型[J]. 北京大学学报自然科学版, 2022, 58(1): 45-53.
[9]	王倩, 李茂西, 吴水秀, 王明文. 基于跨语种预训练语言模型XLM-R的神经机器翻译方法[J]. 北京大学学报自然科学版, 2022, 58(1): 29-36.
[10]	王引苗, 韩志敏. 基于多跳路径的知识库补全[J]. 北京大学学报自然科学版, 2022, 58(1): 7-12.
[11]	苏丰龙, 孙承哲, 景宁. 融合上下文的残差门卷积实体抽取[J]. 北京大学学报自然科学版, 2022, 58(1): 69-76.
[12]	万璋, 张玉洁, 刘明童, 徐金安, 陈钰枫. 融合物体空间关系机制的图像摘要生成方法[J]. 北京大学学报自然科学版, 2021, 57(1): 75-82.
[13]	段建勇, 袁阳, 王昊. 基于Transformer局部信息及语法增强架构的中文拼写纠错方法[J]. 北京大学学报自然科学版, 2021, 57(1): 61-67.
[14]	朱钦佩, 缪庆亮. 开放域对话系统的抗噪回复生成模型[J]. 北京大学学报自然科学版, 2021, 57(1): 38-44.
[15]	曾健荣, 张仰森, 王思远, 黄改娟, 崔佳, 马欢. 基于多特征融合的同名专家消歧方法研究[J]. 北京大学学报自然科学版, 2020, 56(4): 607-613.

基于多尺度特征解析的放射学报告生成方法

Radiology Report Generation Method Based on Multi-scale Feature Parsing

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

留言