一种消减多模态偏见的鲁棒视觉问答方法

doi:10.13209/j.0479-8023.2023.072

北京大学学报自然科学版 ›› 2024, Vol. 60 ›› Issue (1): 23-33.DOI: 10.13209/j.0479-8023.2023.072

一种消减多模态偏见的鲁棒视觉问答方法

张丰硕, 李豫, 李向前^†, 徐金安, 陈钰枫

北京交通大学计算机与信息技术学院, 北京 100044

收稿日期:2023-05-18 修回日期:2023-09-26 出版日期:2024-01-20 发布日期:2024-01-20
通讯作者: 李向前, E-mail: xqli(at)bjtu.edu.cn

Reducing Multi-model Biases for Robust Visual Question Answering

ZHANG Fengshuo, LI Yu, LI Xiangqian^†, XU Jin’an, CHEN Yufeng

School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044

Received:2023-05-18 Revised:2023-09-26 Online:2024-01-20 Published:2024-01-20
Contact: LI Xiangqian, E-mail: xqli(at)bjtu.edu.cn

摘要/Abstract

摘要：

为了增强视觉问答模型的鲁棒性, 提出一种偏见消减方法, 并在此基础上探究语言与视觉信息对偏见的影响。进一步地, 构造两个偏见学习分支来分别捕获语言偏见以及语言和图片共同导致的偏见, 利用偏见消减方法, 得到鲁棒性更强的预测结果。最后, 依据标准视觉问答与偏见分支之间的预测概率差异, 对样本进行动态赋权, 使模型针对不同偏见程度的样本动态地调节学习程度。在VQA-CP v2.0等数据集上的实验结果证明了所提方法的有效性, 缓解了偏见对模型的影响。

关键词: 视觉问答, 数据集偏差, 语言偏见, 深度学习

Abstract:

In order to enhance the robustness of the visual question answering model, a bias reduction method is proposed. Based on this, the influence of language and visual information on bias effect is explored. Furthermore, two bias learning branches are constructed to capture the language bias, and the bias caused by both language and images. Then, more robust prediction results are obtained by using the bias reduction method. Finally, based on the difference in prediction probabilities between standard visual question answering and bias branches, samples are dynamically weighted, allowing the model to adjust learning levels for samples with different levels of bias. Experiments on VQA-CP v2.0 and other data sets demonstrate the effectiveness of the proposed method and alleviate the influence of bias on the model.

Key words: visual question answering, dataset bias, language bias, deep learning

张丰硕, 李豫, 李向前, 徐金安, 陈钰枫. 一种消减多模态偏见的鲁棒视觉问答方法[J]. 北京大学学报自然科学版, 2024, 60(1): 23-33.

ZHANG Fengshuo, LI Yu, LI Xiangqian, XU Jin’an, CHEN Yufeng. Reducing Multi-model Biases for Robust Visual Question Answering[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2024, 60(1): 23-33.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.072

https://xbna.pku.edu.cn/CN/Y2024/V60/I1/23

[1]	李玳, 王天牧, 张思, 秦跃, 谢福贵, 刘辛军, 聂振国, 黄红拾. 基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断[J]. 北京大学学报自然科学版, 2024, 60(1): 109-117.
[2]	姚照原, 马磊, 万玮, 宋本钦, 王卫红, 邓继伟, 肖蕾, 冀锐, 魏之皓, 崔要奎. 基于深度学习的遥感样本库一致性评估[J]. 北京大学学报自然科学版, 2023, 59(4): 563-568.
[3]	周翔宇, 毛善君, 李梅. 基于频域降采样和CNN的轴承故障诊断方法[J]. 北京大学学报自然科学版, 2023, 59(2): 251-260.
[4]	李放, 曹健, 李普, 谢豪, 赵雄波, 王源, 张兴. 基于ARM+FPGA异构平台的目标检测加速模块设计与实现[J]. 北京大学学报自然科学版, 2022, 58(6): 1035-1041.
[5]	李天然, 刘明童, 张玉洁, 徐金安, 陈钰枫. 基于深度学习的实体链接研究综述[J]. 北京大学学报自然科学版, 2021, 57(1): 91-98.
[6]	黄德朋, 李正华, 龚晨, 张民. 基于神经耦合模型的异构词法数据转化和融合[J]. 北京大学学报自然科学版, 2020, 56(1): 97-104.
[7]	黄红拾, 王政飞, 许国雄, 李文新, 张思, 张东霞, 敖英芳. 基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法[J]. 北京大学学报自然科学版, 2019, 55(5): 859-864.
[8]	方海泉, 蒋云钟, 冶运涛, 曹引. 基于深度学习和多次棋盘分割法的高分辨率影像河流提取[J]. 北京大学学报自然科学版, 2019, 55(4): 692-698.
[9]	蔡振宇, 盖增喜. 人工智能在拾取地震P波初至中的应用——以汶川地震余震序列为例[J]. 北京大学学报自然科学版, 2019, 55(3): 451-460.
[10]	厉小军, 施寒潇, 陈南南, 柳虹, 邹轶. 基于表示学习的情感分析研究[J]. 北京大学学报自然科学版, 2019, 55(1): 105-112.
[11]	王潜升, 余南, 张梅山, 韩子嘉, 付国宏. N3LDG: 一种轻量级自然语言处理深度学习库[J]. 北京大学学报自然科学版, 2019, 55(1): 113-119.
[12]	吴焕钦, 张红阳, 李静梅, 朱俊国, 杨沐昀, 李生. 基于伪数据的机器翻译质量估计模型的训练[J]. 北京大学学报（自然科学版）, 2018, 54(2): 279-285.
[13]	刘勘,袁蕴英. 基于自动编码器的短文本特征提取及聚类研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 282-288.
[14]	奚雪峰,周国栋. 基于Deep Learning的代词指代消解[J]. 北京大学学报（自然科学版）, 2014, 50(1): 100-110.

一种消减多模态偏见的鲁棒视觉问答方法

Reducing Multi-model Biases for Robust Visual Question Answering

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 14

编辑推荐

Metrics

留言