基于全局信息的卷积神经网络模型剪枝微调优化方法

doi:10.13209/j.0479-8023.2021.053

北京大学学报自然科学版 ›› 2021, Vol. 57 ›› Issue (4): 790-794.DOI: 10.13209/j.0479-8023.2021.053

基于全局信息的卷积神经网络模型剪枝微调优化方法

孙文宇, 曹健^†, 李普, 刘瑞

北京大学软件与微电子学院, 北京 102600

收稿日期:2020-06-02 修回日期:2020-07-08 出版日期:2021-07-20 发布日期:2021-07-20
通讯作者: 曹健, E-mail: caojian(at)ss.pku.edu.cn
基金资助:
国家自然科学基金(U20A20204)资助

Pruning and Fine-tuning Optimization Method of Convolutional Neural Network Based on Global Information

SUN Wenyu, CAO Jian^†, LI Pu, LIU Rui

School of Software and Microelectronics, Peking University, Beijing 102600

Received:2020-06-02 Revised:2020-07-08 Online:2021-07-20 Published:2021-07-20
Contact: CAO Jian, E-mail: caojian(at)ss.pku.edu.cn

摘要/Abstract

摘要：

为解决因卷积神经网络模型规模大, 模型剪枝方法引起的精度下降问题, 提出一种模型剪枝微调优化方法。该方法引入原卷积神经网络模型权重全局信息至剪枝后模型, 使原模型信息体现在剪枝后模型的权重上, 提升剪枝后模型的精度。在图像分类任务和目标检测任务中的实验结果表明, 所提出的微调优化方法可获得更大的压缩率和更小的模型精度损失。

关键词: 卷积神经网络, 模型剪枝微调, 全局信息, 图像分类, 目标检测

Abstract:

In order to solve the problem that convolutional neural network is large and the accuracy loss of the model pruning method is relatively serious, a fine-tuning optimization method for model pruning is proposed. The global information of the original convolutional neural network model is introduced to the post-prune model to make it store the original model information which improves the accuracy of the model after pruning. Experimental results show that for the image classification tasks and target detection tasks, proposed fine-tuning optimization method can obtain greater compression ratio and smaller model accuracy loss.

Key words: convolutional neural network, model pruning and fine-tuning, global information, image classification, object detection

孙文宇, 曹健, 李普, 刘瑞. 基于全局信息的卷积神经网络模型剪枝微调优化方法[J]. 北京大学学报自然科学版, 2021, 57(4): 790-794.

SUN Wenyu, CAO Jian, LI Pu, LIU Rui. Pruning and Fine-tuning Optimization Method of Convolutional Neural Network Based on Global Information[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(4): 790-794.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2021.053

https://xbna.pku.edu.cn/CN/Y2021/V57/I4/790

[1]	刘相呈, 曹健, 姚宏毅, 徐鹏涛, 张袁, 王源. 基于自适应剪枝率与高效权重继承的神经网络通道剪枝方法[J]. 北京大学学报自然科学版, 2023, 59(5): 764-772.
[2]	周翔宇, 毛善君, 李梅. 基于频域降采样和CNN的轴承故障诊断方法[J]. 北京大学学报自然科学版, 2023, 59(2): 251-260.
[3]	李放, 曹健, 李普, 谢豪, 赵雄波, 王源, 张兴. 基于ARM+FPGA异构平台的目标检测加速模块设计与实现[J]. 北京大学学报自然科学版, 2022, 58(6): 1035-1041.
[4]	谢豪, 曹健, 李普, 赵雄波, 张兴. 基于FPGA的SSD目标检测硬件加速器设计[J]. 北京大学学报自然科学版, 2022, 58(6): 1015-1022.
[5]	徐鹏涛, 曹健, 陈玮乾, 刘晟荣, 王源, 张兴. 基于离群值去除的卷积神经网络模型训练后量化预处理方法[J]. 北京大学学报自然科学版, 2022, 58(5): 808-812.
[6]	徐鹏涛, 曹健, 孙文宇, 李普, 王源, 张兴. 基于可融合残差卷积块的深度神经网络模型层剪枝方法[J]. 北京大学学报自然科学版, 2022, 58(5): 801-807.
[7]	李荆, 刘钰, 邹磊. 基于时空建模的动态图卷积神经网络[J]. 北京大学学报自然科学版, 2021, 57(4): 605-613.
[8]	焦健, 田崇瑞, 黄江辉, 曾琪明. TerraSAR-X数据沿轨干涉运动目标检测研究[J]. 北京大学学报自然科学版, 2020, 56(1): 164-172.
[9]	李兴亚, 陈钰枫, 徐金安, 张玉洁. 融合门控机制的远程监督关系抽取方法[J]. 北京大学学报自然科学版, 2020, 56(1): 39-44.
[10]	方海泉, 蒋云钟, 冶运涛, 曹引. 基于深度学习和多次棋盘分割法的高分辨率影像河流提取[J]. 北京大学学报自然科学版, 2019, 55(4): 692-698.
[11]	闫雷鸣, 严璐绮, 王超智, 贺嘉会, 吴宏煜. 基于句式元学习的Twitter分类[J]. 北京大学学报自然科学版, 2019, 55(1): 98-104.
[12]	张庆林, 杜嘉晨, 徐睿峰. 基于对抗学习的讽刺识别研究[J]. 北京大学学报自然科学版, 2019, 55(1): 29-36.
[13]	许浩亮, 李雁群, 何云琪, 钱龙华. 中文嵌套命名实体关系抽取研究[J]. 北京大学学报自然科学版, 2019, 55(1): 8-14.
[14]	应文豪, 肖欣延, 李素建, 吕雅娟, 穗志方. 一种利用语义相似度改进问答摘要的方法[J]. 北京大学学报自然科学版, 2017, 53(2): 197-203.
[15]	柴宝惠, 李培军, 张瑞洁, 赵鹏. 基于Landsat数据和DMSP/OLS夜间灯光数据的城市扩展提取: 以天津市为例[J]. 北京大学学报（自然科学版）, 2016, 52(3): 475-485.

基于全局信息的卷积神经网络模型剪枝微调优化方法

Pruning and Fine-tuning Optimization Method of Convolutional Neural Network Based on Global Information

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

留言