基于Transformer模型的手写数学公式语法树解码器

doi:10.13209/j.0479-8023.2023.085

北京大学学报自然科学版 ›› 2023, Vol. 59 ›› Issue (6): 909-914.DOI: 10.13209/j.0479-8023.2023.085

基于Transformer模型的手写数学公式语法树解码器

周伯瀚, 曹健^†, 王源

北京大学软件与微电子学院, 北京 102600

收稿日期:2022-11-16 修回日期:2023-01-10 出版日期:2023-11-20 发布日期:2023-11-20
通讯作者: 曹健, E-mail: caojian(at)ss.pku.edu.cn

A Transformer-based Syntax Tree Decoder for Handwritten Mathematical Expression Recognition

ZHOU Bohan, CAO Jian^†, WANG Yuan

School of Software and Microelectronics, Peking University, Beijing 102600

Received:2022-11-16 Revised:2023-01-10 Online:2023-11-20 Published:2023-11-20
Contact: CAO Jian, E-mail: caojian(at)ss.pku.edu.cn

摘要/Abstract

摘要：

目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构, 训练效率低, 训练过程复杂, 基于此问题, 提出一种基于Transformer结构的手写数学公式识别模型, 可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结果表明, 所提出的Transformer树解码方法都取得超越Transformer序列解码方法的性能, 并展现出超越循环神经网络树解码方法的潜力。

关键词: 手写数学公式识别, Transformer, 树解码器, 图表理解

Abstract:

Most of the existing tree-structured decoding methods of handwritten mathematical expression recognition are based on the recurrent neural networks, which have low training efficiency and complicated training process. In order to prove this problem, the authors propose a handwritten mathematical expression recognition model based on Transformer structure, which can decode the syntax tree of expressions directly. Experimental results show that the proposed tree-structured decoding method achieves better performance than the string decoding methods base on Transformer on several datasets of handwritten formula recognition tasks, and show the potential to surpass recurrent neural network tree decoding methods.

Key words: handwritten mathematical expression recognition, Transformer, tree decoder, document comprehension

周伯瀚, 曹健, 王源. 基于Transformer模型的手写数学公式语法树解码器[J]. 北京大学学报自然科学版, 2023, 59(6): 909-914.

ZHOU Bohan, CAO Jian, WANG Yuan. A Transformer-based Syntax Tree Decoder for Handwritten Mathematical Expression Recognition[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2023, 59(6): 909-914.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.085

https://xbna.pku.edu.cn/CN/Y2023/V59/I6/909

[1]	王瑞, 梁建国, 花嵘. 基于多尺度特征解析的放射学报告生成方法[J]. 北京大学学报自然科学版, 2024, 60(1): 71-78.
[2]	张乃洲, 曹薇. 基于交叉注意力多源数据增强的情境感知查询建议方法[J]. 北京大学学报自然科学版, 2024, 60(1): 34-42.
[3]	田原, 庞骁, 赵文祎, 常啸寅, 程楚云, 邹佩, 曹晓澄. 基于Transformer的滑坡短期位移预测模型[J]. 北京大学学报自然科学版, 2023, 59(2): 197-210.
[4]	张文慧, 汪美玲, 侯志荣. 融合语境语义差异特征的短文本匹配模型[J]. 北京大学学报自然科学版, 2023, 59(1): 30-38.
[5]	王倩, 李茂西, 吴水秀, 王明文. 基于跨语种预训练语言模型XLM-R的神经机器翻译方法[J]. 北京大学学报自然科学版, 2022, 58(1): 29-36.
[6]	万璋, 张玉洁, 刘明童, 徐金安, 陈钰枫. 融合物体空间关系机制的图像摘要生成方法[J]. 北京大学学报自然科学版, 2021, 57(1): 75-82.
[7]	段建勇, 袁阳, 王昊. 基于Transformer局部信息及语法增强架构的中文拼写纠错方法[J]. 北京大学学报自然科学版, 2021, 57(1): 61-67.
[8]	朱钦佩, 缪庆亮. 开放域对话系统的抗噪回复生成模型[J]. 北京大学学报自然科学版, 2021, 57(1): 38-44.

基于Transformer模型的手写数学公式语法树解码器

A Transformer-based Syntax Tree Decoder for Handwritten Mathematical Expression Recognition

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 8

编辑推荐

Metrics

留言