摘要:
针对现有主流机器译文自动评价方法在评分时统一对待所有评价单元, 忽略源语言句子的翻译难度差异, 难以充分反映模型处理复杂语义结构或低频词时表现的问题, 提出一种融合翻译难度的机器译文自动评价方法TD_MT。该方法利用大语言模型分析代表性样本, 提取句法和词汇特征(如依存树深度和词频), 构建具备语言学可解释性的基于规则的翻译难度分类框架。依据源语句的预估难度等级, 对评价分数进行动态调整, 实现更精细的评估。在句子级别上, 与参与测评性能最优的机器译文自动评价方法XCOMET-Ensemble相比, 融合翻译难度的机器译文自动评价方法的相关性提高0.004; 在系统级别上, 相关性比XCOMET-Ensemble提高0.060。在WMT’23机器译文自动评价方法测评基准数据集上的实验结果表明, 与经典的机器译文自动评价方法和XCOMET-Ensemble相比, 融合翻译难度的机器译文自动评价方法提高了其与人类评价的相关性。
唐铭, 李茂西. 融合翻译难度的机器译文自动评价[J]. 北京大学学报(自然科学版), 2026, 62(5): 977-985.
TANG Ming, LI Maoxi. Automatic Evaluation of Machine Translation Incorporating Translation Difficulty[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2026, 62(5): 977-985.