机器译文自动评价指使用算法来评价机器翻译系统输出译文的质量，旨在替代费时费力的人工评价，从而加速机器翻译系统的优化与迭代。机器译文自动评价的核心思想是通过量化机器译文与人工参考译文的相似度或语义一致性，生成可比较的指标，为翻译模型的改进提供支持，不仅能显著地提升评价效率，还可为机器翻译的快速发展和应用提供有力的支撑[1-2]。
传统的机器译文自动评价方法(例如 BLEU[3]，METEOR[4]和 TER[5]等)主要依赖词汇匹配和简单句法特征，通过计算机器译文与人工参考译文的 ngram重叠或编辑距离来评价翻译质量[6]。虽然传统的计算方法简单并且通用，但是过于关注词形而忽略词义，所以在捕捉语义相似性和上下文信息时存在明显的局限性，且多级处理环节容易产生误差累积，进一步影响评价精度。为了解决传统方法的缺陷，研究者们引入端到端的建模思想，摒弃人工设计的中间特征与拆分处理流程模式，依托深度神经网络建立原始文本到评价结果的直接映射，同时结合预训练语言模型(如 BERT，RoBERTa和 XLM等)的表征学习能力，构建句子的上下文表示，捕捉源语言句子与机器译文之间更深层次的语义对应关系，从而实现对机器译文质量更全面更细致的评价，显著地提高自动评价结果与人类判断的一致性[7-9]。随着人工智能技术的飞速发展，大语言模型(large language models，LLMs)如 ChatGPT，Llama和 Deep-Seek等在自然语言处理(NLP)领域展现出强大的能力[10-12]。这些模型通过在大量多语言语料数据库上的预训练，具备深厚的推理能力和生成能力。目前，主流的基于 LLMs的机器译文自动评价方法大致分为两类。一类是基于指令微调的方法，这类方法侧重通过少量高质量数据和指令对 LLMs进行微调，提升其翻译能力和一致性，从而间接地改进评价效果[13]。另一类是直接利用 LLMs进行打分，通过精心设计的提示，让 LLMs对机器译文输出进行质量判定或打分[14]，例如 GEMBA (GPT estimation metric based assessment)直接提示 GPT按人类标准给分(0～100)[15]。
传统的机器译文自动评价方法通常对所有评价单元赋予相同的权重，未考虑源语言句子本身的翻译难易程度[16]。例如，在现实考试场景中，试题的难度差异显著，常采用分层赋权的方式: 简单题权重较低，难题权重较高，能够正确回答高难度题目的被评主体更容易获得高分并脱颖而出。机器译文自动评价也可被视为一种“考试”机制，若不考虑翻译任务的内在难度差异，可能会低估系统在复杂语境下的表现力，降低评分结果与人类判断结果之间的一致性。为弥合理想评价结果与实际表现之间的偏差，有研究者在机器译文自动评价中引入“翻译难度”因素，如 Bugliarello等[17]将翻译难度定义为源语言句子在机器或人工翻译过程中体现出的语言复杂度与认知挑战，该难度可能源于语法嵌套、词汇稀有性和语义歧义等语言现象。有研究者开始采用句法结构和词汇特征来度量翻译难度。句法复杂度可通过依存句法树的最大深度来表征(即句子中任一词汇节点到根节点的最长路径)[18]; 词汇难度常通过统计低频词汇的比例进行度量，因其对语言模型和译者均构成较大挑战[19]。
本文提出一种融合翻译难度的机器译文自动评价方法(TD_MT)，根据依存树深度和低频词比例，为翻译难度标注等级，将难度感知方法引入现有主流评价框架，以期提升自动评价结果与人类评价的一致性。
1 相关工作
在基于神经网络的机器译文自动评价方法中，Zhan等[16]提出一种基于翻译难度感知的机器译文自动评价方法，将每个测试样本的翻译难度作为加权因子，动态地调整系统的整体评分。通过分析多个翻译系统在同一句子上的输出一致性，估算该句的翻译难度，并将该难度权重引入 BLEU等传统的自动评价指标中，形成加权评价公式。实验结果表明，该方法能够更准确地反映系统在不同输入复杂度情况下的翻译差异，尤其在系统性能相近时具有更强的区分能力，有效地提升自动评价指标与人类评分之间的一致性。Bugliarello等[17]在翻译难度自动标注任务中，将任务简化为“可译”与“难译”的二分类问题，更有利于提升标注的一致性和后续建模的稳定性。Liu等[19]发现源语言句子句法复杂度(如依存树深度)与译者翻译该句所需时间显著相关，因此将依存树深度纳入特征集合，用于判别句子是否属于难译句。Devlin等[7]使用预训练的深度双向语言表示模型 BERT，利用 BERT生成的上下文嵌入表示来衡量机器译文与人工参考译文之间的语义相似度。Zhang等[20]提出 BERTScore方法，利用预训练语言模型的上下文嵌入表示，计算机器译文与人工参考译文的逐词余弦相似度，它不局限于词形匹配，能够根据上下文捕捉同义改写等语义等价现象。Rei等[21]提出 COMET方法，使用跨语言预训练模型 XLM-R，输入源语言句子、机器译文和人工参考译文，输出质量评分。Wan等[22]提出 UNITE方法，引入单调区域注意力机制，控制输入片段之间的交互，并通过统一的预训练策略来提高机器译文自动评价的效果。Sellam等[23]提出 BLEURT方法，基于 BERT微调，利用人工评价数据来学习评分函数。
随着大语言模型能力的快速提升，它们逐渐成为包括机器翻译在内的多种自然语言处理任务的新标杆。一些研究者将少量平行数据用于指令微调LLMs，使模型更好地遵循翻译指令或偏好特定翻译风格。Song等[13]将大规模翻译对以及跨语言任务数据用于指令微调，从而显著地提升 LLMs翻译质量。Xu等[24]提出 InsructScore方法，将机器译文评价任务以指令微调的方式，引导大语言模型(如ChatGPT)更加准确地完成翻译质量的评价任务。另一些研究者探索让 LLMs在翻译时自我评价和纠错。Song等[13]在微调中引入特殊指令，使模型能更敏锐地区分源语言句子到目标语言句子的方向性，从而避免常见翻译方向错误。还有学者将链式思维(chain-of-thought，CoT)和错误分析引入提示中，以便提升评价的可靠性和解释性[25]。例如，错误分析提示(EAPrompt)方法结合逐步推理和错误标注两步提示，使 LLMs评价过程更接近人工 MQM框架，此类明确分步提示可以显著地提高与人类评价的一致性。
2 融合翻译难度的机器译文自动评价
基于翻译难度感知的机器译文自动评价方法通过引入翻译难度权重，利用多个翻译系统输出的一致性，对样本句子的翻译难度进行估计，一方面能够在系统层面对翻译性能进行更精细的区分，另一方面也为分析系统在不同难度样本上的表现提供新的视角。然而，该方法依赖多系统翻译输出，评价成本较高，且难度估计结果缺乏语言结构层面的解释性，限制了其在资源受限或低资源语言对中的广泛应用。为了有效地缓解上述问题，本文使用LLMs对小部分筛选过的数据集进行分析，构建一套可解释且通用的规则体系，增强评分模型在机器译文评价中的表现。该方法不依赖多系统对比，模型的总体架构如图1所示。
图1 融合翻译难度的机器译文自动评价方法总体架构
Fig.1 Architecture of automatic evaluation method for machine translation incorporating translation difficulty
首先使用大语言模型，从数据集中按照句子长度分层抽样，作为代表性数据，利用大语言模型对现有样本开展分析，针对小样本数据完成提示词(Prompt)设计，大语言模型根据自身的推理能力得出样本翻译难度。然后利用语言特异性工具(Han-LP和 wordfreq等)，对整个数据集自动提取依存深度和词频特征，根据提取特征判定句子的难度并赋予相应的难度标签。最后将大语言模型作为基座模型，在向量数据库中提取机器译文与人工参考译文的表征，计算译文间相似度并进行加权，将难度系数引入机器译文的自动评价中。
图2 展示端到端方法的架构。该方法首先对源语言句子执行依存树深度分析与低频词比例统计，实现翻译难度特征提取; 系统基于规则自动生成难度标签，并为不同难度层级分配不同权重，增强模型在复杂文本下的敏感性; 提取机器译文与人工参考译文的句向量表征，通过余弦距离计算基础相似度分数; 将难度加权相似度分数与跨语言预训练模型的神经网络输出进行融合，从而生成最终质量分数。该结构体现了领域语言特征、语义表征与深度模型联合驱动的评价机制，相较于传统方法具有更高的可解释性与判别能力。
图2 端到端方法总体架构
Fig.2 End-to-end architecture of the proposed method
本文方法从机器译文相似度角度评价机器译文的质量，尽管该策略能有效地捕捉语义层面的对齐信息，但仍然存在一定局限性，而神经网络基座模型在学习非线性特征映射方面具有更强的表达能力。因此，本文将其与基于预训练语言模型的机器译文自动评价方法进行加权融合，进一步增强与人类评价的相关性。
2.1 大语言模型辅助生成规则
为了实现融合翻译难度的自动评价方法，本文引入大语言模型来辅助构建难度判断规则与提示模板，并结合语言特异性工具(HanLP和 wordfreq等)提取句法与词汇特征，制定具有可操作性的翻译难度划分机制。
本文利用 LLMs对若干具有代表性的源语言句子、机器译文和人工参考译文样本进行精细的评估，抽取样本时涵盖简单句、复杂句以及含有专业术语的句子，全面地反映数据集的多样性。为了让LLMs能输出每条样本的难度，针对样本构造统一的 Prompt (图1)，将 Prompt连同样本输入 LLMs中进行分析，收集输出的难度标签，最终每条样本被标注为“Hard”或“Easy”来表示高难度或低难度。
句法结构的复杂度是影响翻译难度的重要因素之一，可用依存树深度和词频来表征句法复杂度。本文使用语言特异性工具来提取源语言句子的依存树深度与低频词比例。依存树深度定义为句子中所有节点到根节点(ROOT)之间的最大依存路径长度，反映句法结构的嵌套层级，层级越深表示结构越复杂。以句子“European countries proposed a system of carbon tax.”为例，若“proposed”是 ROOT，“system”→ “a”→ “of”→ “carbon”→ “tax”构成一条最长路径，那么这条路径长度即为句子的依存树深度，具体计算过程可形式化为
其中，D表示整个句子的依存深度，v表示所有词节点的集合，p(vi)表示节点 vi的父节点。
词频是衡量词汇稀有度的重要指标，本研究采用 wordfreq提供的 Zipf词频分布(范围为 1～7)表示词汇在通用语料中的常见程度。对于每个句子，首先用分词工具将其切分为词语，再计算 Zipf词频低于阈值(3.5)的词频比例，该比例即为低频词比例(LFR); 对于不同的语言对，调用 wordfreq.zipf_fre quency函数获取每个词的 Zipf值，统计<3.5的比例。LFR的定义如下:
每条样本最终对应一个特征三元组(依存树深度、低频词比例和难度标签)，对齐代表性样本后可以发现，当句子依存树深度>5或低频词比例≥0.4时，被 LLMs判定为“Hard”的比例超过 80%。据此制定用于自动分类后续样本的翻译难度规则: 若依存树深度>5或低频词比例≥0.4，则判定为高难度(Hard)，否则判定为低难度(Easy)。该规则在后续自动评分阶段用于大规模样本的难度标注。
尽管 LLMs用于生成样本难度标签，但最终难度分类并非依赖 LLMs的单独判断，而是通过语言学特征实现可解释的自动化判定。具体而言，LLMs输出仅用于小规模样本的难度先验获取，而大规模数据集的难度划分完全由依存深度和低频词比例控制，并通过多轮交叉验证来减少偏差。因此，难度标签并非主观生成，而是符号化和结构化的可复现决策机制。
2.2 难度感知加权相似度评分
在进行具体评价工作前，使用向量数据库 chromadb直接提取句子表征，按照翻译难度规则进行难度分类并附上标签。完成难度分级后，在向量数据库 chromadb中将大语言模型作为基座模型，分别提取机器译文句子表征 Et与人工参考译文的句子表征 Er，采用余弦相似度公式计算两个句子向量之间的语义距离，作为语义相似度得分:
本文借鉴 Zhan等[16]提出的难度感知评价理念，在句子级语义相似度计算中引入句子翻译难度权重，对结构更复杂或包含稀有词汇的高难度句子赋予更高的权重，从而提高整体打分在复杂语义匹配场景下的敏感性与判别能力。根据句子的难度等级，设定不同的评分权重，将所有句子的加权相似度统一归并，计算最终的得分:
其中，wi为难度权重，高难度设置为 1.4，低难度设置为 1.0。
根据难度等级调整评价指标的权重，使评分对难易程度变化更加敏感且合理。对于高难度句子，提升相似度评分在整体分数中的权重; 对于低难度句子，更加严格地利用相似度指标进行评分，突出措辞和细节表达的一致性。这样的加权评价机制可以确保最终评分既反映机器译文的质量，又考虑源语言句子难易。若模型在简单句上出错，则会放大扣分; 在复杂句上，即使未做到逐字匹配，但大意准确，也能获得相对宽松的评价。
2.3 融合预训练语言模型
将训练数据输入跨语言预训练模型 XLM-R中，提取源语言句子、机器译文与人工参考译文的词级深度表征，经过特征交互得到特征向量，并输入前馈神经网络模型中，预测机器译文的质量评分yscore 。根据以下损失函数训练模型参数:
其中，y是机器译文的人类评分，M为训练集中包含的样本数量。
最后，将神经网络模型的评分与余弦相似度评分进行加权融合，得到最终的评分:
其中，λ 为超参数。
3 实验
3.1 实验设置
为了验证融合翻译难度的机器译文自动评价方法的有效性，将该方法在 WMT’23机器译文自动评价评测 Newstest2023基准数据集的中-英(zh-en)、德-英(de-en)和英-中(en-zh) 3个方向进行实验。
训练模型参数时，在德-英方向，使用WMT’15-17[26-28]德-英语言对的句子级别任务数据集; 在中-英和英-中方向，使用 WMT’17-19[28-30]中-英和英-中语言对的句子级别任务数据集。表1给出测试集和训练集中各语言对的翻译系统数和单个系统所含句对数的统计数据。
表1 德-英、英-中和中-英任务测试集和训练集数据
Table 1 Statistics of de-en，en-zh and zh-en task test dataset
语言对 测试集 训练集句对数量系统数量 句对数量 句对数量总和de-en 13 549 7137 2837 zh-en 16 1976 31616 2854 en-zh 15 2074 31110 1878
说明: 句对数量总和指所有系统中全部句对(源句-译文)的总数。
在参数设置上，融合翻译难度的机器译文自动评价方法中，大语言模型选择 gpt-3.5-turbo，温度设置为 0.2。处理中文文本数据时，使用 HanLP计算中文句子的依存深度，使用 jieba进行分词，使用wordfreq统计词频。处理英文和德文文本数据时，使用 spaCy分析英文和德文句子的依存数深度，使用 wordfreq统计词频。在基于预训练语言的机器译文自动评价方法中，采用跨语言预训练模型“xlmroberta-large”，提取的向量维度均为 1024，前馈神经网络的层数为 4，使用 AdamW优化器来最小化均方差损失，训练批次设为 16，初始学习率为 1×10-5，λ 设置为 0.2，利用式(6)，线性地融合两个模块的信息，得到最终的质量分数。
本研究采用的基线对比方法包括在 WMT’23机器译文自动评价任务中取得优异性能的方法(BERTscore，BLEURT和 COMET)、经典的机器译文自动方法(BLEU，chrF[31]和 YiSi-1[32])、基于大语言模型的机器译文自动评价方法 GEMBA以及参加测评性能最优机器译文自动评价方法 XCOMET-Ensemble[33]。
人工评分部分采用 WMT’23官方提供的 Direct Assessment (DA)标注结果。该标注集由 WMT评测委员会组织完成，所有句子均由多名人工注释者独立赋分，注释者包括母语专家与具备语言学背景的评审人员，每个评分样本在最终发布前通过 Z-score标准化流程校准注释者偏差，并采用均值聚合策略消除主观波动。WMT评测为年度国际竞赛任务，其人工评价体系具有高可信度与高一致性，已被大量研究验证并作为机器译文质量评估基准。
在性能测试时，遵循 WMT机器译文自动评价测评的官方做法，分别使用句子级成对排序精度与皮尔森相关系数，评价不同机器译文自动评价方法在句子级别和系统级别上与人类评价的相关性，句子级成对排序精度或皮尔森相关系数越大，表明机器译文自动评价方法的效果越好。
3.2 主体实验结果
表2 展示在 WMT’23机器译文自动评价测评的测试集上，本文提出的融合翻译难度的机器译文自动评价方法 TD_MT与各个基线方法在德-英、中-英和英-中上句子级别和系统级别相关性。
表2 在 WMT’23 德英、中英和英中任务上机器译文自动评价与人类评价的相关性
Table 2 Correlation between automatic evaluation of machine translation and human evaluation on WMT’23 de-en，en-zh and zh-en tasks
评价方法 句子级别相关性 系统级别相关性德-英 中-英 英-中 平均值 德-英 中-英 英-中 平均值BLEU 0.534 0.472 0.141 0.382 0.897 0.734 0.804 0.812 chrF 0.550 0.485 0.550 0.528 0.860 0.809 0.934 0.868 YiSi-1 0.572 0.504 0.566 0.547 0.970 0.823 0.977 0.923 BERTScore 0.576 0.499 0.563 0.546 0.969 0.810 0.975 0.918 BLEURT-20 0.578 0.518 0.571 0.556 0.965 0.880 0.988 0.944 COMET 0.584 0.514 0.589 0.562 0.953 0.898 0.995 0.949 MetricX-23 0.584 0.531 0.588 0.568 0.842 0.927 0.944 0.904 XCOMET-Ensemble 0.573 0.543 0.596 0.571 0.842 0.927 0.944 0.904 GEMBA 0.441 0.466 0.449 0.452 0.928 0.954 0.992 0.958 TD_MT (本文方法) 0.589 0.535 0.601 0.575 0.971 0.930 0.990 0.964
说明: 粗体数字表示最佳结果，下同。
在句子级别上，融合翻译难度的机器译文自动评价方法与人类评价的相关性在各个翻译方向的平均值高于所有基线系统，比参与测评的最优系统XCOMET-Ensemble提高 0.004，比 BERTScore提高0.029，比 COMET提高 0.013，比基于语言学知识的经典方法 BLEU提高 0.193 (在德-英、中-英和英-中方向分别提升 0.055，0.063和 0.460)，比基于大语言模型方法 GEMBA提高 0.123。
在系统级别上，融合翻译难度的机器译文自动评价方法与人类评价的相关性在 3个翻译方向上的平均值高于所有基线系统，比 XCOMET-En-semble高 0.060，比 BERTScore高 0.046，比 BLEU-RT-20高 0.020，比 COMET高 0.015，比 BLEU高0.152 (在德-英、中-英和英-中方向分别提升 0.074，0.196和0.186)，比 GEMBA高 0.006。
上述实验结果表明，融合翻译难度的机器译文自动评价方法能够显著地提高其与人类评价句子级别的相关性和系统级别的相关性。但是，融合翻译难度的机器译文自动方法在某些翻译方向的性能不及部分基线系统，可能是由于在这些语言对上，机器译文自动评价评测的难度较大，导致模型在学习过程中未能充分理解特征的高阶组合。
表3 展示在 WMT’19机器译文自动评价测评的测试集上，本文提出的融合翻译难度的机器译文自动评价方法与基于翻译难度感知的机器译文自动评价方法在 3个指标上的相关性。|r|，|τ|和|ρ|用于衡量BERTScore与人工评分之间的一致性，可以应用于系统级别或句子级别的评价。结果表明，融合翻译难度的机器译文自动评价方法的 3个指标上均不同幅度地提升，能够显著地提高其与人类评价系统级别的相关性。
表3 在 WMT’19 系统级人类判断的绝对相关性
Table 3 Absolute correlation with system-level human judgments on WMT’19
评价方法 | r | | τ | | ρ |DA-BERTScore 0.693 0.548 0.632 TD_MT (本文方法) 0.891 0.664 0.682
3.3 消融实验
为了研究不同难度权重对句子级别相关性和系统级别相关性的影响，使用不同的超参数进行实验。将低难度样本对应的难度权重 wi固定为 1，对比高难度样本下 wi取不同值时模型的性能。从表4可以看出，随着难度权重 wi不断增大，句子级别的相关性和系统级别的相关性越来越高，在 wi=1.4～1.5时达到最大，之后开始下降。这表明在一定范围内增加高难度的权重，可以增强评分系统的区分能力和语义敏感性。当权重超过某个阈值时，评分系统可能削弱对整体样本分布的稳定刻画能力，受主观性和大噪声数据影响，导致过拟合现象增加，进而影响模型的性能。因此，权重依据实证优化过程确定，而非人工设定。同时，由于权重调节并不依赖特定语言方向或特定评价指标，该机制可灵活地适配不同的任务场景，不构成参数固定性约束。
表4 难度权重取不同值时系统的性能
Table 4 Performance of different difficulty weights
难度权重 句子级别相关性 系统级别相关性德-英 中-英 英-中 平均值 德-英 中-英 英-中 平均值1.1 0.568 0.473 0.569 0.537 0.931 0.826 0.938 0.898 1.2 0.570 0.475 0.572 0.539 0.932 0.828 0.943 0.901 1.3 0.573 0.479 0.574 0.542 0.935 0.829 0.948 0.904 1.4 0.576 0.483 0.579 0.546 0.948 0.831 0.952 0.910 1.5 0.575 0.481 0.580 0.545 0.940 0.832 0.949 0.907 1.6 0.574 0.478 0.578 0.543 0.937 0.830 0.945 0.904
为了确定融合翻译难度模型的超参数 λ，将 λ 分别设置为 0，0.2，0.4，0.6，0.8和 1.0。λ 增大表示翻译难度模型译文间相似度得分在融合中的占比增加。λ=0表示未融合翻译难度模型，λ=1.0表示仅使用翻译难度的译文间相似度评分。实验结果如表5所示，可以看出，当 λ=0.2时，TD_MT方法的性能达到最佳。因此，基于预训练语言的神经网络模型在质量评分中起主要作用，融合翻译难度模型提取译文间相似度后，模型在前馈过程中缺乏样本难度感知的问题得到有效的缓解，从而进一步提升机器译文自动评价模型的评分质量。
表5 超参数取不同值时系统的性能
Table 5 Performance at different hyperparameters
λ 句子级别相关性 系统级别相关性德-英 中-英 英-中 平均值 德-英 中-英 英-中 平均值0 0.580 0.509 0.589 0.559 0.957 0.915 0.978 0.950 0.2 0.589 0.535 0.601 0.575 0.971 0.930 0.990 0.964 0.4 0.586 0.522 0.596 0.568 0.965 0.905 0.980 0.950 0.6 0.583 0.509 0.590 0.561 0.960 0.881 0.971 0.937 0.8 0.579 0.496 0.585 0.553 0.954 0.856 0.971 0.924 1.0 0.576 0.483 0.579 0.546 0.948 0.831 0.952 0.910
4 结论与展望
针对现有主流机器译文自动评价方法在评分时统一对待所有评价单元，忽略源语言句子的翻译难度差异，难以充分反映模型在处理复杂语义结构或低频词时表现的问题，提出一种融合翻译难度的机器译文自动评价方法 TD_MT。该方法在评价过程中充分考虑模型对翻译难度的抽象理解能力与结构化规则提取机制，兼顾抽象的高阶语义差异。在WMT’23机器译文自动评价方法测评基准数据集上的实验结果表明，相较于基线系统，本文方法能够有效地提高机器译文自动评价方法与人类评价在句子级别上的相关性和系统级别上的相关性。
虽然本方法在 WMT’23测试集上取得显著的优势，但实验数据的规模与语域范围相对有限，主要集中在新闻领域文本。这可能导致模型在其他文本类型(如口语、社科文献、说明文和科技文献)上的表现未必保持一致。由于翻译难度特征与语域、主题和语言风格可能存在耦合关系，未来将引入跨领域与跨时间的数据(如 WMT历史数据、多语料库和技术类语料)进行补充验证，进一步提升模型的泛化能力。在未来的工作中，我们将探索翻译难度的其他判断方法，进一步挖掘机器译文与人工参考译文的语义差异，提高机器译文自动评价的效果。
[1]翟煜锦，李培芸，项青宇，等.基于QE 的机器翻译重排序方法研究.江西师范大学学报(自然科学版)，2020，44(1): 46-50
[2]赵阳，周龙，王迁，等.民汉稀缺资源神经机器翻译技术研究.江西师范大学学报(自然科学版)，2019，43(6): 630-637
[3]Papineni K，Roukos S，Ward T，et al.BLEU: a method for automatic evaluation of machine translation // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.Philadelphia，2002:311-318
[4]Banerjee S，Lavie A.METEOR: an automatic metric for MT evaluation with improved correlation with human judgments // Proceedings of the ACL.Ann Arbor，2005: 65-72
[5]Snover M，Dorr B，Schwartz R，et al.A study of translation edit rate with targeted human annotation //Proceedings of the AMTA.Cambridge，2006: 223-231
[6]Doddington G.Automatic evaluation of machine translation quality using n-gram cooccurrence statistics //Proceedings of the HLT.San Diego，2002: 138-145
[7]Devlin J，Chang M W，Lee K，et al.BERT: pre-training of deep bidirectional transformersfor language understanding // Proceedings of the NAACL.Minneapolis，2019: 4171-4186
[8]Liu Y，Ott M，Goyal N，et al.RoBERTa: a robustly optimized BERT pretraining approach [EB/OL].(2019-07-26)[2025-08-07].https://arxiv.org/abs/1919.11692
[9]Lample G，Conneau A，Ranzato M，et al.Cross-lingual language model pretraining // Proceedings of NeurIPS.Vancouver，2019: 7059-7070
[10]OpenAI.GPT-4 technical report [EB/OL].(2023-03-15)[2025-08-07].https://arxiv.org/abs/2303.08774
[11]Touvron H，Lavril T，Izacard G，et al.LLaMA: open and efficient foundation language models [EB/OL].(2023-02-27)[2025-08-07].https://arxiv.org/abs/2302.13971
[12]DeepSeek Team.DeepSeek-LLM: scaling open-source language models with dense and mixture-of-experts models [EB/OL].(2023-12-21)[2025-08-07].https://arxiv.org/abs/2312.14043
[13]Song Y，Ding L，Zan C，et al.Self-evolution knowledge distillation for LLM-based machine translation // Proceedings of the CCL.Abu Dhabi，2025: 10298-10308
[14]Kocmi T，Federmann C.Large language models are state-of-the-art evaluators of translation quality // Proceedings of EAMT.Tampere，2023: 193-203
[15]Liu Q，Wang Y，Lin Z，et al.GEMBA: a generalevaluation metric based on GPT-4 for machine translation[EB/OL].(2023-05-22)[2025-08-07].https://arxiv.org/abs/2305.13283
[16]Zhan R，Liu X，Wong D F，et al.Difficulty-aware machine translation evaluation // Proceedings of the ACL and IJCNLP.Online，2021: 26-32
[17]Bugliarello E，Mielke S J，Anastasopoulos A，et al.It’s easier to translate out of English than into it: measuring neural translation difficulty by cross-mutual information // Proceedings of the ACL.Online，2020: 1640-1649
[18]Mishra A，Bhattacharyya P，Carl M，et al.Automatically predicting sentence translation difficulty // Proceedings of the ACL.Sofia，2013: 123-128
[19]Ding L，Wang L，Liu X，et al.Understanding and improving lexical choice in nonauto-regressive translation // Proceedings of the ICLR.Online，2021: 1-15
[20]Zhang T，Kishore V，Wu F，et al.BERTScore: evaluating text generation with BERT // Proceedings of ICLR，Online Meeting，2020: 1-43
[21]Rei R，Stewart C，Farinha A，et al.COMET: a neural framework for MT evaluation // Proceedings of the EMNLP.Online Meeting，2020: 2685-2702
[22]Wan Y，Liu D，Yang B，et al.UniTE: unified translation evaluation // Proceedings of the ACL.Dublin，2022:8117-8127
[23]Sellam T，Das D，Parikh A，et al.BLEURT: learning robust metrics for text generation // Proceedings of the ACL.2020: 7881-7892
[24]Xu W，Wang D，Pan L，et al.InstructScore: towards explainable text generation evaluation with automatic feedback // Proceedings of the EMNLP.Singapore，2023: 5967-5994
[25]Lu Q，Qiu B，Ding L，et al.Error analysis prompting enables human-like translation evaluation in large language models // Proceedings of the ACL.Bangkok，2024: 8801-8816
[26]Bojar O，Chatterjee R，Federmann C，et al.Findings of the 2015 workshop on statistical machine translation //Proceedings of the WMT.Lisbon，2015: 256-273
[27]Bojar O，Chatterjee R，Federmann C，et al.Findings of the 2016 conference on machine translation // Proceedings of the WMT.Berlin，2016: 131-198
[28]Bojar O，Chatterjee R，Federmann C，et al.Findings of the 2017 conference on machine translation // Proceedings of the WMT.Copenhagen，2017: 169-214
[29]Bojar O，Chatterjee R，Federmann C，et al.Findings of the 2018 conference on machine translation // Proceedings of the WMT.Brussels，2018: 272-303
[30]Barrault L，Bojar O，Costa-Jussà M，et al.Findings of the 2019 conference on machine translation // Proceedings of the WMT.Florence，2019: 1-61
[31]Popovic M.chrF: character n-gram F-score for automatic MT evaluation // Proceedings of the WMT.Lisbon，2015: 392-395
[32]Lo C.YiSi: a unified semantic MT quality evaluation and estimation metric for languages with different levels of available resources // Proceedings of the WMT.Florence，2019: 507-513
[33]Guerreiro N M，Rei R，Van S D，et al.xCOMETEnsemble: transparent machine translation evaluation through fine-grained error detection // Proceedings of the ACL.Bangkok，2024: 16216-16244