作为信息抽取的一个关键部分, 事件抽取任务是识别预定义的事件类型的实例及其论元(参与者和属性), 包括两个子任务: 1) 触发词抽取, 用于探测事件实例及其类型; 2) 论元抽取, 用于探测事件的论元及其角色。触发词抽取又分为两部分: 1) 触发词识别, 用于识别事件的触发词; 2) 事件类型分类, 赋予每个抽取触发词实例一个事件类型。本文工作聚焦在触发词抽取方面。

为了更好地理解ACE评估中的中文事件抽取任务, 下面列出本文所涉及的部分概念。

事件(Event): 在真实世界中已经、可能或将要发生的事情, 一般包括时间、地点和人物等角色, 如出生、地震和车祸等事件。

事件实例(Event Mention): 在文档中描述一个事件的句子或子句。

事件类型(Event Type): 事件的类别, 如Attack (攻击)和Injure (受伤)等。

触发词(Trigger): 用于标识事件的谓词(又称为锚), 是事件的基本要素之一。如“生于”、“出生”就是Be-Born (出生)事件的触发词。事件识别关键就是识别事件的触发词。

触发词实例(Trigger Mention): 触发词在句子中的提及。

论元(Argument): 与相关事件的实体实例, 是构成事件的基本要素之一。

角色(Role): 表述论元和事件的关系, 如出生事件中的角色有人物、出生地点、出生时间等。

E1是一个事件实例, 事件类型是Transport (运送), 包括触发词“逃离”及相应论元“米洛舍维奇”和“贝尔格勒”, 两个论元在该事件实例中担任的角色分别是“Artifact”和“Origin”。本文所有例子全部取自ACE2005中文语料库^[1]。

E1: 米洛舍维奇(Artifact)被迫逃离(Movement: Transport)贝尔格勒(Origin)。

现有的中文触发词抽取大多采用特征工程方法, 通常采用句子级别的特征, 并且假设各个实例相互独立, 无法利用同一文档中各个触发词实例之间的一致性关系。本文基于马尔科夫逻辑网络, 利用触发词或核心词素同指一致性和相关一致性等推理规则, 学习训练语料中候选触发词填充真假事件的概率和触发词实例间的关系, 从而进行中文触发词推理。

1 相关工作

绝大多数的事件抽取研究聚焦在英文。早期的研究侧重在句子级别抽取^[2-4], 后来转向运用更高级别的信息, 比如文档^[5-6]、跨文档^[7]、跨事件^[8]和跨实体^[9]信息。

相比于在英文触发词抽取上的大量研究, 只有少量研究是关于中文触发词抽取的。从研究方法上而言, 中文事件抽取主要从特征选择和触发词扩展两个方面入手。

在特征选择方面, Tan等^[10]提出一种局部特征选择方法, 并运用多层模板来提高中文事件抽取系统的性能; Chen等^[11]根据中文触发词可能位于某个词内的特点, 从词汇、句法、语义和相邻信息等多个角度抽取特征, 用于中文事件抽取; Fu等^[12]提出一个特征加权方法, 用于对各种特征进行权重的重新分配, 并用于触发词的识别和事件分类; Wang^[13]把各种特征(如项频度、句子位置和长度、标题词覆盖率、语义角色标注等)组合起来, 选择信息化最大的句子作为事件的候选; Chen等^[14]把字符信息、语义角色标注信息、触发词概率信息、零指代信息、触发词一致性信息和论元一致性信息等特征用于中文事件抽取。

在触发词扩展方面, Chen等^[15]采用自举方法分别在英文和中文语料上进行事件抽取的联合训练, 尝试从跨语言事件抽取中利用联合训练来提高中文和英文事件抽取性能; Ji^[16]从中英平行语料库入手, 在英文中利用中英翻译来扩展中文触发词; Qin等^[17]则用“同义词词林”来扩展中文事件触发词; Li等^[18-19]根据中文词组的组合语义学原理, 分别从动词构词结构和形态结构两个方面入手, 识别在训练语料中不出现的未知触发词, 并结合篇章级别的一致性进行事件识别。

除特征选择和触发词扩展两种方法外, 部分研究采用推理方法进行触发词抽取。Chklovski等^[20]利用词-句匹配模板抽取具有事件关系的资源, 并将抽取的结果整理成一个称为“VerbOcean”的知识库; Pantel等^[21]通过Espresso算法进行自动模板的构建, 在给定少量关系实例的情况下, 通过机器学习方法进行迭代扩展, 最终得到大量的关系模板。

2 中文触发词推理

基于特征工程的方法假定各个实例之间相互独立, 无法利用实例之间的内在联系。马尔科夫逻辑可以利用实例之间的内在一致性进行触发词推理。

2.1 马尔科夫逻辑网络

马尔科夫逻辑网络(Markov Logic Network, MLN)^[22]是一门基于一阶逻辑和马尔科夫网络的统计关系学习语言。一个一阶知识库可以视为在可能域上的强约束集合: 如果一个域违反即使一条规则, 则该规则概率为0。MLN的基本思想是软化这些约束: 当一个域违反知识库中的一条规则时, 概率会变小但是并非不可能。违反规则的域越少, 这条规则成立的可能性就越大。

一个MLN可以看做构建马尔科夫网络的模板。给定不同的常量集合, 会产生不同的网络。在这样一个网络中, 状态x_i的概率为

$ P(x) = (1/Z)\exp \left( {\sum\nolimits_i {{w_i}{f_i}(x)} } \right), $

其中, Z为归一化因子; 每一条规则下的不同常量组合对应一条子句, w_i为第i条子句的权值, f_i(x)为第i条子句的特征, 如果第i条子句为真, 则f_i=1, 否则f_i=0。

MLN已经成功应用到自然语言处理中, 如信息抽取、指代消解、语义解析、实体解析, 取得不错的效果。

MLN推理主要包括谓词说明和推理公式, 表1为本文定义的谓词。另外, 本文只有一个查询谓词Event(tri₁, label₁, doc₁), 即触发词tri₁在doc₁文档中对应的事件类型为label₁ (0或1)。

本文利用事件类型一致性(规则(1))、触发词同指一致性(规则(2))、核心词素同指一致性(规则(3))、相关事件一致性(规则(4))等触发词推理规则对触发词进行推理。

2.2 事件类型一致性推理

触发词抽取的两个模块在系统级别也存在一致性。本文利用触发词识别和事件类型分类的一致性来恢复真触发词。也就是说, 如果一个触发词实例被事件类型分类模块识别为一个特定类型的事件, 那么它必然被触发词识别模块识别为真触发词。

事件类型一致性推理(规则(1)) 如果一个候选触发词tri₁在文档doc₁中, 且在分类器中分类为某一类事件evType₁的概率很高, 而在触发词识别中被分类为假触发词(未触发事件), 则可以认为该候选触发词tri₁有很高的概率为真触发词(label₁推理为1)。

$ {\rm{EvType}}\left( {{\rm{tr}}{{\rm{i}}_1},{\rm{ }} + {\rm{evTyp}}{{\rm{e}}_1},{\rm{ do}}{{\rm{c}}_1}} \right) \Rightarrow {\rm{Event}}\left( {{\rm{tr}}{{\rm{i}}_1},{\rm{ labe}}{{\rm{l}}_1},{\rm{ do}}{{\rm{c}}_1}} \right), $

(1)

其中, “+”表示针对每个事件类型, MLN都要从训练集中学习出一个独立的权值。

2.3 触发词同指一致性推理

汉语作为话题结构的语言, 在同一文档中, 相同触发词触发的事件大多数情况下相同^[23](同指事件)。现有的中文触发词抽取大多采用特征工程方法。该方法假设各个实例相互独立, 无法利用同一文档中相同触发词实例之间的同指一致性关系。以E2和E3为例。

E2: 美国与北韩3号在吉隆坡结束飞弹会议(EM1)。

E3: 会谈(EM2)的气氛严肃。

E2和E3出现在同一文档中。很明显, E2中的触发词实例“会谈”由于其上下文存在时间、地点和会谈者等角色, 相对较容易被识别为Meet (会见)事件; E3中的相同触发词实例“会谈”却由于缺乏有效的上下文信息而往往难以被识别。在同一文档内提及的触发词实例往往有语义上的一致性: 如果该触发词的其中一个实例触发了一个事件, 那么该文档内其他的实例有很高概率触发同类事件。所以, 可以从富信息的事件实例推断出贫信息的事件实例。

触发词同指一致性推理(规则(2)) 候选触发词tri₁和tri₂相同, 且它们在同一文档doc₁中, 如果tri₁触发了事件, 那么tri₂也触发事件。

$ \begin{array}{l} {\rm{SameTri}}({\rm{tri}}1,{\rm{tri}}2,{\rm{doc}}1)^ \wedge{\rm{Event}}({\rm{tri}}1, + {\rm{label}}1,{\rm{doc}}1)\\ \Rightarrow {\rm{Event}}({\rm{tri}}2, + {\rm{label}}2,{\rm{doc}}1). \end{array} $

(2)

2.4 核心词素同指一致性推理

形态结构相似的触发词也具有话题内一致性。在E4中存在3个事件实例(EM1, EM2, EM3), 3个触发词实例“担任”、“出任”和“升任”虽然不相同, 但是它们具有相同的核心词素“任”以及相同的形态结构。核心词素是在中文动词或者名词中占据主导语义的元素, 例如触发词“新婚”的核心词素为“婚”。这3个触发词都指向相同的事件类型Start-Position (任新职), 它们具有语义上的一致性。在同一文档内提及的具有相同核心词素且触发词形态结构一样的触发词实例往往有语义上的一致性: 如果该触发词的其中一个实例触发了事件, 那么该文档内其他的含有相同核心词素且触发词形态结构一样的实例有很高概率触发事件。

E4: 武绍祖26岁的时候就担任(EM1)全国学联主席, 后来又出任(EM2)国务院副总理王震的秘书, 1985年更是升任(EM3)国防科工委政委。

核心词素同指一致性推理(规则(3)) 两个相同形态结构的候选触发词所对应的核心词素hm₁和hm₂相同, 且它们在同一文档doc₁中, 如果核心词素为hm₁的触发词触发了事件, 那么核心词素为hm₂的触发词也触发事件。

$ \begin{array}{l} {\rm{SameHM}}({\rm{hm}}1,{\rm{hm}}2,{\rm{doc}}1)^ \wedge{\rm{Event}}({\rm{hm}}1, + {\rm{label}}1,{\rm{doc}}1)\\ \Rightarrow {\rm{Event}}({\rm{hm}}2, + {\rm{label}}2,{\rm{doc}}1). \end{array} $

(3)

2.5 相关事件一致性推理

在同一文档中, 相关触发词触发的事件具有一致性。虽然Die和Injure这两个子类同属于Life (生活)大类, Attack子类属于Conflict (冲突)大类, 但这三类事件具有很强的相关性。图1显示当Attack事件发生时, 其他事件发生的概率。可以看出, Attack事件与Injure事件以及Die事件联系非常紧密, 同一文档中, 当Attack事件发生时, Die事件发生的概率是55%, Injure事件发生的概率是43%。例如E5。

E5: 而在警方和安全部队突击(EM1)伊斯坦堡的温拉尼约监狱的时候, 射(EM2)死(EM3)和第3名朝着军警冲去的自焚囚犯。

E5中有3个事件实例, 包括两个Attack事件(EM1, EM2)和一个死亡Die事件(EM3)。Attack, Die和Injure这三类事件往往具有相关性: 当其中一类事件发生时, 往往会发生相关事件。

相关事件一致性推理(规则(4)) 两个触发词所对应的核心词素分别为hm₁和hm₂, 且在同一文档doc₁中, 在doc₁中核心词素为hm₁的候选触发词触发事件的个数与核心词素为hm₁的候选触发词的总数的比值的类型为type₁, 如果核心词素为hm₁的候选触发词触发了事件, 那么核心词素为hm₂的候选触发词也触发事件。

$ \begin{array}{l} {\rm{SameDoc}}({\rm{hm}}1,{\rm{hm}}2, + {\rm{type}}1,{\rm{doc}}1)^ \wedge{\rm{Event}}({\rm{hm}}1, + {\rm{label}}1,{\rm{doc}}1)\\ \Rightarrow {\rm{Event}}({\rm{hm}}2, + {\rm{label}}2,{\rm{doc}}1). \end{array} $

(4)

除Attack, Die和Injure这三类事件有很强的相关性外, Merge-Org (合并)、Start-Org (创立)、End-Org (倒闭)和Declare-Bankruptcy (破产)这4个事件类型也有很强的相关性, 因为它们同属于Business事件大类。另外, 属于同一大类的事件类型间也存在相关性(Movement事件大类除外), 推理规则(4)同样应用于每个事件大类进行推理。

2.6 实现方法

本文首先采用Li等^[18]的触发词抽取系统的结果作为推理依据, 采用以下两种方法实现。

1) 对于事件类型一致性推理, 在触发词识别时, 找出在测试集中分类为0的测试样本, 形成集合S1。然后构造33个二元分类器对集合S1进行分类。如果一个候选触发词在33个二元分类器中全部划分为0, 则该候选触发词为假触发词; 否则选取分类概率最高的类别作为推理时的类别, 形成数据集S2。在S2中, 一个候选触发词在触发词识别时分类的概率为P1, 在33个二元分类器中最高概率为P2, 选择P2大于P1的候选触发词集合作为推理的测试集。推理训练集为基准系统中的事件类别为1~33的触发词。

2) 对于触发词同指一致性、核心词素同指一致性、相关事件一致性推理, 首先提取出候选推理训练测试集。相关事件一致性推理流程如图2所示。

首先, 从基准系统训练集中选取目标事件的触发词对应的核心词素, 形成集合T, 再从训练测试集中选取出符合条件的候选触发词。然后, 对这些候选触发词进行过滤, 规则如下: 候选触发词的核心词素必须包含在T中, 且通过HowNet^①计算候选触发词和对应核心词素的语义相似度, 大于阈值的候选触发词集合最终成为候选推理训练测试集。接着, 在候选推理测试集中设置一个阈值V (该阈值从开发集中学习得到), 概率大于等于V的分类结果认为可信, 小于V的认为不可信。可信部分将作为另外一部分的推理的证据, 不可信部分需要利用推理机制来重新识别, 即作为推理测试集。同时, 还需要建立可信的候选触发词与不可信的候选触发词间的联系。最后, 利用推理训练集和各种证据, 学习一个模型用于推理。触发词同指一致性和核心词素同指一致性两条推理规则的候选推理训练测试集从基准系统的训练测试集中直接抽取即可得到, 随后的过程与相关事件一致性推理过程相同。

① http://www.keenage.com

在相关事件一致性推理的MLN推理规则中有证据谓词SameDoc(hm₁, hm₂, type₁, doc₁), 其中type₁是这样得来的: 在doc₁中核心词素为hm₁的候选触发词触发事件个数与核心词素为hm₁的候选触发词总数的比值为ratio, 根据ratio可以将type₁划分为N类, 当ratio为0时(表示核心词素为hm₁的候选触发词未能触发任何事件), type₁划分为0 类, 然后将(0, 1]的值均分为N - 1类。例如: 选取N为3时, 将(0, 1]中的值均分为2类, 当ratio为0时, type₁划分为0类; 当ratio∈(0, 0.5]时, type₁划分为1类; 当ratio∈(0.5, 1]时, type₁分类为2类。如图3所示, 在开发集中本文选取的N从2到7, 当N为6时F1值提升最多, 所以本文采用的N为6。

3 实验 3.1 实验设置

本实验采用ACE 2005中文语料, 该语料包含633篇中文文档, 包含8个事件大类和33个事件子类。我们选取632篇文档进行实验, 触发词实例总共3332个, 随机选取其中的566篇作为训练集, 剩余的66篇作为测试集, 并且选取训练集中的33篇作为开发集。

本实验采用准确率(Precision)、召回率(Recall)及F1值作为评测标准, 基准系统使用Stanford的最大熵分类器^②, 参数使用默认值; 推理阶段, 使用华盛顿大学MLN工具Alchemy^①; 推理方式使用MC-SAT。MC-SAT是一种使用有效的可满足性解决者来进行下一次采样的切片采样马尔科夫链蒙特卡洛算法。

② http://nlp.stanford.edu/software/classifier.shtml

① http://alchemy.cs.washington.edu

本文的实验以Li等^[18]的自动触发词抽取系统作为基准系统。该基准系统采用Chen等^[11]的特征集, 在触发词识别和事件类型分类时加入以下更加精炼的特征。

1) 句法特征: 候选触发词到句法树根节点的路径。

2) 最近的实体信息: 在候选触发词左边和右边的句法/物理上最近的实体类型和实体。

3) 依存特征: 候选触发词的主语和宾语(当它们为实体时)。

由于存在大量未知的触发词, 在此基础上又提出通过组合语义学和形态结构来扩充触发词。但是这种扩充方法会引入大量的假触发词, 所以采用触发词过滤机制过滤掉尽可能多的假触发词。本实验使用过滤后的系统作为基准系统。

3.2 实验结果及分析

表2为基准系统以及加入推理机制后的触发词抽取结果。与基准系统相比, 本文的推理机制对触发词识别和事件类型分类的F1值分别提高3.65%和2.51%。

由表2可看出, 实验最终提升的总体性能并不是几种推理方法提升性能的简单加和, 这是因为几种推理方法中有相互重叠的部分。比如, 核心词素同指一致性推理和相关事件一致性推理。

经过MLN推理后, 触发词识别和事件类型分类的准确率都下降了, 这是因为在推理的时候引入许多噪声, 将本来不是触发词的推理成触发词。召回率都有不小的提升, 说明在分类器阶段有很多真触发词错分为假触发词, 而推理方法将它们重新恢复成真触发词。

加入事件类型一致性推理后, 触发词识别和事件类型分类的F1值在基准系统上分别提升0.92%和1.09%, 后者比前者提升多的原因是, 在触发词识别中推理出来的真触发词在事件类型分类中都被正确分类。

加入触发词同指一致性推理后, 触发词识别和事件类型分类的F1值都提升不多。这是因为MLN推理规则要求两个触发词相同, 并且必须在同一文档中, 这种约束过于严格, 导致符合条件的推理样本过少。

加入核心词素同指一致性推理后, 触发词识别和事件类型分类的F1值分别在基准系统上提升1.15% 和0.69%。这是因为在触发词同指一致性推理基础上, MLN推理规则放宽了约束, 只要求两个触发词有相同的核心词素且在同一文档中, 使得符合条件的推理样本数增加很多。例如E4中3个触发词实例“担任”、“出任”和“升任”的核心词素相同, 可以由触发词实例“担任”触发了事件推理得到“出任”和“升任”也触发了事件。

提升最多的推理规则是相关事件一致性推理规则, 触发词识别和事件类型分类的F1值分别提升2.12%和0.95%。这是因为同一文档中事件之间具有相关性, 某一类事件的发生通常伴随着另外一类或几类事件的发生。

相关事件一致性推理中包含Attack, Die和Injure类相关事件一致性、Business大类相关事件一致性和非Movement大类相关事件一致性推理。

加入Attack, Die和Injure类相关事件一致性推理后, 在全部类型事件和这三类事件中, 触发词识别性能分别提升0.97%和2.34%, 这是因为这三类事件之间有相关性。例如在同一文档中, 语义为“攻击”的触发词出现时, 语义为“受伤”和“死亡”的触发词出现的概率就很大。而在全部类型事件和这三类事件中, 事件类型分类性能仅分别提升0.23%和0.35%, 这是因为有些触发词语义很丰富。例如触发词“射”可能触发Attack类型事件, 也可能触发Die或Injure类型事件, 造成分类不准确, 从而降低了F1值。

加入Business大类相关事件一致性推理后, 在全部类型事件中, 触发词识别和事件类型分类的F1值分别提升1.15% 和0.89%, 在这一大类事件中分别提升12.08% 和12.36%。在全部类型事件中提升较少, 在这一大类事件中提升很多, 一方面是因为在测试集中Business大类事件的数目较少, 另一方面是因为这一大类下的子类事件之间有相关性。例如在同一文档中, 语义为“设立”的触发词出现时, 语义为“合并”的触发词出现的概率就比较大。

加入非Movement大类相关事件一致性推理后, 在全部事件类型中, 触发词识别和事件类型分类分别提升0.67% 和0.52%, 在非Movement大类事件的所有事件类型下, 分别提升0.45%和0.59%, 提升程度并不明显。这是因为在有些文档中, 事件类型之间的相关性并不明显。例如在同一文档下, 出现Attack类型事件的同时也会出现Start-Org类型事件, 因此降低了事件类型之间的相关性, 从而影响推理效果。

4 总结

本文的主要工作是运用马尔科夫逻辑进行触发词推理, 恢复部分分类阶段未抽取出的触发词实例, 并加入事件类型一致性、触发词同指一致性、核心词素同指一致性和相关事件一致性推理规则。实验结果表明, 系统性能在基准系统的基础上分别提高3.65%和2.51%。

在下一步的研究中, 我们将考虑基于MLN的跨文档触发词抽取, 同时也考虑运用MLN构建一个联合模型, 进行触发词抽取和论元抽取。