基于结构化双向编码的数学知识图谱表示学习模型

金郎俊卿 1,† 尚亚蓉 2 池铠淇 1 于超 1

1. 深港产学研基地(北京大学香港科技大学深圳研修院), 深圳 518063; 2. 宝安第一外国语学校(集团)初中部,深圳 518102; † E-mail:jinljq@ier.org.cn

摘要 现有知识图谱表示学习方法大多仅将知识简单地表征为实体和关系, 忽略复杂关系学习和多关联知识链, 导致无法准确地搭建学科知识体系, 并影响学习路径的生成。针对这一问题, 提出一种基于 BERT 的结构化双向编码的数学知识图谱表示学习模型(SBE), 通过图数据增强, 将实体和关系表征为初始化向量序列,结合结构化双向编码和解码, 精准地表示知识在上下文的位置信息和复杂关系链, 并提出基于反事实链路生成的推理策略。实验结果表明, 模型可提升链路预测和知识推荐的准确度。以中学数学知识为案例的分析结果表明, SBE 模型可以根据学生需求生成对应的学习路径, 并能够提升数学知识学习路径的精度、完备性和可解释性。

关键词 数学知识图谱表示学习; 结构化双向编码; 反事实链路; 学习路径

人工智能技术正在引领教学模式的深远变革,通过数据和知识驱动个性化推荐、学习路径生成和知识推理等, 可以显著地提升教学效率与学习质量[1–2]。在学科教育中, 为了结构化和系统化地学习知识, 学科知识图谱成为人工智能赋能教育不可或缺的工具, 如初中物理知识图谱、高中数学知识图谱和计算机学科知识图谱等[3–5]。根据课本教材和学科专家建议, 学科知识图谱构建事实性和概念性等知识体系, 梳理层级关系, 为学生掌握知识点、自主学习和辅导问答以及提高教师授课效率等提供便利[6–8]。数学知识图谱表示学习旨在将数学知识结构化地表示为多个实体、关系和属性等, 在保留丰富信息的同时, 将其精准地表征为低维稠密向量或矩阵, 便于语义计算[9]。表1 展示数学知识图谱表示学习方法在教学中的应用。可经过命名实体识别和知识抽取等方法得到教案文本数据的实体集、关系集和属性集等, 是知识表示学习的基础。此外, 知识表示学习在数学教学应用及下游任务(如链路预测、知识推荐和学习路径溯源等)中起关键作用。通过分析语义, 将杂乱的实体按照知识逻辑进行有效的整合, 在数学知识体系搭建、知识个性化推荐以及清晰化学习路径生成等应用的准确性、可解释性和完备性方面备受关注, 是实现个性化学习和逻辑严谨的教学设计不可或缺的工具。

表1 数学知识文本对应的实体集抽取
Table 1 Mathematical knowledge text corresponding to the set of extracted entities

知识文本 实体集抽取平面几何中, 将与圆只有一个公共交点的直线定义为圆的切线 (切线, 公共交点, 直线, 圆)垂径定理:如果圆的直径垂直于弦, 那么这条直径平分这条弦, 并且平分这条弦对应的弧 (垂直于, 平分, 垂径定理, 直径, 圆, 弦, 弧)圆周角与弦切角的顶点都在圆上, 圆周角的两边都是过顶点的弦, 而弦切角的一条边是过顶点的弦, 另一条边是过顶点的切线 (圆周角, 弦切角, 顶点, 切线, 圆, 弦)将较复杂的事件表示为若干两两互斥事件的和, 利用概率加法公式计算互斥事件和的概率, 或当某事件的对立事件的概率易求时, 将该事件概率的计算转化为对立事件的概率来简化计算(两两互斥事件, 加法公式, 对立事件, 互斥事件, 事件, 概率)

现有数学知识图谱表示学习方法仅简单地将知识表征为实体和关系, 难以学习复杂关系(如同位关系、上下位关系、得到或运用关系以及组合关系等)。同时, 知识三元组间也存在多种复杂关联, 现有方法难以识别由多个三元组及其关联组合的知识链, 无法将知识串联, 无法构建体系, 沿着关系链定位知识会出现错误, 中间有表征缺失导致关键信息丢失, 使得知识学习路径生成错误或出现推理幻觉, 进而限制学习路径生成的准确率和完备性。

从表2 可以看出, 导致错误匹配的原因主要是复杂关系无法表征, 即“同位”“上下位”等关系未能识别, 使得无法甄别知识点之间的关系, 从而导致在知识推荐和学习路径生成的结果中出现知识点错误匹配的幻觉。如知识“正态分布”和“泊松分布”不属于同一类方法, 使得知识推理结果混乱, 且无法溯源上位知识, 从而导致错误的学习路径, 如“离散型分布→正态分布”, 这个结果显然是错误的。此外, 学科知识层级多样, 若不同层级的知识表示缺失或出错, 会导致数学知识体系溃散, 难以整合相关知识的匹配。

表2 复杂关系识别未果导致错误的知识实体匹配
Table 2 Unsuccessful identification of complex relationships leading to incorrect matching of knowledge entities

正确的知识匹配 错误的知识匹配 错误原因(等差数列, 运用, 等差数列计算公式)(等比数列, 运用, 等比数列计算公式)(学生成绩概率计算, 运用, 正态分布)(乘客搭公车概率, 运用, 均匀分布)(连续变量概率, 运用, 连续型分布)层级1:函数基本概念(定义域, 同位,值域), (解析式, 上位于, 变量)层级2:性质(单调, 同位于, 奇偶)层级3:类型(指数, 同位于, 对数)层级4:工具(导数, 上位于, 切线)层级5:应用(最值, 同位于, 极值)(等差数列, 运用, 等比数列计算公式)(等比数列, 运用, 等差数列计算公式)(学生成绩概率计算, 运用, 均匀分布)(乘客搭公车概率, 运用, 泊松分布)(导数大小, 得到, ?)(函数类型, ?, 切线方程)(?, 运用, 拉格朗日乘数法)……(函数, 运用, ?)&(导数, ?, 单调性)&(导数, 运用, 拉格朗日)&(?, 得到, 极值)事实三元组:(等差数列, 同位于, 等比数列)。“同位”关系未被识别, 导致运用公式错误事实三元组:(连续型分布, 上位于, 正态分布)。“上位于”关系未被识别, 导致分布函数错误匹配, 上位分布定位错误知识逻辑:基本概念→核心性质→具体函数类型→高级工具→应用。多三元组关键信息缺失, 知识无法溯源、定位不清, 导致知识链不完整、不精确

目前, 关于知识图谱表示学习方法的研究包括知识图谱嵌入、反事实链路预测及基于神经网络的知识推荐。

1) 知识图谱嵌入。此类研究旨在学习知识图谱的实体和关系, 并且转化为向量的形式, 便于进行语义计算, 是知识表示学习模型的基础性方法。作为首个嵌入模型, TransE 系列模型[10]将实体编码到欧氏空间, 具有极强的可扩展性。为额外建模复杂关系, RotatE 模型[11]将关系定义为实体间旋转,可处理对称(反对称)、互逆和组合等复杂关系。DualE 模型[12]用关系网络来感知拓扑关联, 在空间中嵌入更清晰的表达语义关系。

2) 反事实链路预测方法。现有研究旨在实现准确的反事实结果预测。反事实模型[13]通过最小化反事实结果预测的方差来提高推理的准确性。Akira 等[14]利用领域不变学习方法, 通过学习自变量恒定的混杂因素转换来提升结果预测的准确性。CFLP 模型[15]通过创建反事实链路, 从观察到的图数据中学习节点和边的表征。此类模型可为提升链路预测性能和学习路径挖掘提供关键性启发。

3) 基于神经网络的知识推荐方法。李思儒[16]使用双向长短记忆网络和注意力机制进行实体和关系的抽取。RGL 推荐模型[17]通过评估三元组间的重要程度来获取预测结果值[18]。另有研究将知识图谱与学习路径推荐相结合, 设计实现 B/S 架构的学习辅助系统。

本文提出一种基于 BERT 的结构化双向编码的知识表示学习模型(structural bidirectional encoding,SBE)。首先, 利用图数据增强对知识图谱的实体和关系进行表征并序列化, 得到初始化向量序列; 然后, 结合 BERT 进行双向编码和解码, 融入结构信息, 精准地表示知识在上下文的位置信息和复杂关系链, 并将初始序列表征精准化。本文提出基于反事实链路生成的推理策略, 将反事实推理用于结构化神经网络层, 识别知识三元组间的关联, 并通过回答反事实问题, 确定路径上正确的链路和关系,提升形成知识学习路径的精度和完备性。在通用的教育领域知识图谱数据集上进行实验评估, 同时在专有 Math-K 数据集上进行案例分析实验, 结合学生知识薄弱点, 证明模型 SBE 可提升学习路径生成的可解释性和完备性。

1 基于 BERT 的结构化双向编码的数学知识表示学习模型

本文提出的模型 SBE 分为图数据增强、基于BERT 的结构化双向编码、基于反事实推理的结构化链路生成及模型训练 3 个部分。模型架构如图1所示, 符号及相关注释如表3 所示。

图1 SBE模型的架构
Fig.1 Architecture of SBE mode

表3 符号及相关注释
Table 3 Symbols and related notes

符号 注释{T1, T2, …, Tn} 知识链pi:j 三元组间的关系Em, E'm 位置嵌入, 分词嵌入wm 第m 个三元组的加权项Rm 复杂关系表征p(Ri | T'i) 关系于三元组的概率计算{l1, l2, …, l n} 知识链表征的线性组合{w1, w2, …, wn} 权重序列向量表征X, A 特征矩阵, 邻接矩阵ωm, ω1 和b – a 可训练参数α1 和α2 超参数

1.1 图数据增强

为了支持结构化双向编码, 将图数据预处理为结构化知识, 表征其中的实体和关系, 并将其序列化。定义知识图谱为三元组 T=(头实体 h, 关系 r,尾实体 t)。如图1 左侧所示, 首先通过命名实体识别和知识抽取, 得到文本数据的实体和关系, 形成结构化知识; 然后转换为知识链{T1, T2, …, Tn}; 然后根据链路表征结果, 在序列生成过程中使用深度优先搜索算法, 挖掘所有观察到的知识链路序列,得到初始化向量序列{T i , pi j, T j}(i , j∈1,2, …, n), 作为下一个模块的输入部分, 三元组间的关系pij∈[T iT j]代表链中第 i 与第 j 个三元组的联系。

1.2 基于 BERT 的结构化双向编码

该模块如图1 中间部分所示。首先, 输入变量和知识链序列, 参照 BERT 模型的编码器和解码器进行处理。具体地, 给定前序链路{T 1 ′, T2′, …,Tn−1}和待补全知识对, 模型的输入是前 n 个链路和 n – 1 个对应上下文位置信息, 联合结构信息进行嵌入。不失一般性, 选定链路的一个部分 Tm′, 其结构化嵌入表示为

其中, Em 是{E1, E2, …, En}中的位置嵌入, ( E1 ′, E2′,…,)是分词嵌入, Rm 是对应的复杂关系表征(m∈(1, n)), wm 是对应第 m 个三元组的加权项, ωm 是可训练的参数, σ 是 sigmoid 激活函数, μm 是超参数偏置项。

为了使模型推理过程中复杂关系的重要程度得以表征, 基于整个知识链背景表征关系权重 wi

其中, ba 表示在连续向量空间值的控制范围, 为可训练参数; p( Ri | Ti′) 表示每个关系于三元组的概率; K (⋅)为状态函数增强权重适应性; α1α2 为超参数。

为获得链路级的复杂关系信息函数联合表示并支撑得分函数, 结合知识链的复杂强度越高, 对得分函数影响越大的情况, 针对性地设置对应知识链表征的线性组合{l1, l2, …, ln}, 同时结合权重序列向量表征{w1, w2, …, wn}来增强链路级信息, 因此该关系的链路级信息函数 U 可表示为

如此, 可将知识链更完备地嵌入, 使得计算更精确,并实现序列到序列的精细化, 精准地表征知识在知识链上的位置及结构信息, 同时确保知识实体间的复杂关系且多三元组间关联均能结构化地表征。

1.3 基于反事实推理的结构化链路的生成

该模块引入反事实推理, 旨在通过提出反事实问题, 确定知识链路间的关联, 识别实体间的各种上下位和先修后继关系。如图1 右侧所示, 该模块的输入包含学科知识链路序列、上层组件的上下文信息和结构信息表征。首先提取特征矩阵 X 并计算邻接矩阵 A, 然后将其输入多层感知机的编码和解码器中, 得到事实链路和反事实链路, 其向量表征为 LfLcf

其中, 进阶邻接矩阵=MLP([ zi ; zj],1− K)均由多层感知机表示, zizj 分别为 Z = encoder(A, X)编码的第 i 和第 j 列向量。最终输出链路确定性的三元组及其关系, 进而形成关系路径(Ri, Rj)和学习路径:

(知识点 L1)→(知识点 L2)→…→(知识点Ln)。

融合 1.2 节得到的知识链结构化嵌入, 推导出得分函数:

其中,ωl2N ×N 是可训练参数, c 是控制误差系数。

1.4 模型训练

为提高表示学习得分函数的可靠性和可计算性, 在训练过程中引入负采样方法。在三元组方面,将原三元组破坏为错误三元组。在知识学习路径,将路径 r = (q1q2)修改为 r = (q2q1)。这是因为知识学习具有单向性和反转性。此外, 考虑到更复杂的三元组知识模式, 应当按照“火车头变车尾”的原则, 将原始学习路径破坏。基于以上负采样方法,将损失函数定义为

其中, L1L2 分别是复杂关系得分损失(上下位及结构信息差异)和嵌入强度损失(是否为理想状态), λ1是控制链路预测得分的反事实结果估计损失系数,λ2 是控制可靠性误差的损失系数。用嵌入强度来衡量损失函数的可靠性。

2 实验与结果分析

2.1 数据集

本文采用的实验数据集如表4 所示, 通用数据集包含 MOOCCubeX、某中学数学知识库 Math-K以及从清华大学开源的基础教育知识图谱 EduKG抽取的 Edu-K, 案例分析数据集为某中学优秀教师总结数学教案文本数据和 Math-K 知识库抽取数据的融合。

表4 实验数据集
Table 4 Experimental datasets

数据集 实体 关系 训练集 验证集测试集MOOCCubeX 9951587 6000 2000 2000 Math-K 9873221 9025 3000 3000 Edu-K 3074178 9987 3282 3329

2.2 实验设置

本文选取知识图谱嵌入、反事实链路预测以及学科知识图谱推理模型(如 TransE, RotatE, CFLP,BERT-BiLSTM-Attention 和 RED-GNN)为基线, 这些模型仅涉及图数据增强、结构化双向编码以及反事实推理模块中的一个或两个, 因此适合进行实验对比。此外, 将实验数据集按照 6:2:2 的比例划分为训练集、验证集和测试集。

模型训练相关参数设置如下:知识图谱嵌入维度为 128, 隐藏层维数为 512, 评估步长为 10, 负采样参数为{1, 2}, 学习率为{0.0001, 0.005, 0.001,0.01, 0.1, 0.5}, α1=1, α2=0.5, λ1={0.001, 0.01, 0.1, 1,2}, λ2={0.001, 0.01, 0.1, 1, 2}, 批量大小(batch size)为 32。对于模型编码部分, 将已训练的语言模型BERT 作为编码器编码知识序列[19]

软硬件设置如下:Intel Xeon E5-2695V4 CPU (最大线程为 48)、256 GB 5600 MHZ 内存、RTX 4070 GPU、SSD+10 TB HDD 硬盘、Ubuntu 20 系统、Pytorch 框架。实验设置及相关数据集已在开源网站https://github. com/superkevin035/SBE 公开。

2.3 评价指标

为了直观地评估 SBE 模型和基线模型在不同任务中的性能, 参考 TransE[10]和 RotatE[11]中广泛试用的通用指标。在每个被测试的三元组中, 用尾部实体替换知识图谱中的每个实体, 并利用得分函数计算相似度得分。

具体地, 本文将排名不超过 1, 3 和 10 的平均倒数排名(mean reciprocal rank, MRR)三元组(Hits@1,Hits@3 和 Hits@10)作为评估指标。例如, 已知一个测试集包含 M 个三元组, 给定一个正样本 m, 设rank(m)为所有三元组分数的降序排名, 则 MRR 和Hits@k (k=1, 3, 10)的数学表达式为

其中, |M |是测试集的三元组总数。可以看出, MRR值与正样本的排名成正比。Ind(·)为判别函数, 当rank(m)≤k 时, 结果为 1, 反之结果为 0。易知 Hits@k 值越大, 选取的 k 个推理结果的准确率越高, 模型越优异。

2.4 实验结果

2.4.1 学科知识链路预测及消融实验

数学知识图谱的链路预测指在多个学科知识三元组中, 给定一个元素, 预测缺失的节点或实体,即在只缺少尾部(h, r, ?)或头部(?, r, t)的情况下, 推断出相应的尾实体 t 和头实体 h。本实验旨在展示学科知识图谱补全链路的高准确性, 分析链路的位置关系和结构关系, 选择 Hits@1, Hits@3 和 Hits@10 作为评估指标。

表5 展示所有测试模型的学科知识链路预测性能。可以看出, 除 MOOCCubeX 数据集的 Hits@3指标略低于对比模型外, SBE 模型的指标均优于基线模型, 且在每个数据集上均有一个指标的结果领先并超过 3%。实验结果表明, 在处理链路预测任务时, SBE 模型的图数据增强、结构化双向编码及反事实链路生成模块对性能提升有很大的帮助。

表5 链路预测实验结果
Table 5 Results of link prediction

测试模型 数据集MOOCubeX 数据集Math-K 数据集Edu-K Hits@1 Hits@3 Hits@10Hits@1 Hits@3 Hits@10Hits@1 Hits@3 Hits@10 TransE 55.61 43.58 54.38 60.00 62.34 60.55 56.13 49.98 51.33 RotatE 78.49 80.25 81.51 79.30 80.74 79.87 61.65 58.33 66.08 CFLP 88.14 89.33 88.45 87.01 88.87 86.31 89.95 88.21 90.90 BERT-BiLSTMAttention 84.64 90.18 89.54 85.96 89.13 86.54 84.16 81.90 83.44 RED-GNN 85.55 91.27 90.47 90.69 89.24 88.78 88.71 89.09 90.42 SBE (本文模型) 90.12 89.34 91.09 95.85 96.71 96.18 90.78 89.98 91.03

说明:粗体数字表示最佳结果, 下同。

为验证模型的 3 个模块(图数据增强、结构化双向编码及反事实链路生成)在学科知识链路预测和知识推荐任务中的重要性, 本文进行消融实验。采用 MRR 平均准确率作为评估指标, 去除某个模块后的模型用“SBE/模块”表示。从表6 可以看出:1) 舍弃图数据增强操作, 对结果影响较小, 可能因为该部分测试数据集质量较高; 2) 舍弃结构信息和双向编码操作, 对结果影响极大, 说明结构信息和位置信息对学科知识表征极为关键, 也说明这部分非常重要; 3) 舍弃反事实链路生成模块, 准确度明显降低, 说明链路确定性及完整性对学习路径生成至关重要。综上所述可知, 结构化双向编码模块对表示学习准确度的影响最大, 反事实模块的影响居中, 图数据增强模块的影响最小。

表6 推理平均准确度
Table 6 Average accuracy of reasoning

测试模型 平均准确度(MRR)CFLP 0.891 RED-GNN 0.905 SBE (本文模型) 0.923 SBE/图数据增强模块 0.898 SBE/双向编码模块 0.731 SBE/反事实链路生成模块 0.847

为讨论模型在知识表示及推理应用中的效率,选用推理时间和内存消耗作为实验对比指标。本文以最相似的方法 BERT-BiLSTM-Attention 为对照, 观测 CFLP, RED-GNN 及 SBE 的时间消耗和内存占用情况, 结果如表7 所示。可以看出, 1) SBE 模型的结构化双向编码的形式可减少知识表示学习的时间,且反事实模块可增强知识链路表征的指向性, 加速向量计算; 2) SBE 模型的数据增强模块可提升知识和数据质量, 在运行前降低冗余, 节约计算内存。综上所述可知, SBE 在知识表示学习和推理效率方面表现更优, 在确保计算内存不增加的情况下, 可以优化推理时间, 进而提升效率。

表7 模型推理时间及内存消耗
Table 7 Reasoning time and memory consumption

测试模型 消耗时间/% 占用内存/%CFLP –4.13 –7.32 RED-GNN –2.32 –8.77 SBE (本文模型) –4.89 –11.02

说明:若比 BERT-BiLSTM-Attention 的消耗时间或占用内存少,则数值为负。

2.4.2 学科知识推荐

为证明 SBE 模型具备优异的推理及推荐知识点能力, 利用模型推理得到某实体关联的知识点及相关路径, 测试推理推荐的准确性, 并在通用数据集上进行实验。给定知识点, 通过位置信息定位所在知识链, 推理临近知识三元组中缺失的实体和关系, 结合知识点匹配策略挖掘一条知识路径, 在该路径上的知识点均为推荐知识。

图2 展示对比实验效果。对于数据集 MOOCubeX, SBE 模型微弱地领先基线模型, CFLP, REDGNN 与 SBE 模型的推荐准确度相当。对于数据集Math-K, SBE 模型领先所有基线模型, 且差距最大,说明该数据集与 SBE 模型的契合度最高, 3 个模块的重要性体现得最显著。对于数据集 Edu-K, 模型SBE 的性能表现也最优。实验结果表明, SBE 模型通过结合知识图谱的结构化表征与位置信息编码,能更全面地根据学生学习需求推荐知识点。

图2 基于 MOOCubeX, Math-K 和 Edu-K 数据集的知识推荐准确度
Fig. 2 Knowledge recommendation accuracy based on MOOCubeX, Math-K and Edu-K dataset

2.4.3 案例分析

案例分析实验在 Math-K 数据集上进行, 该数据集为某中学优秀教师总结的数学教案文本数据,由抽取的实体集和复杂关系组成。根据测试后学生的薄弱知识点, 给定部分知识点三元组, 研究 SBE模型能否推理出正确的知识学习路径。

表8 提供 3 个学习路径生成示例。可以看出,针对 3 条数学知识的文本数据, 分别得到三元组集。第一个三元组:(垂直平分线, 运用, 垂径定理),(垂径定理, 得到, 正多边形中心), (正多边形中心,得到, 边心距); 第二个三元组:(比例, 运用, 比例基本性质), (两内积于两外项互乘积, 得到, 方程),(内项积, 同位, 外项积); 第三个三元组:(等比数列与等差数列相乘, 得到, 和式), (和式, 运用, 公比),(和式与原式, 运用, 错位相减法), (错位相减法, 得到, 前 n 项数列和), (等差数列, 同位于, 等比数列)。

表8 高中数学知识学习路径生成案例
Table 8 Examples of knowledge learning path generation in high school mathematics

文本数据 知识学习路径根据垂径定理, 通过两条边的垂直平分线的交点来确定正多边形的中心,然后求出边心距解比例习题运用比例基本性质求解。因为两外项积等于两内项积, 所以可以将两个外项和内项互相做乘法, 再解方程错位相减法是一种常见的数列求和方法, 应用于等比数列与等差数列相乘的形式。即存在等差数列{an}和等比数列{bn}, 在等式的两边同乘以公比,再与原式错位相减整理后即可求出前n 项和边心距→垂直平分线&中心点→正多边形&解析几何→垂径定理。关系路径=得到, 运用, 上下位, 属于, 证明等比例→比例方程→内项、外项积→交叉运算→基本性质。关系路径=得到, 运用, 同位, 包含, 求解等前 n 项数列和→错位相减法→和式与原式→等差数列与等比数列相乘→数列基本性质:公比和公差。关系路径=得到, 运用, 同位, 求解, 属于, 包含于, 前修后继等

此外, 通过对该中学一线数学教师和测试的同学进行访谈, 发现基于生成的学习路径与知识推荐对学生查漏补缺有极大的帮助, 且保持较高的准确度, 证明了该学习路径的有效性和完备性。

案例分析表明, SBE 模型可将长文本数据处理为多实体和关系, 并结合结构化信息(知识点的层级)和位置信息形成知识学习路径。该路径可作为学生增强薄弱点的重要依据, 可自发地定位需补强的细节知识点, 提升学习效率和学习兴趣。

3 总结

本文提出一种基于结构化双向编码的数学知识图谱表示学习模型 SBE, 用来增强知识表征及教育应用下游任务的准确性、完备性和可解释性。首先, 运用图数据增强, 将实体和关系表征为初始化向量序列; 然后, 提出结合结构化双向编码和解码,精准地表示知识在上下文的位置信息和复杂关系链; 此外, 提出基于反事实链路生成的推理策略,以便增强形成知识学习路径的完备性和可解释性。在通用数据集上进行链路预测和知识推荐实验, 结果表明模型在知识表示学习的准确率方面优势明显。同时, 通过案例分析实验, 结合学生知识薄弱点, 证明模型可提升学习路径生成的可解释性和完备性。

案例分析结果存在以下问题:1) 在众多自动生成的学习路径中, 存在个别知识点位置安排不合适的情况; 2) 个别学习对象存在关系路径逻辑不连贯的问题。这两个问题也是未来研究中探究的重点。

参考文献

[1] 赵晶莹, 吴坚. 美国K-12 教育领域人工智能赋能个性化学习的实践路径. 比较教育学报, 2025(5):153–166

[2] 刘三女牙, 郝晓晗, 李卿. 教育科研新范式:人工智能驱动的教育科学研究. 教育研究, 2024, 45(3):147–159

[3] Penghe C, Yu L, Vincent W. Z, et al. KnowEdu:a system to construct knowledge graph for education.IEEE Access, 2018, 6:31553–31563

[4] Bowen Z, Jiuding S, Bin X, et al. EDUKG:a heterogeneous sustainable K-12 educational knowledge graph [EB/OL]. (2022–10–21)[2025–09–18]. https://ar xiv. org/abs/2210.12228

[5] 靳若华, 肖胜丰. 一种基于计算机学科知识图谱的辅导问答系统. 中国科技信息, 2025(10):104–106

[6] 周炫余, 唐祯, 唐丽蓉, 等. 基于多源异构数据融合的初中数学知识图谱构建. 武汉大学学报(理学版), 2021, 67(2):118–126

[7] Shuang H S, En H C, Qi L, et al. Monitoring student progress for learning process consistent knowledge tracing. IEEE Transaction Knowledge Data Engineer,2023, 35(8):8213–8227

[8] 周东岱, 董晓晓, 顾恒年. 教育领域知识图谱研究新趋向:学科教学图谱. 电化教育研究, 2024, 45(2):91–97

[9] 张天成, 田雪, 孙相会, 等. 知识图谱嵌入技术研究综述. 软件学报, 2023, 34(1):277–311

[10] Tomás M, Ilya S, Kai C, et al. Distributed representations of words and phrases and their compositionality// Proceedings of the 27th International Conference on Neural Information Processing Systems. Nevada,2013:3111–3119

[11] Zhi Q S, Zhi H D, Jian Y N, et al. RotatE:Knowledge graph embedding by relational rotation in complex space // Proceedings of the 7th International Conference on Learning Representations, New Orleans, 2019:1–18

[12] Yu S Z, Wen Z, Ming Y C, et al. DualDE:dually distilling knowledge graph embedding for faster and cheaper reasoning // Proceedings of the 15th ACM International Conference on Web Search and Data Mining, New York, 2022:1516–1524

[13] Yao Z, Alexis B, and Mihaela V S. Learning overlapping representations for the estimation of individualized treatment effects // Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics. Online Meeting, 2020:1005–1014

[14] Akira T, Tomoya S, Takashi T, et al. Regret minimization for causal inference on large treatment space// Proceedings of the 24th International Conference on Artificial Intelligence and Statistics. Online, 2021:946–954

[15] Tong Z, Gang L, Da H W, et al. Learning from counterfactual links for link prediction // Proceedings of the 39th International Conference on Machine Learning. Baltimore, 2022:26911–26926

[16] 李思儒. 基于深度学习的高中数学知识图谱构建研究[D]. 长春:东北师范大学, 2021

[17] 卢彬. 初中物理知识图谱构建与应用研究[D]. 银川:宁夏大学, 2023

[18] 赵梓宏. 基于知识图谱的高中数学知识推荐算法研究[D]. 沈阳:沈阳工业大学, 2024

[19] Jacob D, Ming W C, Kenton L, et al. BERT:pretraining of deep bidirectional transformers for language understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies. Minneapolis, 2019:4171–4186

Structural Bidirectional Encoding-Based Representation Learning on Mathematical Knowledge Graphs

JIN Langjunqing1,†, SHANG Yarong2, CHI Kaiqi1, YU Chao1
1. PKU-HKUST Shenzhen-Hong Kong Institution, Shenzhen 518063; 2. Junior High School, Bao’an First Foreign Language School (Group), Shenzhen 518102; † E-mail:jinljq@ier.org.cn

Abstract Most existing studies on knowledge graph representation learning simply characterize knowledge as entities and relations, and ignore complex relation learning and multi-associative knowledge chains. It is difficult to accurately build a subject knowledge system, which affects the generation of learning paths. Thus, we propose a structural Bidirectional Encoding-Based Representation Learning model (SBE) for disciplinary knowledge graphs.Graph data augmentation is used to characterize entities and relations as initialized vector sequences. Additionally,the model combines structured bidirectional encoding and decoding to accurately represent positional information in context and complex relationship chains. Moreover, an inference strategy is proposed based on counterfactual link generation. Experimental results demonstrate that the proposed model can enhance the accuracy of both link prediction and knowledge recommendation. Furthermore, a case study on middle school mathematics reveals that the SBE model can generate learning paths tailored to student needs and effectively improve the precision, comprehensiveness, and interpretability.

Key words mathematical knowledge graph representation learning; structural bidirectional encoding; counterfactual link generation; learning paths

doi:10.13209/j.0479-8023.2025.088

广东省深圳市宝安区青年教师专项课题(BAQN2024013)资助

收稿日期:2025–06–30; 修回日期:2025–08–19