基于排序学习的文本概念标注方法研究

北京大学学报（自然科学版）

基于排序学习的文本概念标注方法研究

涂新辉^1,2,何婷婷^1,2,李芳^1,2,王建文^1,2

1. 华中师范大学计算机学院, 武汉 430079; 2. 国家语言资源监测与研究中心网络媒体语言分中心, 武汉 430079;

收稿日期:2012-05-31 出版日期:2013-01-20 发布日期:2013-01-20

Learning to Rank Concept Annotation for Text

TU Xinhui^1,2, HE Tingting^1,2, LI Fang^1,2, WANG Jianwen^1,2

1. School of Computer Science, Huazhong Normal University, Wuhan 430079; 2. Network Media Branch, National Language Resources Monitoring and Research Center, Wuhan 430079;

Received:2012-05-31 Online:2013-01-20 Published:2013-01-20

摘要/Abstract

摘要： 提出一种基于排序学习的方法CRM (concept ranking model), 来实现文档的维基百科概念自动标注。首先人工对一定规模的文档进行概念标注, 建立训练集合, 然后利用排序学习算法在多项特征上得到对概念排序的模型, 利用这个概念的排序模型对任意文档进行概念标注。实验表明, 相对于传统的文档概念标注方法, 此方法在各类指标上都有相当大的提高, 标注结果更加接近人类的概念标注。

关键词: 概念标注, 排序学习, 维基百科, 显示语义分析

Abstract: This paper proposed an automatic text annotation method (CRM, concept ranking model) based on learning to ranking model. Firstly the authors built a training set of concept annotation manualy, and then used the Ranking SVM algorithm to generate concept ranking model, finally the concept ranking model was used to generate concept annotation for any texts. Experiments show that proposed method has a significant improvement in various indicators compared to traditional annotation methods, and concept annotation results is closer to human annotation.

Key words: concept annotation, learning to ranking, Wikipedia, explicit semantic analysis

中图分类号:

TP391

涂新辉,何婷婷,李芳,王建文. 基于排序学习的文本概念标注方法研究[J]. 北京大学学报（自然科学版）.

TU Xinhui,HE Tingting,LI Fang,WANG Jianwen. Learning to Rank Concept Annotation for Text[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

[1]	杨亮, 周逢清, 林原, 林鸿飞, 许侃. 面向排名预测的电影媒体网站研究[J]. 北京大学学报自然科学版, 2019, 55(1): 65-74.
[2]	仇瑜, 程力, Daniyal Alghazzawi. 特定领域问答系统中基于语义检索的非事实型问题研究[J]. 北京大学学报自然科学版, 2019, 55(1): 55-64.
[3]	李茂林. 基于主题敏感的重启随机游走实体链接方法[J]. 北京大学学报（自然科学版）, 2016, 52(1): 17-24.