一种结合有监督学习的动态主题模型

北京大学学报（自然科学版）

一种结合有监督学习的动态主题模型

蒋卓人¹,陈燕¹,高良才²,汤帜²,刘晓钟³

1. 大连海事大学交通运输管理学院, 大连 116026; 2. 北京大学计算机科学技术研究所, 北京 100080;3. Department of Information and Library Science, Indiana University Bloomington, Bloomington, IN 47405;

收稿日期:2014-06-30 出版日期:2015-03-20 发布日期:2015-03-20

A Supervised Dynamic Topic Model

JIANG Zhuoren¹, CHEN Yan¹, GAO Liangcai², TANG Zhi², LIU Xiaozhong³

1. College of Transportation Management, Dalian Maritime University, Dalian 116026; 2. Institute of Computer Science & Technology, Peking University, Beijing 100080; 3. Department of Information and Library Science, Indiana University Bloomington, Bloomington,IN 47405;

Received:2014-06-30 Online:2015-03-20 Published:2015-03-20

摘要/Abstract

摘要： 针对传统主题模型存在的不足, 提出一种新的结合有监督学习的动态主题模型(Supervised Dynamic Topic Model, S-DTM)。该模型不仅能够随时间的变化对语言进行动态建模, 而且结合有监督学习技术, 在主题变分推理中加入标签约束, 从而建立主题与标签之间的映射关系, 提高主题的表达解释能力。通过在一个跨越25年“以自然语言处理领域的中文期刊论文为主导”的中文语料库上的实验, 证明该模型相较于静态的有监督主题模型和无监督的动态主题模型, 具有更好的语义解释概括能力, 能更准确地反映文档的主题结构, 更精确地捕捉主题?词汇概率分布的动态演化。

关键词: 有监督学习, 动态主题模型, 变分推理

Abstract: An innovative Supervised Dynamic Topic Model (S-DTM) is developed for overcoming the limitation of tranditional topic models. S-DTM models the time-varying language dynamics and is combined with supervised learning technology by adding label restriction in topic variational inference. It makes the topic-label mapping and improves the interpret ability of topics. A set of experiments is conducted on a twenty-five-year-spanning Chinese journal paper corpus that is mainly focusing on natural language processing. Experiment results show that compared with static supervised topic model and unsupervised dynamic topic model, S-DTM has a better semantic interpretation performance, reflects the topic structure of a document more accurately, captures the dynamic evolution of the term-distribution of topics more precisely.

Key words: supervised learning, dynamic topic model, variational inference

中图分类号:

TP18

蒋卓人,陈燕,高良才,汤帜,刘晓钟. 一种结合有监督学习的动态主题模型[J]. 北京大学学报（自然科学版）.

JIANG Zhuoren,CHEN Yan,GAO Liangcai,TANG Zhi,LIU Xiaozhong. A Supervised Dynamic Topic Model[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

[1]	杨安, 李素建, 李芸. 基于领域知识和词向量的词义消歧方法[J]. 北京大学学报自然科学版, 2017, 53(2): 204-210.
[2]	贺彬彬,邹磊,赵东岩. 语义知识库构建中的异常数据发现[J]. 北京大学学报（自然科学版）, 2015, 51(2): 195-202.
[3]	饶俊阳,贾爱霞,冯岩松,赵东岩. 基于本体结构的新闻个性化推荐[J]. 北京大学学报（自然科学版）, 2014, 50(1): 1-8.
[4]	汪廷华,赵东岩,张琼. 多类核极化及其在多宽度RBF核参数选择中的应用[J]. 北京大学学报（自然科学版）, 2012, 48(5): 727-731.
[5]	刘坤,谭营,何新贵. 基于粒子群优化的过程神经网络学习算法[J]. 北京大学学报（自然科学版）, 2011, 47(2): 238-244.
[6]	顾晓东, 余道衡, 程承旗. 基于粗集与PCNN的图像预处理[J]. 北京大学学报（自然科学版）, 2003, 39(5): 703-708.
[7]	迟彬,叶庆凯,行飞. 用改进的遗传算法求解流水车间作业排序问题[J]. 北京大学学报（自然科学版）, 2003, 39(3): 294-300.
[8]	常炳国,晏磊, 窦静,李秋凉 . 基于iPlanet应用服务器的电子商务系统的开发与应用[J]. 北京大学学报（自然科学版）, 2002, 38(5): 669-672.
[9]	王陆,王美华 . ITS系统中基于关系模型的知识表示[J]. 北京大学学报（自然科学版）, 2000, 36(5): 659-664.
[10]	刘述忠,程虎 . 对象的表示：模式与概念[J]. 北京大学学报（自然科学版）, 1996, 32(5): 642-646.