适用于大规模文本处理的动态密度聚类算法

北京大学学报（自然科学版）

适用于大规模文本处理的动态密度聚类算法

李霞^1,2,蒋盛益²,张倩生²,朱靖²

1. 广东外语外贸大学外国语学及应用语言学研究中心, 广州 510420; 2. 广东外语外贸大学思科信息学院, 广州 510006;

收稿日期:2012-06-06 出版日期:2013-01-20 发布日期:2013-01-20

A Dynamic Density-Based Clustering Algorithm Appropriate to Large-Scale Text Processing

LI Xia^1,2, JIANG Shengyi², ZHANG Qiansheng², ZHU Jing²

1. National Key Research Center for Linguistics and Applied Linguistics, Guangdong University of Foreign Studies, Guangzhou 510420; 2. Cisco School of Informatics, Guangdong University of Foreign Studies, Guangzhou 510006;

Received:2012-06-06 Online:2013-01-20 Published:2013-01-20

摘要/Abstract

摘要： 针对传统的基于密度的聚类算法对海量数据处理时, 存在参数输入复杂及时间复杂度高的问题, 给出新的密度定义方法, 并在此基础上提出一种只需一个简单输入参数就能动态识别密度不均匀聚类簇的聚类算法, 同时将其扩充为可以处理海量数据的两阶段动态密度聚类算法。在人造数据集、大规模数据集以及中英文文本语料数据集上的实验表明, 所提出的算法具有输入参数简单和聚类效率高的特点, 可以应用于海量文本数据的聚类处理。

关键词: 文本挖掘, 聚类, 海量数据, 动态密度

Abstract: Because of the high time complexity and complicated parameter setting in traditional density-based clustering algorithm, a new density definition is proposed, which just needs one parameter and can find clusters with different densities. The authors also expand the algorithm to a two-stage dynamic density-based clustering algorithm, which can process large-scale text corpus data. Experiments on synthetic dataset, large-scale dataset from UCI, English text corpus and Chinese text corpus show that TSDDBCA algorithm has the characteristic of easy parameter setting and high clustering efficiency, and can be applied to clustering process to large-scale text data.

Key words: text mining, clustering, large-scale data, dynamic density

中图分类号:

TP391

李霞,蒋盛益,张倩生,朱靖. 适用于大规模文本处理的动态密度聚类算法[J]. 北京大学学报（自然科学版）.

LI Xia,JIANG Shengyi,ZHANG Qiansheng,ZHU Jing. A Dynamic Density-Based Clustering Algorithm Appropriate to Large-Scale Text Processing[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/

https://xbna.pku.edu.cn/CN/Y2013/V49/I1/133

[1]	申鸿怡, 徐芳芳, 王新民. 民用建筑“四节一环保”数据的清洗与修复方法研究[J]. 北京大学学报自然科学版, 2020, 56(5): 785-795.
[2]	曾健荣, 张仰森, 王思远, 黄改娟, 崔佳, 马欢. 基于多特征融合的同名专家消歧方法研究[J]. 北京大学学报自然科学版, 2020, 56(4): 607-613.
[3]	彭晓梁艳许立言李迪华. 基于“12345”市民服务热线的城市公共管理问题挖掘与治理优化途径[J]. 北京大学学报自然科学版, 2020, 56(4): 721-731.
[4]	翟尚, 喻志超, 谭玉阳, 黄芳飞, 刘玲, 胡天跃, 何川. 基于波形聚类分析的微地震监测事件类型判别及应用[J]. 北京大学学报自然科学版, 2020, 56(3): 406-416.
[5]	王志芳, 周瑶瑾, 徐敏, 付宏鹏, 王思睿. 县域景观特征管理单元划分方法——以武胜县为例[J]. 北京大学学报自然科学版, 2020, 56(3): 553-560.
[6]	蒋一然, 鲍铁钊, 宁杰远, 张献兵. 高架桥下方高铁地震信号频谱特征研究[J]. 北京大学学报自然科学版, 2019, 55(5): 829-838.
[7]	蒋一然, 梁萱, 宁杰远, 鲍铁钊, 张献兵. 高铁地震4D地频图及其可用性研究[J]. 北京大学学报自然科学版, 2019, 55(5): 850-858.
[8]	蒋丹凝, 王志芳, 陈宇枫, 张子骄, 杨少栋. 岭南乡村“海绵”措施的宏观归纳分析[J]. 北京大学学报自然科学版, 2018, 54(4): 873-882.
[9]	蒋青松, 梁中耀, 赵磊, 李玉照, 吴思枫, 刘永. 云南高原湖泊群的统计学聚类识别及水质响应模式研究[J]. 北京大学学报自然科学版, 2017, 53(5): 948-956.
[10]	张丽林, 李茂西, 肖文艳, 万剑怡, 王明文. 机器翻译自动评价中领域知识复述抽取研究[J]. 北京大学学报自然科学版, 2017, 53(2): 230-238.
[11]	刘勘,袁蕴英. 基于自动编码器的短文本特征提取及聚类研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 282-288.
[12]	熊文涛,师永民,刘新菊,王小军,吴洛菲,王磊,郭馨蔚. 致密砂岩储层流动单元研究---以鄂尔多斯盆地延长组长61油层为例[J]. 北京大学学报（自然科学版）, 2014, 50(2): 288-294.
[13]	刘冬,李鹿原,王勇涛,汤帜. 一种无监督的中文漫画对白自动定位方法[J]. 北京大学学报（自然科学版）, 2014, 50(1): 25-32.
[14]	王建冬,刘洋,王继民. 国内云计算研究领域核心作者群知识结构及演化路径分析[J]. 北京大学学报（自然科学版）, 2013, 49(5): 773-782.
[15]	黄小江,万小军,肖建国. 基于协同图排序的对比新闻自动摘要[J]. 北京大学学报（自然科学版）, 2013, 49(1): 31-38.