基于MapReduce的中文词性标注CRF模型并行化训练研究

北京大学学报（自然科学版）

基于MapReduce的中文词性标注CRF模型并行化训练研究

刘滔,雷霖,陈荦,熊伟

国防科学技术大学电子科学与工程学院, 长沙 410073;

收稿日期:2012-05-30 出版日期:2013-01-20 发布日期:2013-01-20

A Parallel Training Research of Chinese Part-of-Speech Tagging CRF Model Based on MapReduce

LIU Tao, LEI Lin, CHEN Luo, XIONG Wei

College of Electronic Science and Engineering, National University of Defense Technology, Changsha 410073;

Received:2012-05-30 Online:2013-01-20 Published:2013-01-20

摘要/Abstract

摘要： 针对条件随机场模型面对大规模数据传统训练算法单机处理性能不高的问题, 提出一种基于MapReduce框架的条件随机场模型训练并行化方法, 设计了条件随机场模型特征提取及参数估计的并行算法, 实现了迭代缩放算法的并行。实验表明, 所提出的并行化方法在保证训练结果正确性的同时, 大大减少了训练时间, 效率得到较大提升。

关键词: 词性标注, 条件随机场, MapReduce, 并行

Abstract: Conditional random field (CRF) model bears a major drawback of low training efficiency for large-scale data processing. A parallel method of conditional random field model training based on MapReduce is proposed to solve the problem. The method designs parallel algorithm for feature selection and parameters estimation of CRF model to achieve a parallel iterative scaling algorithm. Experiments show that the method improves the efficiency and reduces time cost significantly while guaranteeing the training result correctness.

Key words: part-of-speech (POS) tagging, conditional random field (CRF), MapReduce, parallel

中图分类号:

TP391

刘滔,雷霖,陈荦,熊伟. 基于MapReduce的中文词性标注CRF模型并行化训练研究[J]. 北京大学学报（自然科学版）.

LIU Tao,LEI Lin,CHEN Luo,XIONG Wei. A Parallel Training Research of Chinese Part-of-Speech Tagging CRF Model Based on MapReduce[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/

https://xbna.pku.edu.cn/CN/Y2013/V49/I1/147

[1]	李明佳, 孙建宝, 薛莲, 沈正康. 广域InSAR时序分析技术对华北平原地表形变的监测[J]. 北京大学学报自然科学版, 2023, 59(6): 934-944.
[2]	韩硕, 邹磊. 动态图上的最短路径距离并行算法[J]. 北京大学学报自然科学版, 2020, 56(1): 112-122.
[3]	黄德朋, 李正华, 龚晨, 张民. 基于神经耦合模型的异构词法数据转化和融合[J]. 北京大学学报自然科学版, 2020, 56(1): 97-104.
[4]	苏娅, 刘杰, 黄亚楼. 在线医疗文本中的实体识别研究[J]. 北京大学学报自然科学版, 2016, 52(1): 1-9.
[5]	高恩婷,巢佳媛,李正华. 面向词性标注的多资源转化研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 328-334.
[6]	岳金媛,徐金安,张玉洁. 面向专利文献的汉语分词技术研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 159-164.
[7]	张静杰,昝红英. 副词“都”用法自动识别研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 165-169.
[8]	郑略省,吕学强,刘坤,林进. 汉语并列关系的识别研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 20-24.
[9]	金婕,于敦山. 高速并行BCH译码器的VLSI设计[J]. 北京大学学报（自然科学版）, 2009, 45(2): 233-237.
[10]	王慧亮,包尚联,陈国耀. 基于多核的并行模拟退火放疗计划优化加速方法[J]. 北京大学学报（自然科学版）, 2008, 44(6): 853-858.
[11]	张乖红, 夏明耀. 介质目标瞬态散射分析的时域积分方程方法与并行计算[J]. 北京大学学报（自然科学版）, 2008, 44(3): 353-358.
[12]	盛向治,单宝松. 基于GPGPU的多目的混音算法的研究与实现[J]. 北京大学学报（自然科学版）, 2008, 44(1): 49-54.
[13]	赵悦汐,蒋安平. 一种高效并行处理结构的H.264去块滤波器[J]. 北京大学学报（自然科学版）, 2007, 43(5): 649-653.
[14]	谢华,Harald MICHALIK,金声震,艾国祥. JPEG2000在空间太阳望远镜中的改进应用[J]. 北京大学学报（自然科学版）, 2006, 42(3): 366-370.
[15]	陈鹏,霍金健,张立昂. 最小生成树问题在RMESH上的常数时间算法[J]. 北京大学学报（自然科学版）, 2006, 42(1): 83-88.