面向专利文献的汉语分词技术研究

北京大学学报（自然科学版）

面向专利文献的汉语分词技术研究

岳金媛,徐金安,张玉洁

北京交通大学计算机与信息技术学院, 北京 100044;

收稿日期:2012-06-04 出版日期:2013-01-20 发布日期:2013-01-20

Chinese Word Segmentation for Patent Documents

YUE Jinyuan, XU Jin’an, ZHANG Yujie

School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044;

Received:2012-06-04 Online:2013-01-20 Published:2013-01-20

摘要/Abstract

摘要： 针对专利文献专业术语多、领域广的特点, 采用基于领域词典与统计相结合的方法探讨了专利文献的汉语分词问题。利用NC-value算法抽取专业术语, 使用条件随机场模型(CRF)提高专业术语识别率, 提高分词精度。实验结果表明, 提出的方法在开放测试下分词的准确率为95.56%, 召回率为96.18%, F值为95.87%, 大大提高了专利文献的分词精度。

关键词: 汉语分词, 条件随机场, 专业术语提取

Abstract: According to the characteristics of the patent documents, the authors present a statistics approach for Chinese word segmentation based on domain dictionaries. NC-value algorithm and conditional random fields model (CRF) are adopted for the domain terms extraction, to solve the unknown words recognition issue. The experimental results show that the proposed method can improve the efficiency of the word segmentation and the identification of the unknown words. For an open test, the precision of the experimental results is 95.56 %, the recall-rate is 96.18%, and F-measure is 95.87%.

Key words: Chinese word segmentation, conditional random fields (CRF), domain terms extraction

中图分类号:

TP391

岳金媛,徐金安,张玉洁. 面向专利文献的汉语分词技术研究[J]. 北京大学学报（自然科学版）.

YUE Jinyuan,XU Jin’an,ZHANG Yujie. Chinese Word Segmentation for Patent Documents[J]. Acta Scientiarum Naturalium Universitatis Pekinensis.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/

https://xbna.pku.edu.cn/CN/Y2013/V49/I1/159

[1]	苏娅, 刘杰, 黄亚楼. 在线医疗文本中的实体识别研究[J]. 北京大学学报自然科学版, 2016, 52(1): 1-9.
[2]	高恩婷,巢佳媛,李正华. 面向词性标注的多资源转化研究[J]. 北京大学学报（自然科学版）, 2015, 51(2): 328-334.
[3]	郑略省,吕学强,刘坤,林进. 汉语并列关系的识别研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 20-24.
[4]	刘滔,雷霖,陈荦,熊伟. 基于MapReduce的中文词性标注CRF模型并行化训练研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 147-152.
[5]	张静杰,昝红英. 副词“都”用法自动识别研究[J]. 北京大学学报（自然科学版）, 2013, 49(1): 165-169.