摘要
中文分词是计算机中文信息处理中的难题,而中文分词算法是其中的核心,但由于中英文环境中语素的不同特点,使得中文必须要解决分词的问题。这篇文章较为深刻的阐述了中分分词的算法,基于对分词算法的理解和对匹配法分词的分析,对最大匹配分词方法进行了较深入的研究探讨,提出了什么算法是解决分词效率的最佳方法以及各种方法的比较优劣等问题,及可能产生的歧义.对不同的算法给予了充分的解释,通过对各种算法的比较,总结出了比较常用和效率较高的算法。
Chinese Lexical Analysis is a difficult problem in the Chinese information processing ,and the algorithm is the core of it,but there are some different factors between Chinese and English, Chinese Lexical Analysis should be solved completely. This paper present some kinds of algorithms,and analyzing the advantages and Disadvantages of these algorithms to find the best one .At the same time,it is very easy to readers to understand the paper, and using the plot to express the meaning of algorithm.
作者
张磊
张代远
ZHANG Lei, ZHANG Dai-yuan (Nanjing University of Post & Telecommunications Computer College, Nanjing 210003, China)
出处
《电脑知识与技术》
2009年第1期192-193,共2页
Computer Knowledge and Technology
关键词
中文分词
最大匹配算法
最大概率算法
算法
系统
chinese lexical analysis
forward maximum matching method
maxamum probability method
algorithm
system