汉语自动分词的研究现状与困难 被引量：60

1

作者 张春霞 郝天永 《系统仿真学报》 EI CAS CSCD 北大核心 2005年第1期138-143,147,共7页

汉语自动分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。尽管已被研究了二十多年,分词仍然是中文信息处理的瓶颈问题。基于对汉语自动分词研究的... 汉语自动分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。尽管已被研究了二十多年,分词仍然是中文信息处理的瓶颈问题。基于对汉语自动分词研究的现状分析,构建了自动分词的形式化模型,论述了影响分词的诸多因素,分析了分词中存在的两个最大困难及其解决方法。最后指出了目前分词研究中尤其是在分词评测方面存在的问题以及未来的研究工作。 展开更多

关键词 汉语自动分词 形式化模型 未登录词 分词评测

下载PDF 职称材料

一种基于后缀数组的无词典分词方法 被引量：14

2

作者 张长利 赫枫龄 左万利 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2004年第4期548-553,共6页

提出一种基于后缀数组的无词典分词算法.该算法通过后缀数组和利用散列表获得汉字的结合模式,通过置信度筛选词.实验表明,在无需词典和语料库的前提下,该算法能够快速准确地抽取文档中的中、高频词.适用于对词条频度敏感、对计算速度要... 提出一种基于后缀数组的无词典分词算法.该算法通过后缀数组和利用散列表获得汉字的结合模式,通过置信度筛选词.实验表明,在无需词典和语料库的前提下,该算法能够快速准确地抽取文档中的中、高频词.适用于对词条频度敏感、对计算速度要求高的中文信息处理. 展开更多

关键词 无词典分词 数组 文档 散列表 计算速度 算法 中文信息处理 法能 频度 实验

下载PDF 职称材料

上下文相关汉语自动分词及词法预处理算法 被引量：10

3

作者 黄河燕 李渝生 《应用科学学报》 CAS CSCD 1999年第2期148-155,共8页

提出了一种适合于汉英机器翻译的上下文相关汉语自动分词及词法预处理算法．该算法采用正向多路径匹配算法和基于上下文相关知识的歧义切分消解算法，充分利用汉英机译系统词典库中的大量语法和语义等知识进行上下文相关的规则推导消歧... 提出了一种适合于汉英机器翻译的上下文相关汉语自动分词及词法预处理算法．该算法采用正向多路径匹配算法和基于上下文相关知识的歧义切分消解算法，充分利用汉英机译系统词典库中的大量语法和语义等知识进行上下文相关的规则推导消歧，使自动分词的准确率达到了９９％以上．同时，该算法还对汉语中意义冗余的重叠词和可以与中心词离合的虚词等进行了词法预处理，从而一方面可以减少系统词典的收词量。 展开更多

关键词 汉语自动分词 词法预处理 机器翻译 上下文相关

下载PDF 职称材料

基于VisualProlog的自动答疑系统设计与实现 被引量：3

4

作者 江耿豪 《现代教育技术》 CSSCI 2010年第7期122-125,共4页

针对远程教育答疑环节存在的问题,设计实现一个自动答疑系统。阐述自动答疑系统的总体设计、主要算法和基于Visual-Prolog的实现技术。测试结果表明,系统答疑准确率较高,响应速度较快。系统允许用自然语言提问,并自动返回准确或相近答案... 针对远程教育答疑环节存在的问题,设计实现一个自动答疑系统。阐述自动答疑系统的总体设计、主要算法和基于Visual-Prolog的实现技术。测试结果表明,系统答疑准确率较高,响应速度较快。系统允许用自然语言提问,并自动返回准确或相近答案,提高了远程答疑的效率。 展开更多

关键词 自动答疑系统 中文自动分词 相似度计算 Visual-Prolog

下载PDF 职称材料

电子商务领域本体知识库的构建及应用 被引量：3

5

作者 王志强 任燕 +1 位作者 郭宁 傅向华 《计算机系统应用》 2010年第11期38-42,共5页

本文利用本体丰富的语义知识和语法结构及其共享性,构建了电子商务领域的本体知识库,用于解决数据的结构异构和语义异构问题。同时开发了面向电子商务领域本体知识库的汉语自动分词系统。结果表明,引入本体知识库能在一定程度上提高词... 本文利用本体丰富的语义知识和语法结构及其共享性,构建了电子商务领域的本体知识库,用于解决数据的结构异构和语义异构问题。同时开发了面向电子商务领域本体知识库的汉语自动分词系统。结果表明,引入本体知识库能在一定程度上提高词语切分的正确率。 展开更多

关键词 本体 领域本体知识库 汉语自动分词

下载PDF 职称材料

研究中文文本分类技术的辅助平台 被引量：2

6

作者 白若鹞 董渊 +1 位作者 张素琴 徐大伟 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2008年第7期1150-1153,共4页

为方便中文文本分类过程算法研究,阐述中文文本分类的基础技术,提出基于构件的中文文本分类技术研究辅助平台。该平台对大多数分类中使用的算法在中文文本分类中的应用效果进行了研究。实验结果表明:该平台可以通过计算分类器分类准确... 为方便中文文本分类过程算法研究,阐述中文文本分类的基础技术,提出基于构件的中文文本分类技术研究辅助平台。该平台对大多数分类中使用的算法在中文文本分类中的应用效果进行了研究。实验结果表明:该平台可以通过计算分类器分类准确率的宏平均值比较分类算法与特征选择算法的性能,可以评估语料库的可用性,能够用于研究中文分词、特征选择、分类算法等中文文本分类技术问题。 展开更多

关键词 自动文本分类 中文分词 特征选择 分类算法

原文传递

基于百度网页的中文自动问答应用研究 被引量：2

7

作者 石凤贵 《现代计算机》 2020年第8期104-108,共5页

互联网给人类生活和学习带来了便利,在浩瀚的知识海洋里如何快速、准确获取所需知识?我们需要去寻求一种高效的解决办法.充分利用搜索引擎和自然语言处理技术的各自优点,采用jieba中文分词和Word2Vec词向量构建基于百度网页的中文问答系... 互联网给人类生活和学习带来了便利,在浩瀚的知识海洋里如何快速、准确获取所需知识?我们需要去寻求一种高效的解决办法.充分利用搜索引擎和自然语言处理技术的各自优点,采用jieba中文分词和Word2Vec词向量构建基于百度网页的中文问答系统,系统的实现引入深度学习思想. 展开更多

关键词 自然语言处理 自动问答 网络爬虫 jieba中文分词 word2Vec词向量

下载PDF 职称材料

基于深度学习的中文抽取式摘要方法应用 被引量：1

8

作者 齐翌辰 王森淼 赵亚慧 《科教导刊》 2019年第14期69-70,共2页

在当今网络信息化发展迅速的时代,每时每刻都有大量的信息产生,其中以文本信息居多,自动文摘技术能够从一段文本中快速准确提取出其核心内容,相比关键词或句子作为摘要的可读性更高,可提高读者获取信息的效率.本文使用Python语言,利用Te... 在当今网络信息化发展迅速的时代,每时每刻都有大量的信息产生,其中以文本信息居多,自动文摘技术能够从一段文本中快速准确提取出其核心内容,相比关键词或句子作为摘要的可读性更高,可提高读者获取信息的效率.本文使用Python语言,利用TextRank算法,首先将文本切分成句子作为网络顶点(Vertex),再将文本预处理后,计算句子相似度作为边(Edge)的权重,表示各句子间的关系,构建候选句子图模型.最后根据算法为每个句子进行评分,将评分结果进行倒序排序,排在最前面得分较高的句子就是该文本的摘要.该方法能够帮助读者高效高质量地阅读、检索及管理文本,为人们阅读文献提供了便利. 展开更多

关键词 自动摘要 TextRank 中文分词 深度学习

下载PDF 职称材料

基于全文搜索的中文自动答疑系统设计实现 被引量：1

9

作者 李春 黄小岭 《电脑知识与技术》 2010年第7X期6074-6076,共3页

文章论述了一个中文自动答疑系统的设计实现方法,该系统使用ASP.NET3.5+C#语言开发,使用中文分词组件来理解拆分自然语言,并转化为关键字,再进一步使用SQLServer全文搜索技术进行全文查询得到相同或类似的问题-答案对。

关键词 自动答疑 ASP.NET3.5 中文分词 全文搜索

下载PDF 职称材料

多次Hash自动分词算法

10

作者 张贤 周娅 《微计算机信息》 2009年第24期214-216,共3页

词典是自动分词基础,分词词典机制的优劣直接影响到中文分词速度和效率。本文在对中文编码体系和中文分词的算法进行研究的基础上,设计一种新的分词词典,以及基于该词典结构上的一种多次Hash自动分词算法。分析表明,该算法的时间复杂度... 词典是自动分词基础,分词词典机制的优劣直接影响到中文分词速度和效率。本文在对中文编码体系和中文分词的算法进行研究的基础上,设计一种新的分词词典,以及基于该词典结构上的一种多次Hash自动分词算法。分析表明,该算法的时间复杂度有很大的改善。 展开更多

关键词 自动分词 词典 中文分词 时间复杂度

下载PDF 职称材料

基于MSN开放式Api的自动在线答疑系统设计

11

作者 竹景汉 《电脑知识与技术》 2012年第9X期6457-6460,共4页

随着目前网络技术的发展,我国的网络教育已经越来越普及化,而答疑系统与网络教育平台是紧密联系的,它是网络教学中的一个重要支点,能够帮助网络教学更加顺利的进行。该文在分析了现有的答疑系统的特点的基础上,提出了一种基于中文分词... 随着目前网络技术的发展,我国的网络教育已经越来越普及化,而答疑系统与网络教育平台是紧密联系的,它是网络教学中的一个重要支点,能够帮助网络教学更加顺利的进行。该文在分析了现有的答疑系统的特点的基础上,提出了一种基于中文分词算法的在线自动答疑系统设计方案,并研究运用了MSN开放式API中的关键技术,包括MSN的登录、分词检索、收发信息的实现等,使得答疑系统具有实时在线的功能,同时,还提高了它的智能性。 展开更多

关键词 自动答疑系统 中文分词 全切分 MSN

下载PDF 职称材料

蒙古族人名译名的自动识别研究

12

作者 贺慧 《内蒙古工业大学学报（自然科学版）》 2015年第3期214-217,共4页

蒙古族人名译名的自动识别对汉语自动分词的研究具有重要意义。本文提出了一种在中文文本中自动识别蒙古族人名译名的算法。以蒙古族人名译名用字信息为基础,利用译名首尾字表、称谓词表和指界动词表对候选译名再定界,并针对译名特点采... 蒙古族人名译名的自动识别对汉语自动分词的研究具有重要意义。本文提出了一种在中文文本中自动识别蒙古族人名译名的算法。以蒙古族人名译名用字信息为基础,利用译名首尾字表、称谓词表和指界动词表对候选译名再定界,并针对译名特点采用译名音节串成词的优先策略。实验结果表明,召回率达到97.67%,正确率达到95.26%。 展开更多

关键词 蒙古族人名译名 译名自动识别 汉语分词 中文信息处理

下载PDF 职称材料

基于CNET模型的无词典汉语自动分词算法研究

13

作者 刘龙飞 陈斌 党荣 《计算机应用与软件》 CSCD 北大核心 2007年第10期219-221,共3页

提出了一种新的汉语统计模型CNET,在此基础上提出了一种汉语无词典自动分词算法。该算法首先学习要进行处理的汉语语料,构建CNET,然后根据学习到的知识再去对原始语料进行分词。实验结果表明,该算法分词正确率在70%以上。

关键词 汉语自动分词 互信息 CNET

下载PDF 职称材料