分词中的歧义处理 被引量：29

1

作者 谭琼 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第11期125-127,236,共4页

歧义处理是影响分词系统切分精度的重要因素,是自动分词系统设计中的一个最困难也是最核心的问题。该文利用一种统计的方法来解决交集型歧义字段的切分。

关键词 分词 歧义处理 交集型歧义 汉字信息处理

下载PDF 职称材料

一种基于语词的分词方法 被引量：17

2

作者 赵曾贻 陈天娥 朱兰 《苏州大学学报（自然科学版）》 CAS 2002年第3期44-48,共5页

提出了一种基于语词的分词系统 ,设计了相应的分词词典 .该分词词典支持词条首字Hash查找和标准的不限词条长度的二分查找算法 ,并应用于全文检索中 .结果分析表明 ,此分词系统无论是在检索速度上 。

关键词 语词 分词 全文检索 歧义处理

下载PDF 职称材料

自动分词中的歧义处理 被引量：3

3

作者 郑延斌 《微型机与应用》 1998年第6期9-10,49,共3页

从自动分词中歧义产生的根源上对歧义进行了新的分类，并给出了处理每一类歧义的方法，提出自动分词中的歧义研究应集中在对第二类歧义的处理上。

关键词 自动分词 歧义处理 自然语言处理 计算机

下载PDF 职称材料

中文文本中公司名简称的识别 被引量：3

4

作者 张占英 王中立 《许昌学院学报》 CAS 2003年第2期99-101,共3页

对中文文本的公司名简称的识别提出了一种有效的识别方法 ,即在公司名第一次出现时要充分利用其给出的定义信息 ,作为以后识别此公司名的简称的基础 .经封闭测试 ,系统对公司名简称的识别准确率为98 2 % ,召回率为 93 4% .

关键词 文字识别 汉语自动分词系统 中文文本 公司名简称 歧义处理 识别规则

下载PDF 职称材料

基于词频学习和动态词频更新的藏文自动分词系统设计 被引量：4

5

作者 项炜 金澎 《计算机应用与软件》 CSCD 北大核心 2014年第5期106-109,共4页

藏文自动分词问题是藏文自然语言处理的基本问题之一。针对藏文自动分词中的重点难点,例如:格助词的识别、歧义切分、未登录词识别技术设计一个新的藏文自动分词系统。该系统采用动态词频更新和基于上下文词频的歧义处理和未登录词识别... 藏文自动分词问题是藏文自然语言处理的基本问题之一。针对藏文自动分词中的重点难点,例如:格助词的识别、歧义切分、未登录词识别技术设计一个新的藏文自动分词系统。该系统采用动态词频更新和基于上下文词频的歧义处理和未登录词识别技术。在歧义字段分词准确性、未登录词识别率和分词速度上,该系统具有较优的性能。 展开更多

关键词 藏文自动分词 自然语言处理 格助词 动态词频更新 歧义处理 未登录词识别

下载PDF 职称材料

基于双词典机制的中文分词系统设计 被引量：4

6

作者 李玲 《机械工程与自动化》 2013年第1期17-19,共3页

中文分词是中文信息处理的基础技术之一,被广泛应用于搜索引擎、机器翻译、自动分类、自动校对、语音合成等方面。阐述了一种基于双词典机制的中文分词系统的设计。该设计中,构造了标准词典、临时词典和临时高频词表组成的双词典机制作... 中文分词是中文信息处理的基础技术之一,被广泛应用于搜索引擎、机器翻译、自动分类、自动校对、语音合成等方面。阐述了一种基于双词典机制的中文分词系统的设计。该设计中,构造了标准词典、临时词典和临时高频词表组成的双词典机制作为分词基础,应用了正向最大匹配法和逆向最大匹配法进行分词,提出了基于双词典机制的歧义处理方法。实验表明了此设计的可行性和优越性。 展开更多

关键词 中文分词 双词典机制 歧义处理

下载PDF 职称材料

对中文分词歧义消除算法的研究 被引量：1

7

作者 谷瑞 《苏州市职业大学学报》 2015年第4期25-27,48,共4页

介绍中文分词算法的理论知识,通过介绍歧义存在的种类,分析分词结果出现歧义的必然性.提出改进"退一字组合法",实现歧义消除.在保持切分速度的前提下,提高切分的精度.为搜索引擎建立索引奠定良好的基础.

关键词 中文分词 歧义消除 歧义处理 歧义字段

下载PDF 职称材料

一种引入动态词库更新的中文分词架构 被引量：2

8

作者 刘芳芳 王晶 沈奇威 《计算机系统应用》 2013年第3期100-103,50,共5页

针对互联网环境下新词出现和更新频率高的特点,将机械分词与基于规则分词相结合,提出一种动态更新词库的中文分词架构.本架构给出了新的词典设计结构及歧义处理规则,并将统计学中的互信息概念运用到新词判定环节.实验表明本文提出的中... 针对互联网环境下新词出现和更新频率高的特点,将机械分词与基于规则分词相结合,提出一种动态更新词库的中文分词架构.本架构给出了新的词典设计结构及歧义处理规则,并将统计学中的互信息概念运用到新词判定环节.实验表明本文提出的中文分词架构具有较高的准确率和良好的适应性. 展开更多

关键词 中文分词 最大词长 歧义处理 互信息 未登录词

下载PDF 职称材料

可测集E[x;f(x)>a]的歧义及处理

9

作者 卢卫君 《广西民族学院学报（自然科学版）》 CAS 2002年第2期10-12,共3页

探讨可测集E[x ;f(x) >a]存在歧义性 ,给出处理办法 同时证明 :如果f(x)在E上可测 ,并且规定当f(x) =0时 ,1f(x) =+∞ ;当f(x) =±∞时 ,1f(x) =0 ,则 1f(x) 也是E上的可测函数 .

关键词 可测集 广义实值函数 测度集 可测函数 广义实数 LEBESGUE测度 歧义处理

下载PDF 职称材料

基于依存语法的消歧策略在机译中的运用

10

作者 刘彬 《湖南医科大学学报（社会科学版）》 2003年第3期95-97,共3页

叙述了雅信 CAT— 2.5简体英汉双向版(网络版)和东方快车3000英汉翻译软件对源语的切分以及由源语向译语转换的过程。翻译软件使用上下文无关语法,把词作为转换单位进行程序设计,容易产生歧义现象。建议考虑以动词为中心的小句为切分单... 叙述了雅信 CAT— 2.5简体英汉双向版(网络版)和东方快车3000英汉翻译软件对源语的切分以及由源语向译语转换的过程。翻译软件使用上下文无关语法,把词作为转换单位进行程序设计,容易产生歧义现象。建议考虑以动词为中心的小句为切分单位,采用依存语法,以改进目前的译文照搬原文结构的状况,可以有效避免译文的歧义现象。 展开更多

关键词 机器翻译 东方快车3000 雅信CAT 歧义处理 依存语法

下载PDF 职称材料

基于Hash结构词典的双向最大匹配分词法 被引量：18

11

作者 陈之彦 李晓杰 +2 位作者 朱淑华 付丹龙 邢诒海 《计算机科学》 CSCD 北大核心 2015年第B11期49-54,共6页

针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分... 针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分词中出现的交集型歧义。该算法可以在分词的过程中显著提高分词的精确度,适用于对词语切分精度要求较高的中文语言处理系统。 展开更多

关键词 分词词典 双向最大匹配法 基于Hash的单字索引 互信息歧义处理

下载PDF 职称材料

浅谈高语境文化和低语境文化语用比较

12

作者 孟庆娟 张蕾 马婷婷 《绵阳师范学院学报》 2024年第6期53-61,共9页

言语意义除词汇意义外,还包括语用意义,因此文化差异包括语言文字上的语义差异和感知、交流方面的语用差异。以汉语为代表的高语境文化和以英语为代表的低语境文化的冲突,在语用方面具体表现在对歧义的处理方式、指称语言语用和非指称... 言语意义除词汇意义外,还包括语用意义,因此文化差异包括语言文字上的语义差异和感知、交流方面的语用差异。以汉语为代表的高语境文化和以英语为代表的低语境文化的冲突,在语用方面具体表现在对歧义的处理方式、指称语言语用和非指称语言语用等方面。通过对上述各方面的考察对比,高低语境文化在语用方面造成的跨文化误解冲突在无语义差异时仍然独立存在,表明高低文化语用差异实际上是语域范围不同造成的。根据语用、语域差异,制定更为积极有效的跨语境交际策略和路径是促进高低语境文化相互理解、减少摩擦的最优方案。 展开更多

关键词 高语境文化 低语境文化 歧义语用处理 指称语言语用 非指称语言语用

下载PDF 职称材料

二语习得中歧义句处理的在线研究 被引量：1

13

作者 曾路 《西南民族大学学报（人文社会科学版）》 CSSCI 北大核心 2008年第S2期1-4,232,共5页

运用在线方法研究二语学习者对歧义结构的处理是近十几年来才兴起的新课题。本文探讨了英语歧义句处理以及自控速度阅读和眼动记录两种在线方法在二语歧义处理研究中的运用,所取得的研究成果说明了在线心理语言研究方法在二语习得研究... 运用在线方法研究二语学习者对歧义结构的处理是近十几年来才兴起的新课题。本文探讨了英语歧义句处理以及自控速度阅读和眼动记录两种在线方法在二语歧义处理研究中的运用,所取得的研究成果说明了在线心理语言研究方法在二语习得研究中起着重要作用,对二语学习者的语言认知在线研究还需进一步深入。 展开更多

关键词 二语习得 歧义句处理 在线研究 认知语言学 心理语言学

原文传递