期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
词素位置概率在中文重叠歧义词识别中的作用 被引量:2
1
作者 曹海波 任亮 +2 位作者 韩丹 贾东立 王敬欣 《心理与行为研究》 CSSCI 北大核心 2022年第6期732-738,共7页
采用模糊词报告范式,探究词素位置概率在中文词汇识别中的作用。实验1操纵重叠歧义词(如“邮差距”)首、尾的词素位置概率,被试任务是快速报告重叠歧义词中间字的读音,结果发现,读者倾向于报告词素位置概率高的一侧字的读音。实验2操纵... 采用模糊词报告范式,探究词素位置概率在中文词汇识别中的作用。实验1操纵重叠歧义词(如“邮差距”)首、尾的词素位置概率,被试任务是快速报告重叠歧义词中间字的读音,结果发现,读者倾向于报告词素位置概率高的一侧字的读音。实验2操纵重叠歧义词(如“惹祸害”)首、尾的词素位置概率,被试任务是报告重叠歧义词其中的一个词,结果发现,读者倾向于报告词素位置概率高的一侧词的读音。结果表明,词素位置概率是中文词切分的有效线索,首、尾词素位置概率在词汇加工中均发挥了作用。 展开更多
关键词 词素位置概率 重叠歧义词 中文阅读 词切分
下载PDF
基于最大熵模型的交集型切分歧义消解 被引量:6
2
作者 张锋 樊孝忠 《北京理工大学学报》 EI CAS CSCD 北大核心 2005年第7期590-593,共4页
利用最大熵模型研究中文自动分词中交集型切分歧义的消解.模型输出的类别为两种:前两个字结合成词和后两个字结合成词.模型采用的特征为:待切分歧义字段的上下文各一个词、待切分歧义字段和歧义字段两种切分可能的词概率大小关系.通过... 利用最大熵模型研究中文自动分词中交集型切分歧义的消解.模型输出的类别为两种:前两个字结合成词和后两个字结合成词.模型采用的特征为:待切分歧义字段的上下文各一个词、待切分歧义字段和歧义字段两种切分可能的词概率大小关系.通过正向最大匹配(FMM)和逆向最大匹配(BMM)相结合的分词方法,发现训练文本中的交集型歧义字段并进行标注,用于最大熵模型的训练.实验用1998年1月《人民日报》中出现的交集型歧义字段进行训练和测试,封闭测试正确率98.64%,开放测试正确率95.01%,后者比常用的词概率法提高了3.76%. 展开更多
关键词 中文信息处理 汉语自动分词 交集型歧义 最大熵模型
下载PDF
融合字特征的平滑最大熵模型消解交集型歧义 被引量:3
3
作者 任惠 林鸿飞 杨志豪 《中文信息学报》 CSCD 北大核心 2010年第4期18-24,共7页
交集型歧义的切分问题是分词阶段需要解决难点之一。该文将交集型歧义的消解问题转化为分类问题,并利用融合丰富字特征的最大熵模型解决该问题,为了克服最大熵建模时的数据稀疏问题,该文引入了不等式平滑技术和高斯平滑技术。我们在第... 交集型歧义的切分问题是分词阶段需要解决难点之一。该文将交集型歧义的消解问题转化为分类问题,并利用融合丰富字特征的最大熵模型解决该问题,为了克服最大熵建模时的数据稀疏问题,该文引入了不等式平滑技术和高斯平滑技术。我们在第二届国际分词竞赛的四个数据集上比较了高斯平滑技术、不等式平滑技术和频度折扣平滑技术,测试结果表明:不等式平滑技术和高斯平滑技术比频度折扣技术有显著提高,而它们之间不分伯仲,但是不等式平滑技术能使特征选择无缝嵌入到参数估计过程中,显著压缩模型规模。该方法在四个测试集上最终获得了96.27%、96.83%、96.56%、96.52%的消歧正确率,对比实验表明:丰富的特征使消歧性能分别提高了5.87%、5.64%、5.00%、5.00%,平滑技术使消歧性能分别提高了0.99%、0.93%、1.02%、1.37%,不等式平滑使分类模型分别压缩了38.7、19.9、44.6、9.7。 展开更多
关键词 计算机应用 中文信息处理 分词 交集型歧义 融合丰富字特征 最大熵模型 平滑技术
下载PDF
一种快速的交集型歧义检测方法 被引量:3
4
作者 刘健 张维明 《计算机应用研究》 CSCD 北大核心 2008年第11期3259-3261,共3页
中文分词中,交集型歧义检测方法采用的双向最大匹配法与全切分方法存在着各自的弊病,无法满足大规模数据的精确处理。为此,提出了一种快速的交集型歧义检测方法,引入次长词进行检测,能高效准确地检测出中文文本中的交集型歧义。经实验验... 中文分词中,交集型歧义检测方法采用的双向最大匹配法与全切分方法存在着各自的弊病,无法满足大规模数据的精确处理。为此,提出了一种快速的交集型歧义检测方法,引入次长词进行检测,能高效准确地检测出中文文本中的交集型歧义。经实验验证,该方法在精度与速度两方面均能满足大规模语料的处理。 展开更多
关键词 中文分词 交集型歧义 最长交集字段
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部