-
题名基于N-gram统计模型的搜索引擎中文纠错
被引量：7
- 1
-
-
作者
陈智鹏
吕玉琴
刘华生
刘刚
屠辉
-
机构
北京邮电大学电子工程学院
-
出处
《中国电子科学研究院学报》
2009年第3期323-326,共4页
-
文摘
搜索引擎中的关键词纠错是提高检索效率的一项重要辅助功能。提出了一种完全通过分析上下文统计信息的方法,根据中文语言的特点,在建立N-gram统计模型并分析比较的基础上,再通过计算TF/IDF的权重来获得最优的纠错结果,最后通过实验验证了该方法实现了搜索引擎中对输入关键词的自动检查和纠错。
-
关键词
搜索引擎
输入纠错
n-GRAM模型
TF/IDF
-
Keywords
search engine
spelling correction
n-grams model
TF/IDF weight
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名基于主题N元语法模型的科技报告主题分析
被引量：2
- 2
-
-
作者
安欣
徐硕
-
机构
北京林业大学经济与管理学院
北京工业大学经济与管理学院北京现代制造业发展研究基地
-
出处
《农业图书情报》
2019年第6期21-30,共10页
-
基金
广东省自然科学基金项目“面向生物医药领域的前沿技术预判方法论与模型构建研究”（项目编号：2018A030313695)
-
文摘
作为科技情报的重要载体之一,科技报告可以反映科技发展的脉络,可以揭示科技前沿的动态,甚至可以洞察科技发展的趋势等。中国科技报告的开发利用研究目前主要集中在书本型科技报告或电子出版物的出版发行、数据库建设、服务方式和知识产权等方面,在深度数据挖掘方面的研究工作相对较少。笔者尝试利用主题N元语法模型对科技报告进行领域深层主题分析,为了确定特定领域科技报告的主题数目,笔者借助动态规划的思想针对主题N元语法模型提出了困惑度的有效计算方法。最后,以肿瘤领域1344条科技报告为实验数据,揭示了以“分子机制/肿瘤细胞”和“系统生物学/关键方法”为代表的70个主题,验证了利用主题N元语法模型揭示科技报告领域深层主题的可行性和有效性。
-
关键词
科技报告
主题n元语法模型
主题分析
困惑度
热力图
-
Keywords
scientific and technical reports
topical n-grams model
topical analysis
perplexity
heat map
-
分类号
G322
[文化科学]
-
-
题名W-POS语言模型及其选择与匹配算法
被引量：3
- 3
-
-
作者
邱云飞
刘世兴
魏海超
邵良杉
-
机构
辽宁工程技术大学软件学院
辽宁工程技术大学系统工程研究所
-
出处
《计算机应用》
CSCD
北大核心
2015年第8期2210-2214,2248,共6页
-
基金
国家自然科学基金资助项目(70971059)
辽宁省创新团队项目(2009T045)
辽宁省高等学校杰出青年学者成长计划项目(LJQ2012027)
-
文摘
n-grams语言模型旨在利用多个词的组合形式生成文本特征,以此训练分类器对文本进行分类。然而n-grams自身存在冗余词,并且在与训练集匹配量化的过程中会产生大量稀疏数据,严重影响分类准确率,限制了其使用范围。对此,基于n-grams语言模型,提出一种改进的n-grams语言模型——W-POS。将分词后文本中出现概率较小的词和冗余词用词性代替,得到由词和词性的不规则排列组成的W-POS语言模型,并提出该语言模型的选择规则、选择算法以及与测试集的匹配算法。在复旦大学中文语料库和英文语料库20Newsgroups中的实验结果表明,W-POS语言模型既继承了n-grams语言模型减少特征数量、携带部分语义和提高精度的优点,又克服了n-grams语言模型产生大量稀疏数据、含有冗余词的缺陷,并验证了选择和匹配算法的有效性。
-
关键词
n-grams语言模型
词性
冗余度
稀疏数据
特征选择
-
Keywords
n-grams language model
parts of speech
redundancy
sparse data
feature selection
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
TP301.6
[自动化与计算机技术—控制科学与工程]
-
