期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到141篇文章
< 1 2 … 8 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
TFIDF算法研究综述 被引量：218
1
作者 施聪莺 徐朝军 杨晓江 《计算机应用》 CSCD 北大核心 2009年第B06期167-170,180,共5页
文本分类中特征项权重的赋予对于分类效果有较大的影响,TFIDF算法是权重计算的重要算法之一。在回顾TFIDF算法发展历史的基础上,考察了其固有缺陷,总结诸多学者对其的改进方法,并对TFIDF算法新的应用领域进行了概括,并通过实验验证相关... 文本分类中特征项权重的赋予对于分类效果有较大的影响,TFIDF算法是权重计算的重要算法之一。在回顾TFIDF算法发展历史的基础上,考察了其固有缺陷,总结诸多学者对其的改进方法,并对TFIDF算法新的应用领域进行了概括,并通过实验验证相关改进算法,为读者更好地应用TFIDF算法提供参考。 展开更多
关键词 tfidf 文本分类 VSM
下载PDF
基于文本分类TFIDF方法的改进与应用 被引量：120
2
作者 张玉芳 彭时名 吕佳 《计算机工程》 EI CAS CSCD 北大核心 2006年第19期76-78,共3页
TFIDF是文档特征权值表示常用方法。该方法简单易行,但低估了在一个类中频繁出现的词条,该词条是能够代表这个类的文本特征的,应该赋予其较高的权重。通过修改TFIDF中IDF的表达式,来增加那些在一个类中频繁出现的词条的权重,用改进的TF... TFIDF是文档特征权值表示常用方法。该方法简单易行,但低估了在一个类中频繁出现的词条,该词条是能够代表这个类的文本特征的,应该赋予其较高的权重。通过修改TFIDF中IDF的表达式,来增加那些在一个类中频繁出现的词条的权重,用改进的TFIDF选择特征词条、用遗传算法训练分类器来验证其有效性。该方法优于其它算法,实验表明了改进的策略是可行的。 展开更多
关键词 文本分类 特征选择 tfidf 类别区分
下载PDF
基于Word2vec的微博短文本分类研究 被引量：51
3
作者 张谦 高章敏 刘嘉勇 《信息网络安全》 CSCD 2017年第1期57-62,共6页
随着微博等社会化媒体的信息量急剧膨胀,人们迫切需要实现这些信息的自动分类处理,以帮助用户快速查找所需信息和过滤垃圾信息。针对传统文本分类模型存在的特征维数灾难、无语义特征等问题,文章基于Word2vec模型对微博短文本进行了分... 随着微博等社会化媒体的信息量急剧膨胀,人们迫切需要实现这些信息的自动分类处理,以帮助用户快速查找所需信息和过滤垃圾信息。针对传统文本分类模型存在的特征维数灾难、无语义特征等问题,文章基于Word2vec模型对微博短文本进行了分类研究。鉴于Word2vec模型无法区分文本中词汇的重要程度,进一步引入TFIDF对Word2vec词向量进行加权,实现加权的Word2vec分类模型。最后合并加权Word2vec和TFIDF两种模型,实验结果表明合并后模型分类准确率高于加权Word2vec模型和使用TFIDF的传统文本分类模型。 展开更多
关键词 短文本分类 Word2vec tfidf 支持向量机
下载PDF
基于TFIDF和词语关联度的中文关键词提取方法 被引量：43
4
作者 张建娥 《情报科学》 CSSCI 北大核心 2012年第10期1542-1544,1555,共4页
关键词提取技术是文本分类、文本聚类、信息检索等技术的基础,在自然语言处理领域有着非常广泛的应用。结合TFIDF关键词抽取方法的特点和中文具有的自然语言词语间相互关联的特性,提出一种基于TFIDF和词语关联度的中文关键词提取方法。... 关键词提取技术是文本分类、文本聚类、信息检索等技术的基础,在自然语言处理领域有着非常广泛的应用。结合TFIDF关键词抽取方法的特点和中文具有的自然语言词语间相互关联的特性,提出一种基于TFIDF和词语关联度的中文关键词提取方法。该方法通过引入词语关联度,有效避免了单纯采用TFIDF算法产生的偏差。实验结果表明,该方法的平均召回率与传统方法相比得到明显提升。 展开更多
关键词 词语关联度 tfidf 关键词提取
原文传递
基于TFIDF文本特征加权方法的改进研究 被引量：37
5
作者 张保富 施化吉 马素琴 《计算机应用与软件》 CSCD 2011年第2期17-20,共4页
针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足,提出一种结合信息熵的TFIDF改进方法。该方法采用结合特征项在类间和类内信息分布熵来调整TFIDF特征项的权重计算,避免了那些对分类没有贡献... 针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足,提出一种结合信息熵的TFIDF改进方法。该方法采用结合特征项在类间和类内信息分布熵来调整TFIDF特征项的权重计算,避免了那些对分类没有贡献的特征项被赋予较大权值的缺陷,能更有效计算文本特征项的权重。实验结果表明该方法提高了文本分类的精确度和召回率,是一种比较有效的文本特征加权方法。 展开更多
关键词 tfidf 文本分类 特征加权 向量空间模型
下载PDF
一种基于词共现图的文档主题词自动抽取方法 被引量：30
6
作者 耿焕同 蔡庆生 +1 位作者 于琨 赵鹏 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2006年第2期156-162,共7页
主题词抽取是文本自动处理的基础性工作.在对现有主题词抽取方法深入研究的基础上,提出了一种基于词共现图的文档主题词自动抽取方法;该方法以基于词频统计方法为基础,利用在词共现图形成的主题信息以及不同主题间的连接特征信息自动地... 主题词抽取是文本自动处理的基础性工作.在对现有主题词抽取方法深入研究的基础上,提出了一种基于词共现图的文档主题词自动抽取方法;该方法以基于词频统计方法为基础,利用在词共现图形成的主题信息以及不同主题间的连接特征信息自动地提取文档中的主题词,旨在找出一些非高频词且又对主题贡献大的词.实验表明了该抽取方法抽取出的主题词更能准确地符合了作者的主题. 展开更多
关键词 自然语言处理 词共现图 主题词 tfidf
下载PDF
用于文本挖掘的特征选择方法TFIDF及其改进 被引量：23
7
作者 景丽萍 黄厚宽 石洪波 《广西师范大学学报（自然科学版）》 CAS 2003年第A01期142-145,共4页
文章使用TFIDF特征选择方法对数据源进行预处理,建立了空间矢量模型,为文本分类提供了便利的数据结构.通过分类结果测试该特征选择方法的精确度.根据实验结果分析TFIDF的优缺点,并提出改进的方法.
关键词 文本挖掘 tfidf 评估函数 空间矢量模型 特征选择
下载PDF
文本分类中词语权重计算方法的改进与应用 被引量：28
8
作者 熊忠阳 黎刚 +1 位作者 陈小莉 陈伟 《计算机工程与应用》 CSCD 北大核心 2008年第5期187-189,共3页
文本的形式化表示一直是信息检索领域关注的基础性问题。向量空间模型(Vector SpaceModel)中的tf.idf文本表示是该领域里得到广泛应用,并且取得较好效果的一种文本表示方法。词语在文本集合中的分布比例量上的差异是决定词语表达文本内... 文本的形式化表示一直是信息检索领域关注的基础性问题。向量空间模型(Vector SpaceModel)中的tf.idf文本表示是该领域里得到广泛应用,并且取得较好效果的一种文本表示方法。词语在文本集合中的分布比例量上的差异是决定词语表达文本内容的重要因素之一。但是其IDF的计算,并没有考虑到特征项在类间的分布情况,也没有考虑到在类内分布相对均匀的特征项的权重应该比分布不均匀的要高,应该赋予其较高的权重。用改进的TFIDF选择特征词条、用KNN分类算法和遗传算法训练分类器来验证其有效性,实验表明改进的策略是可行的。 展开更多
关键词 文本表示 向量空间模型 特征选择 tfidf
下载PDF
一种改进的TFIDF网页关键词提取方法 被引量：30
9
作者 李静月 李培峰 朱巧明 《计算机应用与软件》 CSCD 2011年第5期25-27,共3页
传统TFIDF关键词提取方法虽然实现起来简单,时间复杂度低,但是效果并不理想,难以获得对文本内容起到关键性作用的特征。提出了一种在考虑中文文本结构特征和中文词语词性特征的基础上,借助扩展的同义词词林,利用改进的TFIDF公式来提取... 传统TFIDF关键词提取方法虽然实现起来简单,时间复杂度低,但是效果并不理想,难以获得对文本内容起到关键性作用的特征。提出了一种在考虑中文文本结构特征和中文词语词性特征的基础上,借助扩展的同义词词林,利用改进的TFIDF公式来提取的方法。实验结果表明:该方法明显优于传统方法,能够抽取到令人满意的结果。 展开更多
关键词 文本结构 关键词抽取 tfidf
下载PDF
基于信息熵的改进TFIDF特征选择算法 被引量：28
10
作者 周炎涛 唐剑波 王家琴 《计算机工程与应用》 CSCD 北大核心 2007年第35期156-158,171,共4页
特征的选择对文本分类的精确性有着非常重要的影响。针对传统的TFIDF没有考虑特征词条在各个类之间的分布的不足,对TFIDF特征选择算法进行了深入的分析,并结合信息熵的概念提出了一种新的TFIDF特征选择算法。实验结果表明,改进后的算法... 特征的选择对文本分类的精确性有着非常重要的影响。针对传统的TFIDF没有考虑特征词条在各个类之间的分布的不足,对TFIDF特征选择算法进行了深入的分析,并结合信息熵的概念提出了一种新的TFIDF特征选择算法。实验结果表明,改进后的算法可以有效地提高文本分类的精确度。 展开更多
关键词 词条信息熵 特征选择 tfidf 数据挖掘
下载PDF
一个基于朴素贝叶斯方法的web文本分类系统:WebCAT 被引量：9
11
作者 余芳 《计算机工程与应用》 CSCD 北大核心 2004年第13期195-197,共3页
如果缺乏好的对文本自动进行索引及摘要的工具,要从Internet浩瀚的文本中检索有用信息是很困难的。因此,文本分类成为信息检索(InformationRetrieval)的重要组成部分。朴素贝叶斯分类是应用统计理论进行文本分类的有效方法之一。该文结... 如果缺乏好的对文本自动进行索引及摘要的工具,要从Internet浩瀚的文本中检索有用信息是很困难的。因此,文本分类成为信息检索(InformationRetrieval)的重要组成部分。朴素贝叶斯分类是应用统计理论进行文本分类的有效方法之一。该文结合web文本的特点使用朴素贝叶斯分类器实现了一个web文本分类系统WebCAT,并获得了很好的分类结果。 展开更多
关键词 朴素贝叶斯分类 特征选择 互信息 tfidf
下载PDF
朴素贝叶斯算法的改进与应用 被引量：24
12
作者 赵文涛 孟令军 +1 位作者 赵好好 王春春 《测控技术》 CSCD 2016年第2期143-147,共5页
朴素贝叶斯算法是分类算法中最经典、最有影响的算法之一,但仍然存在一些不足之处。针对该算法中下溢问题,对算法基本公式进行了优化改进。针对NB算法中准确率问题,结合类别核心词思想和改进后的TFIDF算法,提出了一种基于类别核心词和... 朴素贝叶斯算法是分类算法中最经典、最有影响的算法之一,但仍然存在一些不足之处。针对该算法中下溢问题,对算法基本公式进行了优化改进。针对NB算法中准确率问题,结合类别核心词思想和改进后的TFIDF算法,提出了一种基于类别核心词和改进型TFIDF的朴素贝叶斯CIT-NB算法。将改进后的算法应用于新闻数据集文本分类,实验结果表明,CIT-NB算法的分类性能明显优于原始朴素贝叶斯算法和基于TFIDF的分类算法。 展开更多
关键词 朴素贝叶斯 下溢 核心关键词 tfidf 文本分类
下载PDF
关键词自动提取方法的研究与改进 被引量：22
13
作者 黄磊 伍雁鹏 朱群峰 《计算机科学》 CSCD 北大核心 2014年第6期204-207,共4页
关键词提取技术是信息检索和文本分类领域的基础与关键技术之一。首先分析了TFIDF算法中存在的不足,即IDF(Inverse Document Frequency)权值中没有考虑特征词在类内以及类别间的分布情况。因此,原有的TFIDF方法会出现有些不能代表文档... 关键词提取技术是信息检索和文本分类领域的基础与关键技术之一。首先分析了TFIDF算法中存在的不足,即IDF(Inverse Document Frequency)权值中没有考虑特征词在类内以及类别间的分布情况。因此,原有的TFIDF方法会出现有些不能代表文档主题的低频词的IDF值很高,而有些能够代表文档主题的高频词的IDF值却很低的情况,这会导致关键词提取不准确。通过增加一个新的权值,即类内离散度DI(Distribution Information)来增加关键的特征词条的权重,提出了一种新的算法DI-TFIDF。实验中使用的是搜狗语料库,选择其中的体育、教育和军事3类文档各1000篇作为实验的语料库,分别用基于传统TFIDF方法和基于DI-TFIDF方法提取关键词。实验结果表明,所提出的DI-TFIDF方法提取关键词的准确度要高于传统的TFIDF算法。 展开更多
关键词 关键词提取 特征权重 tfidf DI-tfidf
下载PDF
一种基于TFIDF的网络聊天关键词提取算法 被引量：15
14
作者 许晓昕 李安贵 《计算机技术与发展》 2006年第3期122-123,222,共3页
随着Internet的普及,即时通讯软件(IM software)也就是网络聊天软件越来越多地服务于人们的日常生活。利用聊天双方的聊天信息来提供更好的服务成为研究者们的重要课题,而如何提取聊天文本中的关键词又成为此类研究的重点。聊天文本不... 随着Internet的普及,即时通讯软件(IM software)也就是网络聊天软件越来越多地服务于人们的日常生活。利用聊天双方的聊天信息来提供更好的服务成为研究者们的重要课题,而如何提取聊天文本中的关键词又成为此类研究的重点。聊天文本不同于普通的文章,它是一种动态输入的文本,对于这种文本,传统的TFIDF算法存在着缺陷。文中针对传统TFIDF在处理此类文本时的不足之处,利用一个按主题分类的历史缓存来提高TFIDF算法对于这类文本的处理能力。 展开更多
关键词 tfidf 文本挖掘 即时通讯软件 关键词提取
下载PDF
基于SVM的中文书目自动分类及应用研究 被引量：16
15
作者 杨敏 谷俊 《图书情报工作》 CSSCI 北大核心 2012年第9期114-119,共6页
将文本自动分类技术应用于图书书目的自动分类中,利用ICTCLAS分词系统对书名和摘要信息进行中文分词,为标题和摘要的特征词赋予不同的权重。在构建基于文本特征矩阵的基础上,结合SVM算法对实验语料进行学习和测试。为了验证TFIDF权重对... 将文本自动分类技术应用于图书书目的自动分类中,利用ICTCLAS分词系统对书名和摘要信息进行中文分词,为标题和摘要的特征词赋予不同的权重。在构建基于文本特征矩阵的基础上,结合SVM算法对实验语料进行学习和测试。为了验证TFIDF权重对分类结果的影响,还对词频特征矩阵、TFIDF特征矩阵和混合特征矩阵进行测试和对比。实验证明,基于混合特征矩阵的SVM算法具有良好的分类效果。据此,构建基于SVM的书目自动分类系统。 展开更多
关键词 机器学习 支持向量机 自动分类 tfidf
原文传递
文本分类中特征权重算法的改进 被引量：14
16
作者 沈志斌 白清源 《南京师范大学学报（工程技术版）》 CAS 2008年第4期95-98,149,共5页
TFIDF是文档特征权重表示常用方法.该方法简单易行,但忽略了特征词在各个类别中的分布情况,不能真正地反映特征词对区分每个类的贡献.针对这个不足,本文提出了BOR-TFIDF,来重新调整每个特征词对各个类别的区分度,即修正各个特征词的权重... TFIDF是文档特征权重表示常用方法.该方法简单易行,但忽略了特征词在各个类别中的分布情况,不能真正地反映特征词对区分每个类的贡献.针对这个不足,本文提出了BOR-TFIDF,来重新调整每个特征词对各个类别的区分度,即修正各个特征词的权重,并用分类器来验证其有效性.该方法优于原来的TFIDF算法,实验表明了改进的策略是可行的. 展开更多
关键词 文本分类 特征权重 tfidf 类别区分 BOR-tfidf
下载PDF
基于统计语言模型改进的Word2Vec优化策略研究 被引量：12
17
作者 张克君 史泰猛 +1 位作者 李伟男 钱榕 《中文信息学报》 CSCD 北大核心 2019年第7期11-19,共9页
该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型。研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,... 该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型。研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,而改进的语言模型通过文本关键词建立了词本身与整个文本之间的联系,在词向量训练结果的查准率和相似度方面,改进模型训练出的词向量较skip-gram、CBOW语言模型有一个小幅度的提升。通过基于维基百科1.5GB中文语料的词向量训练实验对比后发现,使用CBOW-TFIDF模型训练出的词向量在相似词测试任务中结果最佳;把改进的词向量应用到情感倾向性分析任务中,正向评价的精确率和F1值分别提高了4.79%、4.92%,因此基于统计语言模型改进的词向量,对于情感倾向性分析等以词向量为基础的应用研究工作有较为重要的实践意义。 展开更多
关键词 词向量 统计语言模型 tfidf 文本关键词 CBOW-tfidf
下载PDF
多专长专家识别方法研究——以大数据领域为例 被引量：10
18
作者 刘晓豫 朱东华 +1 位作者 汪雪锋 黄颖 《图书情报工作》 CSSCI 北大核心 2018年第3期55-63,共9页
[目的／意义]国家政府、大中型企业以及研究机构面对技术难题，如何找到合适的专家是迫切需要解决的问题。面对需要运用多学科知识来解决的综合性复杂难题，寻找到多专长专家显得尤为重要，寻找合适的方法识别出多专长专家是本研究的目... [目的／意义]国家政府、大中型企业以及研究机构面对技术难题，如何找到合适的专家是迫切需要解决的问题。面对需要运用多学科知识来解决的综合性复杂难题，寻找到多专长专家显得尤为重要，寻找合适的方法识别出多专长专家是本研究的目的。[方法／过程]利用专家所发表的学术论文数据，通过抽取专家有代表性的研究专长特征，基于TFIDF加权的重叠K-means聚类算法对专家进行重叠聚类划分，挖掘出专家的多个研究专长，进而识别出多专长专家。[结果／结论]研究结果表明TFIDF加权的重叠K—means聚类算法在查准率、召回率和F值上有良好的表现，可以识别多专长专家。 展开更多
关键词 专家识别 重叠K-means 多专长专家 大数据 tfidf
原文传递
文本分类算法中词语权重计算方法的改进 被引量：9
19
作者 赵小华 马建芬 《电脑知识与技术》 2009年第12X期10626-10628,共3页
在自动文本分类中,TFIDF公式是常用的词语权重计算公式。该方法简单易行,但仅仅考虑了特征词出现的频率,而忽略了特征词对区分每个类的贡献。针对这个不足,该文提出了TFIDF-CHI,来修正各个特征词的权重,重新调整每个特征词对各个类别的... 在自动文本分类中,TFIDF公式是常用的词语权重计算公式。该方法简单易行,但仅仅考虑了特征词出现的频率,而忽略了特征词对区分每个类的贡献。针对这个不足,该文提出了TFIDF-CHI,来修正各个特征词的权重,重新调整每个特征词对各个类别的区分度,并用KNN分类器来验证其有效性。实验证明该方法优于原来的TFIDF算法,表明了改进的策略是可行的。 展开更多
关键词 文本分类 特征权值 tfidf tfidf-CHI
下载PDF
基于信息熵与词长信息改进的TFIDF算法 被引量：10
20
作者 金燕 黄杰 《浙江工业大学学报》 CAS 北大核心 2021年第2期203-209,共7页
针对文本分类中传统的TFIDF特征提取算法的缺陷,引入信息熵与词长信息改进TFIDF算法。传统的TFIDF算法中忽略了词长信息,词长不同能够表达的信息也不同,同时还忽略了文本中特征词的分布特征。改进的TFIDF算法中加入了表达词长信息的因... 针对文本分类中传统的TFIDF特征提取算法的缺陷,引入信息熵与词长信息改进TFIDF算法。传统的TFIDF算法中忽略了词长信息,词长不同能够表达的信息也不同,同时还忽略了文本中特征词的分布特征。改进的TFIDF算法中加入了表达词长信息的因子并且引入词条信息熵来反映特征词在文本中的分布特征,实验比较了其与TFIDF、TFIDFL等算法在相同数据集上使用逻辑回归分类器的分类准确率。改进的算法平均准确率比TFIDF算法高了7.34%,比TFIDFL算法高了5.99%,结果表明引入信息熵与词长信息改进TFIDF算法能够有效提升分类准确率。 展开更多
关键词 tfidf 信息熵 特征提取 文本分类
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 8 下一页 到第 页
使用帮助 返回顶部