期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
基于音位的网络盗版文本查重方法
1
作者 金哲凡 俞定国 +1 位作者 林生佑 周忠成 《山东农业大学学报(自然科学版)》 CSCD 2017年第3期467-471,共5页
传统的文本查重算法是对文本作分词以构建关键词向量,而对于某些特殊应用的网络盗版检测,分词的开销则未必合理和必要。因此,本文提出一种基于汉语音位信息的文本查重方法。文本被表达为声、韵、调三个空间向量,以余弦距离作相似性度量... 传统的文本查重算法是对文本作分词以构建关键词向量,而对于某些特殊应用的网络盗版检测,分词的开销则未必合理和必要。因此,本文提出一种基于汉语音位信息的文本查重方法。文本被表达为声、韵、调三个空间向量,以余弦距离作相似性度量。提出两种相似性判断公式,一种假定三向量独立分布;一种取其线性组合,系数可由音位元素的信息熵算出,通过大文本统计得出信息熵的估计值,以传统的关键词向量/Sim Hash方法做参照产生语料,对其作统计得到模型参数。实验结果表明该方法有一定的精确率和很好的召回率,计算开销低于传统的方法,适合需要过滤大量TN类型文本的场合。 展开更多
关键词 音位 盗版文本 查重
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部