摘要
为解决文本数据的个性化查重问题,提出基于Simhash算法的文本查重的方法,设计并实现了系统原型。首先,阐述了文本相似度模型和计算算法;其次,根据需求规划设计了系统整体实现架构并详细描述其设计过程;再次,描述了查重算法和查重功能模块实现的详细流程;最后,对系统原型进行功能测试和算法相似度计算准确性测试。实验证明:在小规模文本文档样本中,系统能较好的实现文本相似度的计算和特征库的个性化定制,可集成并适用于小规模企业办公系统等平台的文本相似性查重环境。
出处
《湖南科技学院学报》
2021年第5期51-54,共4页
Journal of Hunan University of Science and Engineering
基金
永州市科技计划项目资助(永科发[2014]17号)
湖南省教育厅科学研究重点项目资助(20A212)
湖南科技学院应用特色学科建设项目资助。
