中文分词算法概述 被引量：39

1

作者 龙树全 赵正文 唐华 《电脑知识与技术》 2009年第4期2605-2607,共3页

当前搜索引擎技术被广泛地应用，这使得全文检索技术和中文分词技术的研究逐渐深入．中文分词是中文信息的关键技术之一．其质量高低直接影响中文信息处理效率。文章致力于研究中文分词算法，对多种中文分词算法、自动分词系统的理论模... 当前搜索引擎技术被广泛地应用，这使得全文检索技术和中文分词技术的研究逐渐深入．中文分词是中文信息的关键技术之一．其质量高低直接影响中文信息处理效率。文章致力于研究中文分词算法，对多种中文分词算法、自动分词系统的理论模型进行了详细的阐述和讨论．为中文分词的进一步发展提供基础和方向。 展开更多

关键词 中文分词 全文检索 算法 搜索引擎 歧义切分

下载PDF 职称材料

关于自然语言检索问题 被引量：23

2

作者 张琪玉 《图书馆论坛》 CSSCI 北大核心 2004年第6期211-213,145,共4页

自然语言检索当前仅在关键词检索的层次上已经实现 ,重点分析了全文检索所适应和不适应的检索要求及其评价 ,用分析说明了当前关于自然语言检索的主流观点的不切实际 ,指出自然语言检索的发展方向是与情报检索语言结合和融合。

关键词 自然语言检索 情报检索语言 关键词检索 实际 全文检索 观点 重点分析 层次 融合

下载PDF 职称材料

基于Lucene的BM25模型的评分机制的研究 被引量：15

3

作者 范晨熙 黄理灿 李雪利 《工业控制计算机》 2013年第3期78-79,共2页

Okapi BM25是一种相关性排序函数,适用于搜索引擎根据与给定搜索查询的相关性对匹配文档进行排序。通过BM25模型与开源搜索框架Lucene的有机结合,实现了BM25模型在Lucene中的检索评分。经实验表明,BM25模型在Lucene中有较好的表现,为进... Okapi BM25是一种相关性排序函数,适用于搜索引擎根据与给定搜索查询的相关性对匹配文档进行排序。通过BM25模型与开源搜索框架Lucene的有机结合,实现了BM25模型在Lucene中的检索评分。经实验表明,BM25模型在Lucene中有较好的表现,为进一步根据实际需求利用BM25模型和Lucene进行全文检索做出了有益的探索。 展开更多

关键词 BM25 LUCENE 全文检索 评分机制 搜索引擎

下载PDF 职称材料

Lucene全文检索引擎技术及应用 被引量：10

4

作者 周平 《重庆工学院学报》 2007年第7期86-88,共3页

介绍了Lucene全文索引及检索技术,包括它的组成结构和检索机制,提出了一个基于Lucene进行全文检索的方案.最后用一个实例进行了说明.

关键词 LUCENE 全文检索 搜索引擎

下载PDF 职称材料

基于Lucene全文检索引擎的应用与改进 被引量：9

5

作者 吴青 夏红霞 +1 位作者 赵广辉 刘春燕 《武汉理工大学学报》 EI CAS CSCD 北大核心 2008年第7期145-148,共4页

Lucene全文检索技术以其开放源代码的良好特性、优异的索引结构、有效的系统架构获得了广泛的应用。分析了Lucene的系统组织结构与核心类,同时指出其检索算法中的不足。给出了一个基于Lucence全文检索技术的信息导航系统中的设计。最后... Lucene全文检索技术以其开放源代码的良好特性、优异的索引结构、有效的系统架构获得了广泛的应用。分析了Lucene的系统组织结构与核心类,同时指出其检索算法中的不足。给出了一个基于Lucence全文检索技术的信息导航系统中的设计。最后特别针对检索算法中的不足,设计和实现了利用PageRank算法的检索器。 展开更多

关键词 全文检索技术 LUCENE Pag水ank算法 检索器

下载PDF 职称材料

基于Lucene的Web站点站内全文检索系统的设计与实现 被引量：10

6

作者 曹强 《图书情报工作》 CSSCI 北大核心 2007年第9期124-126,144,共4页

设计一个基于开源检索工具包Lucene的Web站点站内全文检索系统,详述系统的设计思路与体系架构,并对中英文分词和添加文档索引等关键技术给出具体代码和实现步骤;最后对该系统进行简单的性能测试并与通用搜索引擎的检索结果进行查全率和... 设计一个基于开源检索工具包Lucene的Web站点站内全文检索系统,详述系统的设计思路与体系架构,并对中英文分词和添加文档索引等关键技术给出具体代码和实现步骤;最后对该系统进行简单的性能测试并与通用搜索引擎的检索结果进行查全率和查准率方面的比较。 展开更多

关键词 LUCENE 全文检索 搜索引擎

原文传递

全文检索搜索引擎中文信息处理技术研究 被引量：5

7

作者 唐培丽 胡明 +1 位作者 解飞 刘钢 《情报科学》 CSSCI 北大核心 2006年第6期895-899,909,共6页

本文深入分析了全文检索中文搜索引擎的关键技术,提出了一种适用于全文检索搜索引擎的中文分词方案,既提高了分词的准确性,又能识别文中的未登录词。针对向量空间信息检索模型,本文设计了一个综合考虑中文词在Web文本中的位置、长度以... 本文深入分析了全文检索中文搜索引擎的关键技术,提出了一种适用于全文检索搜索引擎的中文分词方案,既提高了分词的准确性,又能识别文中的未登录词。针对向量空间信息检索模型,本文设计了一个综合考虑中文词在Web文本中的位置、长度以及频率等重要因素的词条权重计算函数,并且用量化的方法表示出其重要性,能够较准确地反映出词条在Web文档中的重要程度。最后对分词算法进行了测试,测试表明该方法能够提高分词准确度满足实用的要求。 展开更多

关键词 全文检索 搜索引擎 中文分词 信息检索

下载PDF 职称材料

基于大数据技术的高职院校全量数据资源池的建设与实践

8

作者 靳晓娟 《信息与电脑》 2024年第3期232-234,共3页

各高职院校智慧校园建设均取得了一定成就,积累了大量的数据。在此背景下,全量数据资源池的建设得到高职院校的关注。文章对现阶段数据建设方面的问题进行分析,并探讨全量数据资源池建设的重点任务、建设思路及应用价值,为高职院校决策... 各高职院校智慧校园建设均取得了一定成就,积累了大量的数据。在此背景下,全量数据资源池的建设得到高职院校的关注。文章对现阶段数据建设方面的问题进行分析,并探讨全量数据资源池建设的重点任务、建设思路及应用价值,为高职院校决策分析、教学科研、管理服务提供全维度、高质量的数据引擎,推动高职院校高质量发展。 展开更多

关键词 高职院校 全量数据资源池 全域数据采集 全文搜索引擎

下载PDF 职称材料

一种新型高效全文检索引擎的设计

9

作者 董宗然 闻柏智 朱毅 《软件工程》 2024年第2期44-48,共5页

为了改善常规存储方式模糊查询性能较低的问题,提出一种针对大文本文档数据的高效模糊查询方法。通过对文档建立倒排索引,将索引以及部分文档信息提取到内存中以降低磁盘输入和输出(Input/Output,I/O)。根据内存中的倒排索引和数据库中... 为了改善常规存储方式模糊查询性能较低的问题,提出一种针对大文本文档数据的高效模糊查询方法。通过对文档建立倒排索引,将索引以及部分文档信息提取到内存中以降低磁盘输入和输出(Input/Output,I/O)。根据内存中的倒排索引和数据库中主键形成的映射查询数据,然后通过相关度算法对这些数据进行排序,并以字典树作为搜索提示,实现高效的全文检索。实验结果表明:与ElasticSearch使用相同词集时,随着测试数据量的变化,所设计的全文检索引擎的查询效率是ElasticSearch效率的80~1200倍,其效率优势随着数据量增加呈现反比例关系变化,并且在17919条文档数据下,其内存占用不超过2.5 GB,适合用于海量文档数据检索。 展开更多

关键词 倒排索引 全文检索 检索引擎 模糊查询 字典树

下载PDF 职称材料

搜索引擎的发展趋向和建设思路 被引量：3

10

作者 陈志新 《农业图书情报学刊》 2009年第10期43-46,共4页

搜索引擎划分为全文搜索引擎、分类目录搜索引擎和元搜索引擎。全文搜索引擎注重先组式及后组式个性化服务,注重多媒体搜索、垂直搜索和搜索结果的情感判断。分类目录搜索引擎向小型化和开放互动方向发展。元搜索引擎主要使用自定的规... 搜索引擎划分为全文搜索引擎、分类目录搜索引擎和元搜索引擎。全文搜索引擎注重先组式及后组式个性化服务,注重多媒体搜索、垂直搜索和搜索结果的情感判断。分类目录搜索引擎向小型化和开放互动方向发展。元搜索引擎主要使用自定的规则将检索结果重新排列。 展开更多

关键词 全文搜索引擎 分类目录搜索引擎 元搜索引擎 个性化服务 多媒体搜索引擎 发展趋势

下载PDF 职称材料

基于Lucene的全文检索引擎的研究与应用 被引量：4

11

作者 李靖 文登敏 张润伟 《淮阴工学院学报》 CAS 2008年第1期56-59,63,共5页

Lucene是一个用Java语言写的优秀的全文索引引擎工具包。分析了Lucene的系统结构及检索原理,并且用一个实例来说明如何实现全文检索,为应用开发提供了一种增加全文搜索的方法。最后提出了采用接口的方式来统一处理html、pdf、word和Exce... Lucene是一个用Java语言写的优秀的全文索引引擎工具包。分析了Lucene的系统结构及检索原理,并且用一个实例来说明如何实现全文检索,为应用开发提供了一种增加全文搜索的方法。最后提出了采用接口的方式来统一处理html、pdf、word和Excel等多种常用文档的思路。 展开更多

关键词 全文检索 LUCENE 搜索引擎 索引

下载PDF 职称材料

基于.Net的全文搜索引擎设计与实现 被引量：4

12

作者 孙艺珍 季小迪 张京涛 《西安科技大学学报》 CAS 2014年第6期701-706,共6页

随着互联网信息多样化和爆炸式的发展,人们面临着"信息迷航"和"信息过载"的困扰;当代社会对信息检索的需求不仅仅局限在通用搜索引擎,更需要针对特定领域设计出个性化搜索引擎。通过分析研究网络搜索引擎的组成结... 随着互联网信息多样化和爆炸式的发展,人们面临着"信息迷航"和"信息过载"的困扰;当代社会对信息检索的需求不仅仅局限在通用搜索引擎,更需要针对特定领域设计出个性化搜索引擎。通过分析研究网络搜索引擎的组成结构及利用Lucene构建搜索引擎的方法,在Lucene原有网页排序算法基础上,结合PageRank算法的思想和用户喜好权重,提出更具个性化的网页排序算法,以反馈给用户符合其个性化需求的搜索结果。在.Net开发平台,利用C#语言,结合几种开源API,完成了个性化网络搜索引擎系统的设计与实现。系统界面设计采用了XAML及Ajax技术,搜索结果显示模块采用异步传输技术,使用户界面更加友好。通过测试和分析,系统实现了个性化搜索,用户不翻页也可以查看全部搜索内容,用户的体验度得到了提升。下一步将增加爬虫对于网络错误信息的处理及对于病毒网站的过滤功能。 展开更多

关键词 全文搜索引擎 .NET 个性化搜索

下载PDF 职称材料

基于Lucene的异构数据库全文检索技术 被引量：3

13

作者 王亮 苏云 《指挥控制与仿真》 2017年第2期141-144,148,共5页

当前,我军积累了部队情况、装备性能、海战场环境等海量的作战数据。这些数据数量巨大、格式多样,且存储在不同类型的数据库中。如何快速准确地从这些数据中检索出目标信息,成为一项非常重要的工作。Lucene是一个基于Java的开源的全文... 当前,我军积累了部队情况、装备性能、海战场环境等海量的作战数据。这些数据数量巨大、格式多样,且存储在不同类型的数据库中。如何快速准确地从这些数据中检索出目标信息,成为一项非常重要的工作。Lucene是一个基于Java的开源的全文检索库,利用它可以方便地定制出符合用户特定需求的搜索引擎。使用Lucene可研制出一种可配置的、支持不同类型数据库的全文搜索引擎。 展开更多

关键词 LUCENE 异构数据库 全文检索 搜索引擎 索引

下载PDF 职称材料

基于Gridmap的海量空间数据切片机制研究 被引量：3

14

作者 黄文 王志敏 +1 位作者 赖建宇 谢小红 《国土资源信息化》 2013年第3期34-36,共3页

随着社会信息化的发展,空间数据在国土资源信息化进程中起着越来越重要的作用。如何在TB乃至PB级海量数据中,进行快速、准确地空间分析及应用,成为摆在很多国土资源WebGIS信息系统面前的一个课题。本文结合云南省土地监管信息服务平台... 随着社会信息化的发展,空间数据在国土资源信息化进程中起着越来越重要的作用。如何在TB乃至PB级海量数据中,进行快速、准确地空间分析及应用,成为摆在很多国土资源WebGIS信息系统面前的一个课题。本文结合云南省土地监管信息服务平台课题研究,总结了一套适用于网络环境下海量空间数据的切片机制,并提出了瓦片矢量的试用,其应用在云南省土地监管平台空间数据"一张图"快速浏览查询和分析应用中,取得了良好的效果。 展开更多

关键词 WEBGIS 全文搜索引擎 空间数据搜索

下载PDF 职称材料

主题搜索引擎的研究 被引量：2

15

作者 李瑞芳 杨娜 《微型机与应用》 2009年第19期1-3,6,共4页

介绍了将开源的全文检索工具包Lucene嵌入到自己的搜索引擎中来满足开发主题搜索引擎的需求。并基于Lucene中文分词的不足设计了一个比较完善的中文分词器,然后将其引入具体应用中,并且与传统搜索引擎在性能上进行了比较。

关键词 LUCENE 全文检索技术 主题搜索引擎 索引 中文分词

下载PDF 职称材料

维、哈、柯多语种搜索引擎中索引器的研究 被引量：2

16

作者 吐尔洪.吾司曼 维尼拉.木沙江 《新疆大学学报（自然科学版）》 CAS 2011年第2期132-135,共4页

本文主要研究维、哈、柯多语种全文搜索引擎索引器模块中的关键问题,并提出了一系列有效的解决方法.包括适合于维、哈、柯多语种全文搜索引擎的倒排索引结构,检索算法,倒排表的更新策略以及低频词的置换处理等.实验结果表明,该方法能满... 本文主要研究维、哈、柯多语种全文搜索引擎索引器模块中的关键问题,并提出了一系列有效的解决方法.包括适合于维、哈、柯多语种全文搜索引擎的倒排索引结构,检索算法,倒排表的更新策略以及低频词的置换处理等.实验结果表明,该方法能满足维、哈、柯语言文字的处理需要,同时明显地提高了维、哈、柯文搜索引擎的索引效率以及搜索结果的质量. 展开更多

关键词 全文搜索 倒排索引 多语种搜索引擎

下载PDF 职称材料

基于Lucene的企业电子文档搜索系统的开发研究 被引量：2

17

作者 林钰杰 吴丽贤 《电子设计工程》 2017年第17期102-106,共5页

随着企业信息化的发展,企业的信息资源越来越丰富,电子文档已成为企业信息传递、保存的重要形式,如何让员工快速全面地从海量的电子文档中找到所需的内容,日趋显得重要。针对企业电子文档搜索的现状和不足,本文研究了全文检索技术和全... 随着企业信息化的发展,企业的信息资源越来越丰富,电子文档已成为企业信息传递、保存的重要形式,如何让员工快速全面地从海量的电子文档中找到所需的内容,日趋显得重要。针对企业电子文档搜索的现状和不足,本文研究了全文检索技术和全文检索工具Lucene,并将其引入到系统开发中,在主流的B/S分层架构基础上,重点对文本提取模块、中文词划分模块、索引模块和搜索模块进行了设计与实现,构建了一个基于Lucene的企业电子文档搜索系统。实践表明,本系统为企业员工提供了一种高效的电子文档检索方式,提高了员工的工作效率,改善了系统用户体验并提升了企业信息化水平。 展开更多

关键词 LUCENE 全文检索 电子文档 企业搜索引擎

下载PDF 职称材料

基于Lucene全文检索引擎的应用研究 被引量：2

18

作者 朱雪莲 《微型机与应用》 2010年第22期3-5,共3页

Lucene是一个强大的全文索引引擎工具包,它的全文检索技术是信息检索领域广泛使用的基本技术,具有访问索引时间快、多用户访问、跨平台使用的特点。介绍了一个高性能的全文检索引擎——Lucene开源系统,详细分析了Lucene的系统结构、全... Lucene是一个强大的全文索引引擎工具包,它的全文检索技术是信息检索领域广泛使用的基本技术,具有访问索引时间快、多用户访问、跨平台使用的特点。介绍了一个高性能的全文检索引擎——Lucene开源系统,详细分析了Lucene的系统结构、全文索引机制,然后将其引入具体应用,给出了一个基于Lucene全文检索技术的具体实例。 展开更多

关键词 全文检索技术 LUCENE 索引

下载PDF 职称材料

全文搜索引擎在煤矿运维系统中的应用 被引量：2

19

作者 孟峰 荆诚 《工矿自动化》 北大核心 2019年第3期103-108,共6页

针对目前已有的煤矿运维系统功能单一、自动化程度低等问题,将全文搜索引擎应用到煤矿运维系统中,通过搜索引擎从故障解决方案数据库中搜索出匹配的解决方案。介绍了煤矿运维系统流程及故障解决方案来源、数据结构和录入流程;通过对比选... 针对目前已有的煤矿运维系统功能单一、自动化程度低等问题,将全文搜索引擎应用到煤矿运维系统中,通过搜索引擎从故障解决方案数据库中搜索出匹配的解决方案。介绍了煤矿运维系统流程及故障解决方案来源、数据结构和录入流程;通过对比选型,选择Elasticsearch作为煤矿运维系统的全文搜索引擎,并给出了其具体应用方法。实例分析及测试结果表明,该搜索引擎提供的搜索结果与告警内容所反映的故障相关度较高,能够为解决故障提供有效帮助。 展开更多

关键词 煤矿安全 煤矿运维系统 全文搜索引擎 Elasticsearch 故障解决方案

下载PDF 职称材料

基于PyQt的全文搜索引擎平台开发 被引量：2

20

作者 张文超 胡玉兰 《软件导刊》 2018年第9期132-135,共4页

网络信息数量的日益增加,对人们从中获取有效信息的能力提出了更高要求。为了更好地响应用户需求,提高信息处理效率并降低人力成本,基于PyQt进行全文搜索引擎平台开发。采用模块化思想设计网络信息采集功能,然后将获取的信息经数据处理... 网络信息数量的日益增加,对人们从中获取有效信息的能力提出了更高要求。为了更好地响应用户需求,提高信息处理效率并降低人力成本,基于PyQt进行全文搜索引擎平台开发。采用模块化思想设计网络信息采集功能,然后将获取的信息经数据处理后建立索引库,采用PageRank算法对查询响应结果进行排序,实现检索器功能,并通过用户的点击决策,利用神经网络对排序结果进行二次修正。最后,在界面输入查询字符串后,便可快速得到已排序的链接响应,从而能更好地反映用户对检索结果的感兴趣程度,并提供个性化服务。 展开更多

关键词 全文搜索引擎 网络信息采集 PAGERANK PyQt

下载PDF 职称材料