期刊文献+
共找到154篇文章
< 1 2 8 >
每页显示 20 50 100
基于Hadoop的海量农业数据资源管理平台 被引量:34
1
作者 杨锋 吴华瑞 +2 位作者 朱华吉 张海辉 孙想 《计算机工程》 CAS CSCD 北大核心 2011年第12期242-244,共3页
使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践... 使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。 展开更多
关键词 海量农业数据 管理平台 分布式存储 元数据 资源检索
下载PDF
基于云计算技术的电力大数据分布式检索系统 被引量:23
2
作者 杜红军 李巍 +1 位作者 张文杰 于海 《电网与清洁能源》 2018年第9期19-24,共6页
为了提高电力大数据定位识别和信息融合能力,进行电力大数据检索优化设计,提出一种基于云计算技术的电力大数据检索系统设计方法,采用多元回归分析方法构建电力大数据库存储结构模型,进行电力大数据的分布式存储数据结构特征分析,对混... 为了提高电力大数据定位识别和信息融合能力,进行电力大数据检索优化设计,提出一种基于云计算技术的电力大数据检索系统设计方法,采用多元回归分析方法构建电力大数据库存储结构模型,进行电力大数据的分布式存储数据结构特征分析,对混合型的电力大数据在云计算环境下进行信息聚类融合处理,采用模糊特征分组聚类方法对不同属性的电力大数据进行分组检测,提取电力大数据的关联规则特征量,采用云计算技术实现电力大数据分布式检索。在嵌入式环境下进行电力大数据分布式检索系统软件设计。仿真结果表明,采用该方法进行电力大数据检索的特征指向性较好,数据检索的数据召回率较高。 展开更多
关键词 云计算技术 电力大数据 分布式检索 聚类 多元回归分析
下载PDF
分布式多媒体系统通信平台及若干相关技术的探讨 被引量:16
3
作者 刘积仁 王兴伟 张应辉 《电子学报》 EI CAS CSCD 北大核心 1997年第11期54-59,共6页
近十年来,分布式多媒体系统得到了很快发展,在很多关键技术领域取得了重大进展,同时也面临着不断出现的新型应用提出的新的挑战.本文探讨分布式多媒体系统通信平台及相关技术并展望今后的研究方向.
关键词 多媒体 分布式多媒体 通信平台 计算机网络
下载PDF
基于ElasticSearch的TEE病例库检索系统设计与实现 被引量:17
4
作者 胡鑫 姚宇 徐英杰 《计算机应用》 CSCD 北大核心 2018年第A01期91-94,共4页
为了解决大数据量下的"经食道超声电子病例库系统"中搜索服务的搜索效率低、匹配度单一等问题,设计并构建了一种以Elastic Search技术为核心,结合Nginx、Spring Boot、Redis等多门技术的分布式经食道超声检索系统。该系统属... 为了解决大数据量下的"经食道超声电子病例库系统"中搜索服务的搜索效率低、匹配度单一等问题,设计并构建了一种以Elastic Search技术为核心,结合Nginx、Spring Boot、Redis等多门技术的分布式经食道超声检索系统。该系统属于一个微服务,首先由Logstash工具将旧数据从MySQL导入到Elastic Search中,再由Spring Boot管理用户与Elastic Search数据之间的访问与存储,Nginx服务器管理静态资源图片和视频,Redis管理用户信息及常用访问内容。经大量测试表明,该系统搜索结果齐全,包含了病例数据、图片、视频等各类信息;搜索响应时间较短,平均在2 s以内。因此,用该微服务来替换原有经食道超声电子病例库系统中的搜索功能,可大大提高病例库系统的性能。 展开更多
关键词 ElasticSearch 搜索引擎 分布式检索 springBoot NGINX REDIS
下载PDF
面向过程的海洋时空数据分布式存储与并行检索 被引量:12
5
作者 谭凯中 秦勃 何亚文 《中国海洋大学学报(自然科学版)》 CAS CSCD 北大核心 2021年第11期94-101,134,共9页
海洋现象特征数据是一类带有过程性质的时空数据,具有多样性、多态性、海量性和时变性等特点,广泛服务于海洋灾害预报、船舶航行规划、台风路径追踪、海洋与大气环流等领域。本文根据海洋现象特征,建立海洋现象过程的对象表达和数据组... 海洋现象特征数据是一类带有过程性质的时空数据,具有多样性、多态性、海量性和时变性等特点,广泛服务于海洋灾害预报、船舶航行规划、台风路径追踪、海洋与大气环流等领域。本文根据海洋现象特征,建立海洋现象过程的对象表达和数据组织模型,设计三维空间海洋时空数据分片策略和R树空间数据索引方法,以提高海洋现象过程时空数据的查询效率。实验通过构建海洋现象过程时空数据分布式存储与并行检索系统测试算法的执行效率。实验结果表明,面向过程的海洋时空数据分布式并行检索算法能够实现数据的高效检索,验证了海洋现象过程对象数据组织模型的合理性,为研究海洋现象过程多要素的关联机制提供了有效的方法和理论基础。 展开更多
关键词 面向过程 海洋时空数据 分布式检索 分布式存储 R树空间数据索引
下载PDF
基于ElasticSearch的数字图书馆检索系统 被引量:12
6
作者 张建中 黄艳飞 熊拥军 《计算机与现代化》 2015年第6期69-73,共5页
针对大数据时代下图书馆文献的存储和检索难题,运用HDFS分布式文件系统实现图书馆文献资源的海量存储,釆用ElasticSearch分布式索引技术对资源进行分布式索引和检索,构建了一个高效的、分布式的数字图书馆检索系统。测试结果显示,在大... 针对大数据时代下图书馆文献的存储和检索难题,运用HDFS分布式文件系统实现图书馆文献资源的海量存储,釆用ElasticSearch分布式索引技术对资源进行分布式索引和检索,构建了一个高效的、分布式的数字图书馆检索系统。测试结果显示,在大数据量下,系统检索时间约为传统Oracle数据库检索时间的1/20,并带有缓存功能。 展开更多
关键词 数字图书馆 海量存储 分布式索引 分布式检索
下载PDF
基于云计算的分布式企业搜索引擎研究 被引量:9
7
作者 林乐然 陈德龙 《电脑知识与技术》 2009年第11X期9429-9430,9434,共3页
当前企业搜索引擎多采用基于全文检索技术设计,随着索引的膨胀和客户端并发查询的增加,有限的物理存储、CPU周期、内存容量和网络带宽带来了巨大瓶颈。随着云计算概念的提出和发展,为企业搜索引擎提供了更加优化的解决方案。本文将简要... 当前企业搜索引擎多采用基于全文检索技术设计,随着索引的膨胀和客户端并发查询的增加,有限的物理存储、CPU周期、内存容量和网络带宽带来了巨大瓶颈。随着云计算概念的提出和发展,为企业搜索引擎提供了更加优化的解决方案。本文将简要介绍现阶段基于分布式存储和分布式计算的云计算研究成果,以及其在企业搜索引擎中的应用。 展开更多
关键词 云计算 分布式存储 分布式文件系统 分布式计算 企业搜索引擎 全文检索
下载PDF
定向查询引擎在Web化学数据库集成检索中的应用 被引量:12
8
作者 储春梅 李晓霞 郭力 《计算机与应用化学》 CAS CSCD 北大核心 2005年第8期659-666,共8页
Internet上的化字数据库是重要的专业资源,基于超链按分析的搜索引擎还不能索引这类资源。本论文以充分利用In- ternet上的化学数据库数据为目标,将“一个查询发动多个同级检索引擎,并以结构化的方式组织信息”的方案应用于以化合物标... Internet上的化字数据库是重要的专业资源,基于超链按分析的搜索引擎还不能索引这类资源。本论文以充分利用In- ternet上的化学数据库数据为目标,将“一个查询发动多个同级检索引擎,并以结构化的方式组织信息”的方案应用于以化合物标识信息为检索入口的Web化学数据库,建立了一个基于多站点集成检索的Web数据库定向查询引擎。该引擎是一个包括用户交互层、中间检索层、数据提供层的三层Web模型。各层在系统内部分别对应于响应用户检索请求的客户端代理模块、集成远程Web信息的服务器端代理模块,以及提供缓存和检索的关系数据库模块。模型采用JSP+Java组件的开发方式, 在HTTP协议标准发送方法的基础上,采用XML技术对检索返回文档进行结构化数据的提取和表示,利用XML-DBMS实现XML数据的存储和检索,建立了一套针对深层Web数据交换的解决方案。依此方案所建立的ChemDB Portal Search实现了四个分布式Web化学数据库的有效加入、同时检索和统一显示。该系统是针对深层Web信息的挖掘和集成检索的一次尝试, 它可为其它领域建立类似的系统提供借鉴。 展开更多
关键词 定向查询引擎 深层网 WEB数据挖掘 分布式数据库 集成检索 XML
原文传递
基于Hadoop的海量图像检索系统 被引量:10
9
作者 王梅 朱信忠 +1 位作者 赵建民 黄彩锋 《计算机技术与发展》 2013年第1期204-208,共5页
在传统图像检索系统中,由于采用单节点架构,面对海量图像数据检索时存在检索速度慢、并发性差等问题。文中提出了一种基于Hadoop的图像检索方法,将图像检索技术与MapReduce框架相结合,图像特征库存储于分布式文件系统HDFS中,计算节点采... 在传统图像检索系统中,由于采用单节点架构,面对海量图像数据检索时存在检索速度慢、并发性差等问题。文中提出了一种基于Hadoop的图像检索方法,将图像检索技术与MapReduce框架相结合,图像特征库存储于分布式文件系统HDFS中,计算节点采用基于Hadoop的分布式存储调度算法,增强对多数据的并发处理能力,同时对计算后的数据进行压缩处理。实验表明,该方法在处理大数据图像检索时,与单节点检索系统相比,能够有效降低检索时间,提高检索速度。 展开更多
关键词 HADOOP MAPREDUCE 分布式计算 图像检索
下载PDF
一种分布式冗余的实时数据存储检索机制 被引量:11
10
作者 李德文 黄文君 +1 位作者 胡静泓 钱益舟 《上海交通大学学报》 EI CAS CSCD 北大核心 2014年第7期948-952,958,共6页
为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方... 为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求. 展开更多
关键词 分布式 多重副本 存储检索 一致性哈希 多版本控制
下载PDF
基于文本聚类与分布式Lucene的知识检索 被引量:10
11
作者 冯汝伟 谢强 丁秋林 《计算机应用》 CSCD 北大核心 2013年第1期186-188,共3页
针对传统集中式索引处理大规模数据的性能和效率问题,提出了一种基于文本聚类的检索算法。利用文本聚类算法改进现有的索引划分方案,根据查询与聚类结果的距离计算判断查询意图,缩减查询范围。实验结果表明,所提方案能够有效地缓解大规... 针对传统集中式索引处理大规模数据的性能和效率问题,提出了一种基于文本聚类的检索算法。利用文本聚类算法改进现有的索引划分方案,根据查询与聚类结果的距离计算判断查询意图,缩减查询范围。实验结果表明,所提方案能够有效地缓解大规模数据建索引和检索的压力,大幅提高分布式检索性能,同时保持着较高的准确率和查全率。 展开更多
关键词 非结构化知识 分布式索引 文本聚类 全文检索 并行检索
下载PDF
基于Z39.50的分布式联机书目检索 被引量:6
12
作者 闵峰 张福炎 +1 位作者 黄伟红 王晔 《情报学报》 CSSCI 北大核心 2000年第5期538-543,共6页
Z3 9 50是网络信息检索的标准协议 ,目前主要应用于联机书目检索领域。本文首先探讨基于Z3 9 50的联机书目检索的技术以及目前面临的问题 ,然后提出一个应用查询路由技术的分布式结构 ,并讨论了MARC索引的组织 ,节点质心信息的提取 ,查... Z3 9 50是网络信息检索的标准协议 ,目前主要应用于联机书目检索领域。本文首先探讨基于Z3 9 50的联机书目检索的技术以及目前面临的问题 ,然后提出一个应用查询路由技术的分布式结构 ,并讨论了MARC索引的组织 ,节点质心信息的提取 ,查询循环控制等关键技术。文中提出的系统结构和实现技术有助于提高数字图书馆环境中分布资源的查询效率。 展开更多
关键词 Z39.50 分布式联机书目检索 信息检索 节点模型
下载PDF
分布式海量遥感影像编目检索机制 被引量:9
13
作者 谢冰川 陈荦 +1 位作者 赵亮 李莎莎 《计算机工程》 CAS CSCD 北大核心 2010年第20期281-282,285,共3页
为了高效地组织、检索分布式海量遥感数据,研究FGDC制定的遥感元数据标准草案,提出一种具有良好可扩展性的遥感编目数据模型。基于该编目数据模型,提出一种基于编目数据的分布式影像检索算法,设计并实现一个遥感数据编目检索系统,实验... 为了高效地组织、检索分布式海量遥感数据,研究FGDC制定的遥感元数据标准草案,提出一种具有良好可扩展性的遥感编目数据模型。基于该编目数据模型,提出一种基于编目数据的分布式影像检索算法,设计并实现一个遥感数据编目检索系统,实验结果表明,该系统是有效的。 展开更多
关键词 海量遥感影像 编目 数据模型 分布式 检索
下载PDF
电力企业的非结构化数据检索研究 被引量:8
14
作者 罗学礼 徐树振 +2 位作者 王森 杨莉 段嘉杰 《计算机与数字工程》 2014年第4期729-733,共5页
电网公司多年来建设了很多业务系统,各业务系统相互孤立应用。随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便。建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Li... 电网公司多年来建设了很多业务系统,各业务系统相互孤立应用。随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便。建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Linux计算机集群上部署Hadoop开发框架以及Solr分布式全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务,使得企业相关人员能够高效、便捷地检索出所需的数据。实现知识服务无处不在,为员工工作提供帮助,为企业提供决策支持。 展开更多
关键词 非结构化数据 分布式 HADOOP SOLR 存储 检索
下载PDF
基于Hadoop平台的相关性权重算法设计与实现 被引量:8
15
作者 高军 黄献策 《计算机工程》 CAS CSCD 北大核心 2019年第3期26-31,共6页
传统TF-IDF算法仅从词频与逆向文档频率的角度计算关键词与文档之间的相关性权重,忽略了用户兴趣对权重计算的影响。为此,以满足用户信息检索目的为研究背景,提出一种基于日志关联的相关性权重算法。从面向用户相关性的角度出发,通过分... 传统TF-IDF算法仅从词频与逆向文档频率的角度计算关键词与文档之间的相关性权重,忽略了用户兴趣对权重计算的影响。为此,以满足用户信息检索目的为研究背景,提出一种基于日志关联的相关性权重算法。从面向用户相关性的角度出发,通过分析用户的搜索日志建立用户兴趣模型,并结合分布式计算的思想,运用MapReduce编程框架实现计算任务的并行化处理。实验结果表明,该算法在处理海量数据时,不仅能够提高算法效率,而且可以根据用户的历史检索记录动态地改变检索词的权重,提升用户与系统的交互能力。 展开更多
关键词 分布式计算 TF-IDF算法 日志 兴趣模型 信息检索
下载PDF
基于P2P的分布式主题爬虫系统的设计与实现 被引量:6
16
作者 朱学芳 韩占校 《情报学报》 CSSCI 北大核心 2010年第3期402-407,共6页
本文详细叙述了一个用于信息检索的基于P2P的分布式爬虫系统的设计和实现过程。系统基于锚文本上下文进行主题相关性判定,采用P2P式的分布式结构,充分利用其动态增加新结点的特性来动态地扩展系统的规模,提高系统的整体吞吐能力,以满足... 本文详细叙述了一个用于信息检索的基于P2P的分布式爬虫系统的设计和实现过程。系统基于锚文本上下文进行主题相关性判定,采用P2P式的分布式结构,充分利用其动态增加新结点的特性来动态地扩展系统的规模,提高系统的整体吞吐能力,以满足现在和将来的用户对日益增长的大数据量检索需求。实验结果表明,可根据用户给定的主题对网页链接上下文进行主题相关性判定以引导爬虫的爬行路径,能够有效地获取相关主题信息。 展开更多
关键词 网络爬虫 对等网络 分布式计算 信息检索 主题爬虫
下载PDF
基于OGC WPS的遥感图像分布式检索系统研究 被引量:5
17
作者 刘军志 宋现锋 +1 位作者 汪超亮 胡勇 《地理与地理信息科学》 CSCD 北大核心 2008年第4期1-5,共5页
结合OGC WPS开放标准规范和分布式检索技术,提出基于OGC WPS构建遥感图像分布式检索系统的方法。采用Z39.50通用检索表达式的扩展模式,避免了遥感图像编目数据库与检索系统的紧密耦合;采用HTTP/XML定义检索网关和资源节点之间的WPS接口... 结合OGC WPS开放标准规范和分布式检索技术,提出基于OGC WPS构建遥感图像分布式检索系统的方法。采用Z39.50通用检索表达式的扩展模式,避免了遥感图像编目数据库与检索系统的紧密耦合;采用HTTP/XML定义检索网关和资源节点之间的WPS接口,实现了编目资源节点到网关的动态接入与移出机制。最后运用开放源代码GIS技术开发了一个原型演示系统,试验证明上述方法切实可行。 展开更多
关键词 遥感图像 分布式检索 通用检索表达式 OGC WPS
下载PDF
基于Hadoop平台的图像检索分布式算法的改进研究 被引量:7
18
作者 丁灿 侯春萍 王宝亮 《南开大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第4期46-51,共6页
针对单机环境下图像检索算法存在的计算瓶颈问题,提出1种基于Hadoop平台Map-Reduce框架的图像检索改进算法.首先利用云存储和分布式算法的优点,对图像检索算法进行并行化设计,然后通过改进的K-Means和Bo F算法,对原有图像检索算法进行优... 针对单机环境下图像检索算法存在的计算瓶颈问题,提出1种基于Hadoop平台Map-Reduce框架的图像检索改进算法.首先利用云存储和分布式算法的优点,对图像检索算法进行并行化设计,然后通过改进的K-Means和Bo F算法,对原有图像检索算法进行优化,提高检索效率和准确性.实验结果表明,提出的方法能够很好地提高图像检索算法的执行速度,同时获得较好的图像检索准确性. 展开更多
关键词 分布式运算 图像检索 MAP-REDUCE 尺度不变特征变换
原文传递
基于分布式文件系统电力大数据存储实现 被引量:6
19
作者 陈行滨 王周 +2 位作者 郑飘飘 林德威 刘青 《粘接》 CAS 2022年第6期172-175,共4页
基于Hadoop存储架构设计了电网非结构化数据管理平台,主要包括存储分析与搜索读取2大模块,整合HDFS、Hbase等存储设备,利用HDFS实现海量数据的快速读写,采用基于ZooKeeper及Solr搭建的开源分布式搜索引擎SolrCloud实现数据检索,提供了... 基于Hadoop存储架构设计了电网非结构化数据管理平台,主要包括存储分析与搜索读取2大模块,整合HDFS、Hbase等存储设备,利用HDFS实现海量数据的快速读写,采用基于ZooKeeper及Solr搭建的开源分布式搜索引擎SolrCloud实现数据检索,提供了高效便捷的智能化管理手段。 展开更多
关键词 电网管理 Hadoop存储 分布式 数据检索
下载PDF
分布式大规模文本检索系统 被引量:5
20
作者 李智超 熊风 +1 位作者 富羽鹏 马少平 《广西师范大学学报(自然科学版)》 CAS 北大核心 2007年第2期178-181,共4页
阐述了一个分布式大规模文本检索系统的结构和工作原理,并且基于TREC 2006的数据进行实验,得出了分布式检索系统具有有效性和高效性的结论。
关键词 分布式系统 文本检索 域信息 TREC 2006
下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部