一种基于NoSQL的地图瓦片数据存储技术 被引量：33

1

作者 陈超 王亮 +3 位作者 闫浩文 仇阿根 李玉祥 朱芳菲 《测绘科学》 CSCD 北大核心 2013年第1期142-143,159,共3页

本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差... 本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异。研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性。 展开更多

关键词 NOSQL 地图瓦片 mongo DB 四叉树 SQL SERVER 2000

原文传递

基于MongoDB的前置通信平台大数据存储机制 被引量：15

2

作者 史玉良 王相伟 +2 位作者 梁波 朱伟义 吕梁 《电网技术》 EI CSCD 北大核心 2015年第11期3176-3181,共6页

为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4... 为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优化机制。然后,针对目前Mongo DB数据均衡策略的不足,结合数据节点负载的差异,对均衡策略进行优化,实现了数据量和负载的动态均衡。前置通信平台的实践应用分析验证了基于Mongo DB的大数据存储机制具有高并发读写性能和良好的可行性。 展开更多

关键词 用电信息采集系统 云存储 mongo DB

下载PDF 职称材料

基于Scrapy的分布式爬虫系统的设计与实现 被引量：17

3

作者 李代祎 谢丽艳 +1 位作者 钱慎一 吴怀广 《湖北民族学院学报（自然科学版）》 CAS 2017年第3期317-322,共6页

随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不... 随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不可制定的搜索服务,而单机的网络爬虫又难当重任,因此可定制性强、信息采集速度快和规模大的分布式网络爬虫便应运而生.通过对原有Scrapy框架的学习和研究,将Scrapy和Redis结合改进原有的爬虫框架,设计并实现了一个基于Scrapy框架下的分布式网络爬虫系统,然后将从安居客、58同城、搜房等网站抓取的二手房信息存入MongoDB中,便于对数据进行进一步的处理和分析.结果表明基于Scrapy框架下的分布式网络爬虫系统同单机网络爬虫系统相比效率更高且更稳定. 展开更多

关键词 Scrapy 分布式 Scrapy-Reids 网络爬虫 mongo DB 数据存储

下载PDF 职称材料

分布式数据库聚合计算性能优化 被引量：10

4

作者 肖子达 朱立谷 +1 位作者 冯东煜 张迪 《计算机应用》 CSCD 北大核心 2017年第5期1251-1256,共6页

针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通... 针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通过研究分布式数据库的索引效率,利用删除查询字段索引的方法进一步提升计算性能,该方法能充分利用硬件资源提高聚合计算的性能。实验结果表明,采用高基数粒度的分片片键能够让数据在集群上均匀地分布在各个数据节点上,而舍弃索引使用全表查询能够有效提高聚合计算的速度,聚合计算优化方法能够有效提高聚合计算的性能。 展开更多

关键词 NO SQL mongo DB MAPREDUCE 聚合计算 性能优化

下载PDF 职称材料

红茶菌芒果复合酒的发酵动力学模型及其抗氧化活性 被引量：9

5

作者 李敏杰 熊亚 《现代食品科技》 EI CAS 北大核心 2020年第12期220-226,266,共8页

本文以红茶菌发酵液和芒果汁为原料,酿制出红茶菌芒果复合果酒,对其抗氧化性进行测定并建立红茶菌芒果复合果酒发酵动力学模型。对果酒的抗氧化性测定试验表明:总酚含量、DPPH及羟基自由基清除率随发酵时间的变化趋势总体上均呈现出先... 本文以红茶菌发酵液和芒果汁为原料,酿制出红茶菌芒果复合果酒,对其抗氧化性进行测定并建立红茶菌芒果复合果酒发酵动力学模型。对果酒的抗氧化性测定试验表明:总酚含量、DPPH及羟基自由基清除率随发酵时间的变化趋势总体上均呈现出先上升再下降的趋势,在发酵第8 d,均达到最高值,总酚含量、DPPH和羟基自由基清除率分别为799.61 mg/mL、92.50%、86.30%。用SGompertz模型建立了酵母菌生长动力学模型,相关系数R2=0.98;用Boltzmann方程建立了总糖消耗动力学模型,用Logistic模型建立了酒精生成动力学模型,相关系数R2均>0.99,动力学模型的建立实验结果表明实验值和模型预测值的拟合度很高,能很好的反映红茶菌芒果复合果酒在发酵过程中的动力学特征。红茶菌芒果复合酒发酵过程中抗氧化活性呈峰型变化,为红茶菌芒果复合酒发酵提供了参考。 展开更多

关键词 红茶菌 芒果 复合酒 发酵动力学模型 抗氧化性

下载PDF 职称材料

一种基于ANTLR的MongoDB数据库SQL转化模型 被引量：9

6

作者 李常青 谷建华 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第1期143-147,共5页

作为非关系型数据的典型存储和管理模型,NoSQL(not only structured query language)技术随着大数据发展浪潮已成为研究热点之一。通过对著名NoSQL数据库MongoDB特点的分析,针对其缺乏SQL(structured query language)访问接口的不足,提... 作为非关系型数据的典型存储和管理模型,NoSQL(not only structured query language)技术随着大数据发展浪潮已成为研究热点之一。通过对著名NoSQL数据库MongoDB特点的分析,针对其缺乏SQL(structured query language)访问接口的不足,提出了一种基于ANTLR的MongoDB数据库SQL转化模型,并重点研究了该模型的分层构成、SQL解析、语义转换以及运行机制。基于该模型,设计开发了原型系统,对该模型的效果进行了验证,达到了预期的目标。这一研究成果的突出贡献在于,它可以使得软件开发人员对MongoDB数据库的学习曲线变得平坦,减少了编制程序的工作量,提高了软件的开发效率。 展开更多

关键词 SQL NO SQL mongo DB 大数据 转化模型 ANTLR

下载PDF 职称材料

基于MongoDB的蛋白质组学大数据存储系统设计 被引量：5

7

作者 张琳 谭军 白明泽 《计算机应用》 CSCD 北大核心 2016年第A01期232-236,共5页

蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外... 蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外,关系型数据库的集群架构关系复杂,维护成本高,代码处理也复杂。为解决传统存储系统在海量蛋白质组学数据的存储和访问的效率瓶颈问题,应用No SQL非关系型数据库,提出了一种基于Mongo DB分布式数据库存储结构的蛋白质组学数据存储系统设计方案。通过系统的功能测试、性能测试,结果表明,随着数据量和访问量的上升,Mongo DB显示出了更高的性能和更快的处理速度,该平台能够改善传统的文件存储和关系数据库存储所暴露的部分性能问题。 展开更多

关键词 蛋白质组学 大数据 mongo DB No SQL 关系数据库

下载PDF 职称材料

基于MongoDB的信息集成系统的设计与实现 被引量：6

8

作者 仝义明 黄蔚 李戴维 《信息技术》 2015年第2期125-129,133,共6页

数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用Mong... 数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用MongoDB集群分布式存储海量数据并提供统一检索,实现了数据的共享。最后,对系统进行了索引优化与性能实验。实践表明,系统具有灵活度高,扩展性好,容错性强等特点,具有较强的实用价值。 展开更多

关键词 数据集成 数据共享 mongo DB 分布式系统

下载PDF 职称材料

基于开源GIS的城市非点源污染负荷模拟研究 被引量：5

9

作者 巴特 杨昆 +1 位作者 朱彦辉 何毅 《环境科学与技术》 CAS CSCD 北大核心 2015年第11期233-238,共6页

随着点源污染不断得到控制,非点源污染在城市水污染中所占的比重逐步增大,通过建立城市非点源污染负荷模拟系统,可以从空间上了解城市非点源污染产生和扩散过程,为治理非点源污染提供数据依据。该研究在借鉴目前城市非点源污染模型与GI... 随着点源污染不断得到控制,非点源污染在城市水污染中所占的比重逐步增大,通过建立城市非点源污染负荷模拟系统,可以从空间上了解城市非点源污染产生和扩散过程,为治理非点源污染提供数据依据。该研究在借鉴目前城市非点源污染模型与GIS集成应用的基础上,针对商业GIS组件开发成本较高、开放性较差、开发灵活性较弱以及SWMM模型本身空间分析能力弱和空间可视化表达效果差等问题,借助开源GIS组件DotSpatial和MongoDB数据库,实现GIS与SWMM模型的紧密集成,并以MongoDB数据库为数据交互中心管理模型数据,开发出具有开发出低成本、扩展性强、高开放、灵活度高等特点的城市非点源污染负荷模拟系统。该研究选择昆明市东风东路片区作为研究区域,并用实测降雨数据进行模拟分析,结果表明系统具有良好的实用性。 展开更多

关键词 DOT SPATIAL 城市非点源污染 SWMM mongo DB

下载PDF 职称材料

支持MongoDB的事务管理方案研究 被引量：2

10

作者 汪添生 尉双梅 +3 位作者 崔蔚 刘迪 何金陵 孙琦 《计算机系统应用》 2017年第7期278-282,共5页

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB... MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性. 展开更多

关键词 分布式数据库 mongo DB 事务管理 守护进程 MQ 消息通信

下载PDF 职称材料

中医电子病历大数据服务平台设计与研究 被引量：4

11

作者 生慧 王振国 《山东中医药大学学报》 2017年第5期402-405,共4页

通过对中医电子病历大数据服务平台的功能、技术和安全需求进行分析,设计出多层次的中医电子病历大数据服务平台,该平台具有数据采集、数据共享存储、数据分析、保证数据安全的功能,能够为个体化医疗与精准医疗、方药知识发现、治未病... 通过对中医电子病历大数据服务平台的功能、技术和安全需求进行分析,设计出多层次的中医电子病历大数据服务平台,该平台具有数据采集、数据共享存储、数据分析、保证数据安全的功能,能够为个体化医疗与精准医疗、方药知识发现、治未病、个体化疗效评价等方面提供便利,在保证中医特色和数据安全的前提下,实现中医电子病历核心数据的开放、共享、分析与应用。 展开更多

关键词 中医电子病历 大数据 数据采集 mongo DB数据挖掘

下载PDF 职称材料

基于IMONGO算法的船-机-桨参数匹配技术

12

作者 张增鑫 李纯金 +2 位作者 李磊 马骏 许宏锐 《舰船科学技术》 北大核心 2023年第23期108-114,共7页

传统船-机-桨参数匹配还停留在图谱法研究中,不能满足船舶精细化设计要求,为此提出一种船-机-桨参数匹配的新方法。首先,基于船-机-桨匹配动态数学模型构建船-机-桨参数匹配的多目标优化模型;其次,以最小化发动机燃油消耗、最大化推进... 传统船-机-桨参数匹配还停留在图谱法研究中,不能满足船舶精细化设计要求,为此提出一种船-机-桨参数匹配的新方法。首先,基于船-机-桨匹配动态数学模型构建船-机-桨参数匹配的多目标优化模型;其次,以最小化发动机燃油消耗、最大化推进系统效率及最小化燃烧物排放为目标函数;然后,采用改进的多目标北方苍鹰优化算法(IMONGO)计算船-机-桨匹配参数。最后,使用排序优选技术(TOPSIS)对Pareto解集的性能进行排序,选出排序靠前的匹配参数组合。通过试验验证,燃油消耗率降低5.97%,发动机燃烧物排放中氮氧化物排放体积比降低19.49%,碳烟(soot)排放质量分数降低20.1%,船舶推进系统效率提高到0.59,优化的船-机-桨匹配参数对实际工程设计具有巨大参考价值。 展开更多

关键词 船-机-桨参数匹配 多目标北方苍鹰优化算法 多目标优化

下载PDF 职称材料

BEPC-Ⅱ新型数据存档软件系统设计 被引量：4

13

作者 乔予思 雷革 《核电子学与探测技术》 北大核心 2017年第2期152-155,共4页

介绍了BEPC-Ⅱ新型数据存档软件系统的设计和实现。该系统设有以非关系型数据库MongoDB为平台的数据采集存储引擎和一套跨平台使用的查询绘图软件,用于对存档数据进行方便、快速的查询和图形化显示。实验测试结果表明该系统具有较好的... 介绍了BEPC-Ⅱ新型数据存档软件系统的设计和实现。该系统设有以非关系型数据库MongoDB为平台的数据采集存储引擎和一套跨平台使用的查询绘图软件,用于对存档数据进行方便、快速的查询和图形化显示。实验测试结果表明该系统具有较好的写入效率和查询性能,能够实现BEPCⅡ或其他加速器系统运行实时数据的存档、查询、绘图等功能。 展开更多

关键词 mongo DB 存档 查询

下载PDF 职称材料

电网图形数据管理MongoDB数据库的应用 被引量：4

14

作者 赵越 李培 +1 位作者 王震 张声圳 《计算机系统应用》 2017年第3期239-243,共5页

国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入Mongo DB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海... 国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入Mongo DB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海量数据信息化应用的性能需求. 展开更多

关键词 电网图形 多时态多级 分布式及分片 mongo DB

下载PDF 职称材料

四种杀虫剂防治芒果横线尾夜蛾药效试验 被引量：3

15

作者 陈永森 黄国弟 +4 位作者 莫永龙 周俊岸 赵英 梁宏合 蒲金基 《广西农业科学》 CSCD 2009年第10期1312-1314,共3页

为筛选出高效低毒适用于无公害芒果园使用的芒果横线尾夜蛾防治药剂,2009年4~5月进行了4种杀虫剂对芒果横线尾夜蛾的防治效果试验。结果表明,在芒果树嫩梢抽出2～5cm时,以2.5%溴氰菊酯乳油2500倍液连续喷雾3次后,能有效控制芒果横线尾... 为筛选出高效低毒适用于无公害芒果园使用的芒果横线尾夜蛾防治药剂,2009年4~5月进行了4种杀虫剂对芒果横线尾夜蛾的防治效果试验。结果表明,在芒果树嫩梢抽出2～5cm时,以2.5%溴氰菊酯乳油2500倍液连续喷雾3次后,能有效控制芒果横线尾夜蛾的为害,防效达87.0%,且对果树安全,适宜在芒果生产中推广应用;2%阿维菌素乳油2000倍液对芒果横线尾夜蛾也有较好的防治效果,可以作为防治芒果横线尾夜蛾的农药在生产上轮换使用;敌敌畏和毒死蜱对芒果横线尾夜蛾的防效较差,可能是长期反复使用,使害虫对其产生了抗药性的结果。 展开更多

关键词 芒果 横线尾夜蛾 杀虫剂 药效试验

下载PDF 职称材料

面向Agent的信念修正的系统模型

16

作者 王元刚 李冠宇 丁亚飞 《计算机工程与设计》 北大核心 2016年第6期1593-1598,共6页

提出一种面向Agent个体的信念修正系统模型。采用资源有限性Agent的定义及其相应的信念修正实现方法,保证系统的处理效率;利用MongoDB分布式文档存储的特点和数据存储格式BSON在数据传输上的通用性,提高系统在存储方面的可扩展性和信念... 提出一种面向Agent个体的信念修正系统模型。采用资源有限性Agent的定义及其相应的信念修正实现方法,保证系统的处理效率;利用MongoDB分布式文档存储的特点和数据存储格式BSON在数据传输上的通用性,提高系统在存储方面的可扩展性和信念存储的完整性与操作效率。为更好地规范Agent之间通信数据的格式并增强Agent与Web应用数据传输上的兼容性,整合现有的Agent通信语言的语义和JSON在数据规范上的特点,提出一种Agent通信语言JSONACL。实例验证与分析结果表明,该模型在处理较大信念集的情况时表现良好,为信念修正提供了一种可视化表现形式。 展开更多

关键词 信念修正 信念集网络 mongo DB 网络可视化 AGENT

下载PDF 职称材料

基于MongoDB的调查决策系统数据存储方案设计

17

作者 周霞 张伟男 时壮 《电脑知识与技术（过刊）》 2016年第3X期18-19,共2页

之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决... 之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决策系统的数据存储是非常有现实意义的。该文为大家呈现基于Mongo DB这个面向文档的非关系型数据库来设计投票及所包含问题的数据存储,在详细介绍其内嵌和引用这两种解决方式基础上最终给出后台的数据存储方案。 展开更多

关键词 非关系型 数据库 mongo DB 调查决策 数据存储

下载PDF 职称材料

基于Mongo DB的众包数据索引方法探讨 被引量：1

18

作者 蔡为 杨再华 +3 位作者 顾英哲 徐雯婷 郭涛 秦昆 《地理空间信息》 2018年第6期32-34,共3页

服务于小城镇智慧规划管理的众包数据具有数据类型多样、数据量巨大的特点,必须建立合适的索引,才能满足快速检索和查询的需要。以面向文档型数据存储的开源数据库Mongo DB为基础,对基于Mongo DB的众包数据索引方法进行探索,分析了利用... 服务于小城镇智慧规划管理的众包数据具有数据类型多样、数据量巨大的特点,必须建立合适的索引,才能满足快速检索和查询的需要。以面向文档型数据存储的开源数据库Mongo DB为基础,对基于Mongo DB的众包数据索引方法进行探索,分析了利用地理空间索引B+树、Geo Hash和多层次索引等进行众包数据索引的方法。 展开更多

关键词 mongo DB数据库 空间查询 分布式处理 空间索引

下载PDF 职称材料

基于MongoDB的Web信息采集系统应用研究 被引量：1

19

作者 孙美卫 《湖南邮电职业技术学院学报》 2017年第2期35-38,共4页

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试... 在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息。 展开更多

关键词 mongo DB Web信息采集系统 日志分析

下载PDF 职称材料

基于Node.js和MongoDB实现地理国情样本库系统

20

作者 牛艳霞 马秉斌 《科技传播》 2015年第8期131 145-,145,共2页

本文主要论述了如何基于Node.js与Mongo DB数据库建立地理国情样本库系统,完成对地理国情普查成果中样本点数据的统一存储、查询和管理,并介绍了系统功能架构及实现。

关键词 地理国情样本库系统 Node.js mongo DB

下载PDF 职称材料