期刊文献+
共找到360篇文章
< 1 2 18 >
每页显示 20 50 100
基于MongoDB的矢量空间数据云存储与处理系统 被引量:42
1
作者 雷德龙 郭殿升 +2 位作者 陈崇成 巫建伟 吴小竹 《地球信息科学学报》 CSCD 北大核心 2014年第4期507-516,共10页
近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,... 近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。 展开更多
关键词 矢量数据 NOSQL数据库 mongodb 云存储 HADOOP 多用户
原文传递
基于MongoDB构建高性能网站技术研究 被引量:21
2
作者 张文盛 郑汉华 《吉林师范大学学报(自然科学版)》 2013年第1期123-127,共5页
现代大型网站有两个主要特征:大数据量和高访问量,这也是此类大型网站发展的难点和瓶颈,通过构建高性能WEB站点,是解决大型网站发展困境的必由之路.从硬件和软件两个方面探讨了高性能网站的系统架构建设,采用当前最流行的构建高性能WEB... 现代大型网站有两个主要特征:大数据量和高访问量,这也是此类大型网站发展的难点和瓶颈,通过构建高性能WEB站点,是解决大型网站发展困境的必由之路.从硬件和软件两个方面探讨了高性能网站的系统架构建设,采用当前最流行的构建高性能WEB站点技术,特别是非关系型数据库MongoDB和分布式文件系统FastDFS的引进,加上基于MVC的PHP开发模型,保证网站的高性能、高可用和高安全性. 展开更多
关键词 mongodb FastDFS MVC PHP 高性能网站
下载PDF
医疗大数据分析管理系统的设计与科研应用 被引量:19
3
作者 吴宇皓 蒋琳 周奕 《中国数字医学》 2017年第6期53-55,共3页
目的:在互联网+时代,探讨以科研数据中心为基础,设计并建立医疗大数据分析管理系统,进行大数据分析与应用。方法:根据医学科研需要,进行面向对象的需求分析,建立医疗大数据分析管理系统,应用于临床科研。结果:利用医疗大数据分析管理系... 目的:在互联网+时代,探讨以科研数据中心为基础,设计并建立医疗大数据分析管理系统,进行大数据分析与应用。方法:根据医学科研需要,进行面向对象的需求分析,建立医疗大数据分析管理系统,应用于临床科研。结果:利用医疗大数据分析管理系统,已建立20个专业科研数据库,完成科研查询200余项次。结论:通过对医疗大数据的分析与应用,可以更好的服务于临床科研。 展开更多
关键词 科研数据中心 医疗大数据分析 mongodb
下载PDF
基于Redis+MySQL+MongoDB存储架构应用 被引量:19
4
作者 朱亚兴 余爱民 王夷 《微型机与应用》 2014年第13期3-5,9,共4页
Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加,可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能;依据切片键索引分片,位于各切片独立进行计算,使大数据下的... Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加,可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能;依据切片键索引分片,位于各切片独立进行计算,使大数据下的实时分析成为现实。对于高频访问的数据放在了Redis中,有效地降低磁盘I/O,使业务系统响应更为敏捷,满足了高并发下应用服务的高呑吐要求。 展开更多
关键词 移动位置服务SaaS REDIS mongodb
下载PDF
传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究 被引量:18
5
作者 曾海峰 王淑营 董钦钰 《计算机应用研究》 CSCD 北大核心 2017年第11期3339-3344,共6页
为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到No SQL文档型数据库中。针对RDBMS中的关系模型向Mongo DB中的集合模型转换方法进行了研究,提出了表示关系间参照完整性的有向图... 为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到No SQL文档型数据库中。针对RDBMS中的关系模型向Mongo DB中的集合模型转换方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,以及基于关系型数据模型向Mongo DB文档模型自动转换算法,实现了RDBMS中迁移数据到Mongo DB的插入算法。针对上述方案和算法,结合典型开源RDBMSMy SQL实例,对上述关系有向图模型的生成、基于有向图模型的转换算法以及数据迁移算法应用进行验证,实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到Mongo DB中。 展开更多
关键词 RDBMS NOSQL mongodb 关系有向图 模型转换 数据迁移
下载PDF
MongoDB数据库中Sharding技术应用研究 被引量:17
6
作者 梁海 《计算机技术与发展》 2014年第7期60-62,67,共4页
非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库... 非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。 展开更多
关键词 非关系型数据库 性能测试 mongodb Sharding
下载PDF
基于NoSQL的文件型大数据存储技术研究 被引量:19
7
作者 张艳霞 丰继林 +2 位作者 郝伟 单维锋 沈焱萍 《制造业自动化》 北大核心 2014年第6期27-30,共4页
针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储... 针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储空间可自由扩展。采用数据分片的方法,实现了文件型大数据的均衡存储,并给出了存储文件数据一般算法。基于NoSQL技术的大数据存储是一种新型应用方式,该系统的负载均衡能力和可扩展度均优于传统技术。 展开更多
关键词 非关系数据库 mongodb 云存储结构 文件数据存储算法
下载PDF
基于大数据的住院医师规范化培训系统设计与实现 被引量:16
8
作者 王杰 钱旦敏 +3 位作者 娄帅 何德福 韦玉芳 董建成 《计算机应用与软件》 北大核心 2018年第3期61-66,172,共7页
随着住院医师规范化培训规模的不断壮大,运用信息化管理已成为必然趋势。住院医师规范化培训系统旨在提高医院管理效率,保障培训质量。该系统基于大数据的理念,采用B/S体系结构,运用ASP.NET MVC5框架,数据库以微软的SQL Server为主,部... 随着住院医师规范化培训规模的不断壮大,运用信息化管理已成为必然趋势。住院医师规范化培训系统旨在提高医院管理效率,保障培训质量。该系统基于大数据的理念,采用B/S体系结构,运用ASP.NET MVC5框架,数据库以微软的SQL Server为主,部分模块采用Mongo DB进行存储。在国家级和省级住院医师规范化培训系统功能结构基础上,拓展新增题库管理和轮转排班模块,以满足医院内部需求。系统功能齐备,经测试、部署运行后,能够满足对住院医师培训的信息化管理,不同用户能够高效、安全地行使各自的职能。 展开更多
关键词 住院医师 大数据 MVC SQL SERVER mongodb
下载PDF
基于MongoDB的海量空间数据存储和并行 被引量:16
9
作者 张恩 张广弟 兰磊 《地理空间信息》 2014年第1期46-48,9,共3页
目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行... 目前在分布式环境下对于海量空间数据的存储和处理大部分是基于传统关系数据库的,对于二三维的海量空间数据存储效果不理想,其独有的关系模型制约了对海量空间数据快速访问和处理的能力。因此,分布式环境下如何利用非关系数据库和并行处理技术实现海量空间数据的高效存储和快速处理具有重要的研究意义。 展开更多
关键词 海量空间数据 分布式存储 并行计算 mongodb MAPREDUCE
下载PDF
基于Scrapy的分布式爬虫系统的设计与实现 被引量:17
10
作者 李代祎 谢丽艳 +1 位作者 钱慎一 吴怀广 《湖北民族学院学报(自然科学版)》 CAS 2017年第3期317-322,共6页
随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不... 随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不可制定的搜索服务,而单机的网络爬虫又难当重任,因此可定制性强、信息采集速度快和规模大的分布式网络爬虫便应运而生.通过对原有Scrapy框架的学习和研究,将Scrapy和Redis结合改进原有的爬虫框架,设计并实现了一个基于Scrapy框架下的分布式网络爬虫系统,然后将从安居客、58同城、搜房等网站抓取的二手房信息存入MongoDB中,便于对数据进行进一步的处理和分析.结果表明基于Scrapy框架下的分布式网络爬虫系统同单机网络爬虫系统相比效率更高且更稳定. 展开更多
关键词 Scrapy 分布式 Scrapy-Reids 网络爬虫 Mongo DB 数据存储
下载PDF
基于Flex、Red5和MongoDB的视频直播、录制及存储系统设计 被引量:14
11
作者 郑静静 叶焱 +2 位作者 刘太君 代成 王鸿来 《计算机应用》 CSCD 北大核心 2014年第2期589-592,共4页
为改善以往网络视频直播或点播过程中播放不流畅的情况和寻找大量视频数据的存储策略,提出了一种实时的视频直播、录制及存储系统的整体设计方案。利用开源的流媒体服务器Red5结合富互联网技术Flex实现直播和录制;通过开源NoSQL数据库Mo... 为改善以往网络视频直播或点播过程中播放不流畅的情况和寻找大量视频数据的存储策略,提出了一种实时的视频直播、录制及存储系统的整体设计方案。利用开源的流媒体服务器Red5结合富互联网技术Flex实现直播和录制;通过开源NoSQL数据库MongoDB将录制的视频数据进行存储。实际测试结果表明,该平台能满足系统在多用户访问和数据存储方面的要求。 展开更多
关键词 FLEX 流媒体 RED5 视频直播 mongodb
下载PDF
面向大数据处理的Hadoop与MongoDB整合技术研究 被引量:14
12
作者 曾强 缪力 秦拯 《计算机应用与软件》 CSCD 2016年第2期21-24,37,共5页
随着数据种类的增多和数据规模的增大,No SQL技术与MapReduce并行处理思想越来越受到重视。Mongo DB作为NoSQL数据库的典型代表,支持对海量数据进行索引和查询,但Mongo DB提供的MapReduce还不能满足复杂的数据分析和计算。而Hadoop虽然... 随着数据种类的增多和数据规模的增大,No SQL技术与MapReduce并行处理思想越来越受到重视。Mongo DB作为NoSQL数据库的典型代表,支持对海量数据进行索引和查询,但Mongo DB提供的MapReduce还不能满足复杂的数据分析和计算。而Hadoop虽然提供了强大的MapReduce并行计算框架,却在实时服务方面存在较高延时。针对这种情况,综合考虑扩展性,数据本地化,I/O性能等因素,提出并实现Hadoop与Mongo DB四种不同的整合方案。通过设计三种具有代表性的应用作为性能的测量基准,对不同的整合方案进行性能对比实验,得出不同应用场景下的最优整合方案。实验表明,在Mongo DB与Hadoop的折衷使用过程中,若对不同的应用采用合理的方案,性能最多可以提高3倍。 展开更多
关键词 整合 mongodb Hadoop大数据
下载PDF
基于MongoDB的数据分片与分配策略研究 被引量:13
13
作者 熊峰 刘宇 《计算机与数字工程》 2019年第4期892-897,共6页
为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用。论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究。首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性... 为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用。论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究。首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性能,并以片键公式的应用实例来证明了片键选择机制的有效性。然后,针对当前MongoDB内部均衡算法的不足,在考虑了数据节点负载的差异后,对均衡算法进行了相应优化,实现了数据量与节点负载的动态均衡,并验证了新算法具有良好的高并发读写性能。 展开更多
关键词 mongodb 数据分片 分片键选择机制 数据分配 均衡优化
下载PDF
MongoDB索引的用电信息非结构化数据存储方法 被引量:12
14
作者 徐英辉 祝恩国 +1 位作者 赵睿 杨挺 《电力系统及其自动化学报》 CSCD 北大核心 2017年第9期93-97,共5页
随着用电信息采集系统的健全,双向互动化功能的需求增加,系统所承载的用电信息由最初的规整结构化数据演变成结构化数据和多类型非结构化数据的混杂,且数据量也日益聚增。本文对用电信息采集系统的非结构化数据组成进行了梳理,从数据源... 随着用电信息采集系统的健全,双向互动化功能的需求增加,系统所承载的用电信息由最初的规整结构化数据演变成结构化数据和多类型非结构化数据的混杂,且数据量也日益聚增。本文对用电信息采集系统的非结构化数据组成进行了梳理,从数据源角度出发,按照客户用电信息数据和客户数据两大类别,分别对用电信息采集系统涉及的A、B、C、D、E 5类用户进行了非结构化数据特征分析。本文提出采用MongoDB索引Hadoop分布式文件系统的新型用电信息采集系统非结构化数据存储方法,实现对系统中混杂非结构化数据的分类存储和准确实时读写,为双向互动化功能提供了良好底层泛在数据支撑。 展开更多
关键词 非结构化数据 用电信息数据 HADOOP分布式文件系统 mongodb
下载PDF
基于MongoDB的电网信息三维可视化系统数据管理 被引量:12
15
作者 李巍 孟令愚 +2 位作者 郑善奇 张靖欣 于海 《计算机与数字工程》 2019年第1期248-252,260,共6页
电网运行网络涉及面广,设备众多且内部结构复杂,对于运行中所产生的信息数据,如果采用传统管理方式,不仅效率低、成本高,而且不利于提升运行安全性。为此,可对其进行三维可视化处理。通过MongoDB技术、B/S技术,对如何实现电网信息三维... 电网运行网络涉及面广,设备众多且内部结构复杂,对于运行中所产生的信息数据,如果采用传统管理方式,不仅效率低、成本高,而且不利于提升运行安全性。为此,可对其进行三维可视化处理。通过MongoDB技术、B/S技术,对如何实现电网信息三维可视化数据管理进行讨论。结果表明:通过电网设备信息三维可视化,不仅可以提升场景视角管理直观性,改善空间规划管理,而且能够改善设备管理以及资源搜索效率;在三维可视化过程中,要重点关注设备管理三维化,一方面要提升设备上下架效率,另一方面要增加故障告警管理可视化程度,同时注重其机柜使用效率统计可视化。 展开更多
关键词 mongodb 电网运行 智能电网 三维可视化 数据集成
下载PDF
基于MongoDB的船舶数据库构建与数据批量迁移技术 被引量:11
16
作者 潘明阳 高立佳 +1 位作者 宋平亮 赵丽宁 《大连海事大学学报》 CAS CSCD 北大核心 2016年第1期39-44,共6页
基于目前最流行的一种非关系型数据库Mongo DB,对非关系型的船舶数据库构建进行深入研究,包括可行性分析、数据模型和地理索引等,为海量船舶数据管理提供了新思路,并以Spring Batch批处理框架为基础设计和实现了Oracle到Mongo DB的数据... 基于目前最流行的一种非关系型数据库Mongo DB,对非关系型的船舶数据库构建进行深入研究,包括可行性分析、数据模型和地理索引等,为海量船舶数据管理提供了新思路,并以Spring Batch批处理框架为基础设计和实现了Oracle到Mongo DB的数据批量迁移程序,为关系型数据库到非关系型数据库的过渡提供了高效灵活且稳定的解决方案. 展开更多
关键词 mongodb 船舶数据库 SPRING BATCH 数据迁移
原文传递
实验室管理系统的设计与实现 被引量:11
17
作者 喻晗 刘威 《电子设计工程》 2017年第1期1-5,共5页
根据目前实验室资源需要合理分配与利用的需求,设计与实现了一种稳定方便的多平台实验室管理系统。该系统采用Spring mvc作为服务端核心框架,利用MongoDB存储购物实验室的资源信息与人员信息,Web端页面采用AngularJS将所有信息展现出来... 根据目前实验室资源需要合理分配与利用的需求,设计与实现了一种稳定方便的多平台实验室管理系统。该系统采用Spring mvc作为服务端核心框架,利用MongoDB存储购物实验室的资源信息与人员信息,Web端页面采用AngularJS将所有信息展现出来。同时为了满足便携式的需求,加入Android客户端方便参与实验室管理。最后,通过实际应用证明了此系统的可行性与实用价值。 展开更多
关键词 SPRING MVC AngularJS mongodb ANDROID 实验室管理
下载PDF
非结构化数据库MongoDB的数据存储 被引量:10
18
作者 李纪伟 段中帅 王顺晔 《电脑知识与技术》 2018年第9X期7-9,共3页
计算机信息化系统中的数据分为结构化数据和非结构化数据。随着大数据的发展,数据内容的多样性带动了非结构化数据存储技术的发展。本文选择非结构化数据库MongoDB,介绍了其存储原理及其与结构化数据库的区别,讲述MongoDB的主要技术,含... 计算机信息化系统中的数据分为结构化数据和非结构化数据。随着大数据的发展,数据内容的多样性带动了非结构化数据存储技术的发展。本文选择非结构化数据库MongoDB,介绍了其存储原理及其与结构化数据库的区别,讲述MongoDB的主要技术,含数据结构、主要操作、数据检索、安全,最后描述MongoDB的主要应用,包括与Java、Python连接,作为后台数据库配置服务器,并实现了对图片和视频的存储和爬虫的功能,后续将其应用到大数据应用和非结构化多媒体数据库中。 展开更多
关键词 非结构化数据库 mongodb 数据库存储 网络爬虫
下载PDF
基于MongoDB的海量遥感影像大数据存储 被引量:10
19
作者 秦强 王晏民 黄明 《北京建筑大学学报》 2015年第1期62-66,共5页
随着科技的发展,遥感影像照片在质量及数量上急剧增加,如何安全并高效地将其存储已成为当前研究的一个热点问题.应用NoSQl非关系型数据库,提出一种基于MongoDB的遥感影像大数据的存储方法.用基于GridFS的大文件存储方式存储影像,再将其... 随着科技的发展,遥感影像照片在质量及数量上急剧增加,如何安全并高效地将其存储已成为当前研究的一个热点问题.应用NoSQl非关系型数据库,提出一种基于MongoDB的遥感影像大数据的存储方法.用基于GridFS的大文件存储方式存储影像,再将其有关的属性信息以一条文档的形式插入MongoDB数据库,两者之间用相同的ID编号连接.通过与关系型数据库PostgreSQL在大文件以及传统海量文档存储方面进行性能测试比较,结果表明基于MongoDB的海量遥感影像大数据存储方法在各方面性能均明显优于基于关系型数据库的存储方法. 展开更多
关键词 NOSQL mongodb 遥感影像 大数据
下载PDF
基于MongoDB GridFS的地图瓦片数据存储研究 被引量:10
20
作者 邱新忠 《地理空间信息》 2016年第2期50-52,8,共3页
从地图瓦片数据存储方式入手,分析了ArcGIS地图瓦片存储散列式和紧凑式的优缺点,从而引入基于MongoDB GridFS的地图瓦片存储方式。通过对常规地图瓦片存储与基于MongoDB GridFS的地图瓦片存储的读取效率进行性能测试和对比分析得出,基于... 从地图瓦片数据存储方式入手,分析了ArcGIS地图瓦片存储散列式和紧凑式的优缺点,从而引入基于MongoDB GridFS的地图瓦片存储方式。通过对常规地图瓦片存储与基于MongoDB GridFS的地图瓦片存储的读取效率进行性能测试和对比分析得出,基于MongoDB GridFS的地图瓦片存储在大数据量时有着明显优势。 展开更多
关键词 地图瓦片 ARCGIS mongodb GridFS
下载PDF
上一页 1 2 18 下一页 到第
使用帮助 返回顶部