MongoDB数据库下文件型数据存储研究 被引量：14

1

作者 谢华成 马学文 《软件》 2015年第11期12-14,共3页

针对云计算和WEB2.0环境下不断增容的文件型数据,采用关系数据库和IIS文件系统存储二进制文档效果不理想,关系数据模型制约了存储服务对海量文件信息快速访问和存取的能力。建立非关系型文档数据库MongoDB数据存储和实验平台,将海量互... 针对云计算和WEB2.0环境下不断增容的文件型数据,采用关系数据库和IIS文件系统存储二进制文档效果不理想,关系数据模型制约了存储服务对海量文件信息快速访问和存取的能力。建立非关系型文档数据库MongoDB数据存储和实验平台,将海量互联网文件数据以<key,value>方式存储结点中实现数据存储。实验表明,该存储系统在文件存储应用中具有较高的可靠性和吞吐性能,易于扩展和开发,为移动云计算中非结构化数据存储提供了一种思路。 展开更多

关键词 MongoDB存储 分布式文件存储 键值存储 非关系型数据库

下载PDF 职称材料

地理空间数据库技术分析与选型 被引量：12

2

作者 唐芝青 唐先龙 《测绘与空间地理信息》 2020年第11期80-82,共3页

利用地理空间信息服务经济社会发展和百姓生活的前提是如何存储和管理好海量地理空间数据。本文对地理空间数据库技术进行了研究,并分析当前市场主流数据库系统的优势和不足,指出各自的适用场景,以供地理空间数据库系统建设者参考。

关键词 地理空间数据库 关系型数据库 非关系型数据库 数据库选型

下载PDF 职称材料

面向核应急多源异构数据的数据库模块设计研究 被引量：13

3

作者 裴秋艳 汪进 +3 位作者 陈春花 郑晓磊 何桃 吴宜灿 《核科学与工程》 CAS CSCD 北大核心 2020年第3期413-418,共6页

随着大数据和信息化技术的快速发展,大量多源异构数据支持核应急决策成为可能,合理的核应急数据库设计直接影响核应急决策系统数据访问的效率。本文设计了一种关系型与非关系型耦合数据库(G-R-M),在开源分布式关系数据库Greenplum的基... 随着大数据和信息化技术的快速发展,大量多源异构数据支持核应急决策成为可能,合理的核应急数据库设计直接影响核应急决策系统数据访问的效率。本文设计了一种关系型与非关系型耦合数据库(G-R-M),在开源分布式关系数据库Greenplum的基础上整合非关系型数据库Redis、MongoDB,对核应急信息进行优化管理,解决了数据事务性和高效存取的矛盾。以核事故状态下应急防护措施选用分析为案例,应用本文设计的G-R-M数据库开展了传统关系型数据库与改进后数据库在数据查询性能方面的对比测试。结果表明,G-R-M数据库较大程度提升了核事故早期信息的查询调用效率,可为核事故应急决策提供快速数据支持。 展开更多

关键词 核应急 多源异构数据 信息管理 非关系型数据库

下载PDF 职称材料

大数据时代非关系型数据库教学与实验改革探索 被引量：8

4

作者 邱胜海 高成冲 +3 位作者 王云霞 陆云 王志亮 马银忠 《电脑知识与技术》 2013年第11期7046-7048,共3页

分析了大数据时代数据库系统新技术和需求的迫切性，从多个方面比较了传统的关系型数据库和非关系型数据库的差异，针对关系型数据库存在的问题及缺陷，提出了使用非关系型数据库的必要性。给出了非关系型数据库课程理论和实验教学内容... 分析了大数据时代数据库系统新技术和需求的迫切性，从多个方面比较了传统的关系型数据库和非关系型数据库的差异，针对关系型数据库存在的问题及缺陷，提出了使用非关系型数据库的必要性。给出了非关系型数据库课程理论和实验教学内容，并结合实例描述了非关系型数据库的用法。引入非关系型数据库的教学必能极大地增强大数据时代的信息化人才培养的力度，带来较好的经济效益和社会效益。 展开更多

关键词 非关系型数据库 无模式 聚合结构 实验教学 云计算

下载PDF 职称材料

基于MongoDB的非关系型数据库的设计研究

5

作者 施莹超 《科技资讯》 2024年第8期40-42,共3页

为了解决传统关系数据库所存在的海量级数据处理效率低下等问题,利用MongoDB技术,制定了MongoDB存储架构,并采用当前的主流技术,提出一套行之有效的非关系型数据库设计方案。首先,对MongoDB技术进行了详细的介绍;其次,从数据库连接、创... 为了解决传统关系数据库所存在的海量级数据处理效率低下等问题,利用MongoDB技术,制定了MongoDB存储架构,并采用当前的主流技术,提出一套行之有效的非关系型数据库设计方案。首先,对MongoDB技术进行了详细的介绍;其次,从数据库连接、创建集合、基本操作实现这3个方面入手,设计了基于MongoDB的非关系型数据库。这一数据库的实现为后期相关数据库的设计工作提供了重要的参考依据。 展开更多

关键词 关系型数据库 非关系型数据库 前端界面 总体架构

下载PDF 职称材料

某市400余万份住院病案首页数据质量分析 被引量：6

6

作者 梁力中 陶光毅 +1 位作者 孙丽 黄晓 《中国卫生信息管理杂志》 2021年第3期426-430,共5页

目的研究大规模住院病案首页数据的质量分析方法。方法利用TRIP数据库的存储、检索和统计分析功能以及逻辑校验,对某市2016年—2020年400余万份住院病案首页数据质量进行分析。结果采用空项检索对住院病案首页必填项的完整率进行分析,... 目的研究大规模住院病案首页数据的质量分析方法。方法利用TRIP数据库的存储、检索和统计分析功能以及逻辑校验,对某市2016年—2020年400余万份住院病案首页数据质量进行分析。结果采用空项检索对住院病案首页必填项的完整率进行分析,获得漏填的数据。采用检索、统计分析以及逻辑校验,对住院病案首页数据的正确率进行分析,获得错填、错选和错编的数据。可对漏填、错填、错选和错编的数据进行溯源。结论为住院病案首页数据质量分析提供了新方法,可有效提高住院病案首页数据质量。 展开更多

关键词 非关系型数据库 住院病案首页 质量分析 检索 统计分析

下载PDF 职称材料

基于文档型非关系型数据库档案数据存储研究 被引量：5

7

作者 王志宇 郭士华 《档案学研究》 CSSCI 北大核心 2021年第5期79-84,共6页

2019年12月国家档案局正式发布了《基于文档型非关系型数据库的档案数据存储规范》,并于2020年5月1日开始实施,该标准规定了使用文档型数据库存储档案数据的总体要求,提出了使用文档型数据库存储和管理档案数据的基本功能和实施方法。... 2019年12月国家档案局正式发布了《基于文档型非关系型数据库的档案数据存储规范》,并于2020年5月1日开始实施,该标准规定了使用文档型数据库存储档案数据的总体要求,提出了使用文档型数据库存储和管理档案数据的基本功能和实施方法。通过对该《规范》的解读,结合文档型非关系型数据库的功能,以MongoDB数据库为实践对象,可以看出其存储档案数据特别是非结构化档案数据的原理和方法与传统解决方案的不同。采用文档型非关系型数据库存储档案数据具备全新的优势和价值。 展开更多

关键词 非关系型数据库 非结构化数据 档案存储 MongoDB数据库

原文传递

低温热年代学数据库建设现状与前景展望

8

作者 戴梦瑶 王平 +5 位作者 李安波 丁璐 刘品钦 戴紧根 张会平 刘少峰 《地震地质》 EI CSCD 北大核心 2023年第6期1432-1451,共20页

低温热年代学是新构造和地貌演化研究的重要技术手段,与常规的地质年代学方法在数据表达、分析和解释方面都存在明显差异,需要建设专门的数据库应对其数据日益增长,并满足大数据创新研究的需求。文中选取4个具有代表性的典型传统数据库... 低温热年代学是新构造和地貌演化研究的重要技术手段,与常规的地质年代学方法在数据表达、分析和解释方面都存在明显差异,需要建设专门的数据库应对其数据日益增长,并满足大数据创新研究的需求。文中选取4个具有代表性的典型传统数据库和2个新一代数据库进行对比分析,发现传统数据库(如NGDB)的数据来源单一,样品数据以结构化的表格呈现,并以关系型数据库的形式进行数据管理;而新一代低温热年代学数据库(如AusGeochem)的数据来源广泛,包含结构化和非结构化数据,且数据库的扩展性强,能够适应新方法和大数据分析的需求,并采用灵活的数据库类型与应用程序接口(API)联合管理数据,兼具数据查询、分析与可视化功能。文中针对现有数据库存在的问题,在数据持续增长、数据库的可扩展性和数据编号管理等方面对下一步数据库的建设进行了展望,以期为新构造和地貌演化的大数据研究提供基础保障。 展开更多

关键词 低温热年代学 大数据 人工智能 关系型数据库 非关系型数据库

下载PDF 职称材料

基于Cassandra的海量MUSER数据分布式存储与检索研究 被引量：5

9

作者 石玥 王锋 +1 位作者 李鹏程 刘应波 《天文研究与技术》 CSCD 2018年第3期361-368,共8页

明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析... 明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。 展开更多

关键词 非关系型数据库 存储 检索

下载PDF 职称材料

基于非关系型的数据库构建电力系统私有云存储系统 被引量：5

10

作者 汤胜 胡伟文 +1 位作者 邹芹 刘华 《仪表技术》 2016年第10期32-34,共3页

电力系统的信息数据具有量大、分布广、类型多等特点,然而目前针对数量庞大的历史数据,电力系统的大部分数据仍然采用传统的数据平台进行历史数据归档管理,这不仅浪费系统存储资源,也不利于进行大数据分析,同时也是引起系统访问瓶颈的... 电力系统的信息数据具有量大、分布广、类型多等特点,然而目前针对数量庞大的历史数据,电力系统的大部分数据仍然采用传统的数据平台进行历史数据归档管理,这不仅浪费系统存储资源,也不利于进行大数据分析,同时也是引起系统访问瓶颈的症结所在。从全新的视角,详细说明了如何通过rsync文件同步协议,基于个人PC搭建一个硬件存储环境,并基于非关系型的数据库Mongodb实现电力系统私有云存储功能的过程。 展开更多

关键词 RSYNC 非关系型的数据库 MONGODB 云存储

下载PDF 职称材料

基于区块链的非结构化大数据动态安全存储 被引量：5

11

作者 段平 《吉林大学学报（信息科学版）》 CAS 2020年第5期595-600,共6页

当前大数据交互的不透明性以及数据文件访问形式的不合理性,导致大数据存储存在存储延时长、安全性较差的问题,为此提出基于区块链的非结构化大数据动态安全存储技术。构建多用户规则调度模型,利用存储数据包生成独立的行向量与n阶矩阵... 当前大数据交互的不透明性以及数据文件访问形式的不合理性,导致大数据存储存在存储延时长、安全性较差的问题,为此提出基于区块链的非结构化大数据动态安全存储技术。构建多用户规则调度模型,利用存储数据包生成独立的行向量与n阶矩阵,基于列不满秩概率完成存储算法设计;采用区块链非对称加密技术的公私钥,实现透明与完整的数据交互,对次要信息与数据访问形式实施记录。引入分布式文件系统,将其与Mongo DB非关系型数据库有效结合,从而使非结构化大数据得到安全存储。仿真实验结果表明,该方法不仅具有理想的存储速率,而且使大数据的完整性得到了保证,具有理想的有效性与实践性。 展开更多

关键词 区块链 非结构化大数据 动态安全存储 分布式文件系统 非关系型数据库

下载PDF 职称材料

面向高并发物联网环境的混合式多元数据存储方案 被引量：1

12

作者 林峰 赵佳旭 《宁德师范学院学报（自然科学版）》 2023年第1期23-30,共8页

为提升高并发物联网环境中数据读写性能,在关系型数据库MySQL基础上,引入MongoDB、Redis和Hive3种NoSQL数据库组件,设计并实现了混合式多元数据存储方案,充分发挥数据库组件各自技术优势,共同支撑底层海量传感器接入及高层物联网数据挖... 为提升高并发物联网环境中数据读写性能,在关系型数据库MySQL基础上,引入MongoDB、Redis和Hive3种NoSQL数据库组件,设计并实现了混合式多元数据存储方案,充分发挥数据库组件各自技术优势,共同支撑底层海量传感器接入及高层物联网数据挖掘等应用功能.通过比对试验,在传感器并发数据量达100万条时,多元数据存储方案明显优于传统单一型数据存储方案,存储性能提升了52.21%,验证了新方案具备较高实用性. 展开更多

关键词 多元数据存储 高并发 物联网 非关系型数据库

下载PDF 职称材料

基于非关系型数据库的大数据分布式存储技术

13

作者 刘志强 《科技创新与应用》 2023年第22期27-30,共4页

该文提出一种基于非关系型数据库(MongoDB)的大数据分布式存储技术,可以满足快速索引、精确查找的需求。该文首先介绍非关系型数据库的数据存储结构,包括BSON文档系统、GridFS大文件存储系统,随后概述分布式存储系统的2种常见存储模式... 该文提出一种基于非关系型数据库(MongoDB)的大数据分布式存储技术,可以满足快速索引、精确查找的需求。该文首先介绍非关系型数据库的数据存储结构,包括BSON文档系统、GridFS大文件存储系统,随后概述分布式存储系统的2种常见存储模式和自动分片技术,并使用自动分片技术对分布式数据库的查询算法进行优化。实验表明,使用自动分片技术能够显著提高数据索引效率,达到设计预期。 展开更多

关键词 非关系型数据库 分布式存储 分布式哈希表 自动分片技术 存储模式

下载PDF 职称材料

变电站历史数据分布式存储系统设计与实现 被引量：4

14

作者 任浩 闫卫国 +2 位作者 王强 陈建 郭凌旭 《电气自动化》 2019年第4期83-85,共3页

目前,变电站接入的数据类型越来越多,存在存储分散,结构和访问方式差异大,以及没有建立统一的存储和访问接口等问题。针对以上问题,提出一种基于Key-Value非关系型数据库的"Redis代理机+SSDB存储集群"的变电站历史数据分布式... 目前,变电站接入的数据类型越来越多,存在存储分散,结构和访问方式差异大,以及没有建立统一的存储和访问接口等问题。针对以上问题,提出一种基于Key-Value非关系型数据库的"Redis代理机+SSDB存储集群"的变电站历史数据分布式存储的实现方式,包括Redis代理服务器和SSDB存储集群,在代理服务器端通过历史数据统一导入工具,将不同厂家的变电站SCADA历史数据和非结构化历史数据统一存储在Key-Value网络化缓存库中,再通过代理服务程序,采用一致性哈希分片算法将其分布式转存至存储集群中,对于存储集群的每个存储子机通过LevelDB存储引擎将缓存数据存入磁盘文件中,实现对历史数据的分布式永久性存储。经实验室测试证明,开发出的变电站历史数据分布式存储系统的功能需求和性能指标完全达到预期目标。 展开更多

关键词 非关系型数据库 非结构化数据 REDIS SSDB 分布式存储

下载PDF 职称材料

基于Python的高校电子文档管理系统 被引量：4

15

作者 黄昇 《计算机系统应用》 2021年第4期69-76,共8页

随着高校采购任务的剧增,采购业务积累了大量的电子文档资料,原一站式采购管理平台的文档管理功能已经无法满足现有的工作需要.综合分析现有文件和资料管理的需求,并根据文档实际生命周期的业务流程,确定了系统功能模块的划分.利用模型... 随着高校采购任务的剧增,采购业务积累了大量的电子文档资料,原一站式采购管理平台的文档管理功能已经无法满足现有的工作需要.综合分析现有文件和资料管理的需求,并根据文档实际生命周期的业务流程,确定了系统功能模块的划分.利用模型驱动工程思想建立系统的对象模型,使用Rational建模工具建立系统类图和时序图来描述系统整体架构和业务逻辑,选择轻量级Flask框架模型进行研发,采用文档型数据库MongoDB解决大并发量和数据服务器的读写压力,为今后大数据分析提供保障提出PyPDF方法解决PDF元数据提取功能.最终解决了电子文档流转最后归档环节缺乏信息化管理的问题. 展开更多

关键词 文档管理 模型驱动 非关系型数据库 Flask框架 元数据

下载PDF 职称材料

基于非关系型数据库的水文大数据存储方法研究 被引量：2

16

作者 余国倩 陶光毅 +2 位作者 封得华 赵天宇 李薇 《水利信息化》 2020年第4期22-26,共5页

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC... 针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。 展开更多

关键词 非关系型数据库 关系型数据库 水文大数据 非结构化数据 大数据存储

下载PDF 职称材料

云计算环境下NoSQL数据库技术及应用研究 被引量：3

17

作者 刘河 陈宇 《软件导刊》 2013年第10期138-140,共3页

目前关系型数据库在云计算的平台下已经成为制约整个Web架构敏捷性和扩展性的瓶颈,而NoSQL可扩展的松耦合类型数据模式,以及在易用性、高度伸缩性、支持海量数据等方面所表现出来的优点,使其在云计算领域被广泛应用。分析了NoSQL数据库... 目前关系型数据库在云计算的平台下已经成为制约整个Web架构敏捷性和扩展性的瓶颈,而NoSQL可扩展的松耦合类型数据模式,以及在易用性、高度伸缩性、支持海量数据等方面所表现出来的优点,使其在云计算领域被广泛应用。分析了NoSQL数据库技术特点,并对目前应用的几种典型NOSQL数据库进行了分析比较。 展开更多

关键词 云计算 数据库 非关系型数据库

下载PDF 职称材料

智能变电站SCD文件解析结果存储方案研究及应用 被引量：3

18

作者 钱海 杨飞 +2 位作者 于同伟 卢盛阳 李丽群 《东北电力技术》 2017年第8期51-55,共5页

基于web管控系统中对智能变电站SCD文件的可视化展示需求,探究基于非关系型数据库的SCD文件解析结果存储方案,提出了以面向海量数据访问的面向文档的非关系型数据库为基础,将SCD解析结果以不同文件形式存储在数据库中,满足不同类型信息... 基于web管控系统中对智能变电站SCD文件的可视化展示需求,探究基于非关系型数据库的SCD文件解析结果存储方案,提出了以面向海量数据访问的面向文档的非关系型数据库为基础,将SCD解析结果以不同文件形式存储在数据库中,满足不同类型信息的可视化要求。文中给出了基于SVG、json等数据格式存储在MongoDB非关系型数据库的存储方案,并在国网辽宁省电力有限公司的管控平台中进行应用,满足用户SCD文件可视化高速浏览需求。 展开更多

关键词 智能变电站 非关系数据库 SCD 可视化 存储方案

下载PDF 职称材料

基于MongoDB蒙古高原家畜基因组大数据管理系统的设计与实现 被引量：2

19

作者 邬学敏 高静 《软件》 2022年第12期4-8,14,共6页

目前,国内外已有许多动物基因组学数据库,却还未有专门针对蒙古高原家畜基因组信息构建的数据库。此外,传统的基因组数据库平台一般采用关系型数据库存储数据,但在面对海量的基因组数据时出现了读写性能差、可靠性低、不易扩展等问题。... 目前,国内外已有许多动物基因组学数据库,却还未有专门针对蒙古高原家畜基因组信息构建的数据库。此外,传统的基因组数据库平台一般采用关系型数据库存储数据,但在面对海量的基因组数据时出现了读写性能差、可靠性低、不易扩展等问题。为解决上述问题,收集整合了牛、绵羊、山羊、骆驼等蒙古高原家畜的基因组数据,应用非关系型数据库,设计并实现了基于MongoDB存储架构的蒙古高原家畜基因组大数据管理系统。该系统的实现为蒙古高原家畜分子生物学研究提供了一个良好的数据平台,也解决了海量基因组数据的存储与管理问题。 展开更多

关键词 基因组学数据库 蒙古高原家畜 海量数据 非关系型数据库 MONGODB

下载PDF 职称材料

OA系统与档案管理系统数据交换的研究与实现 被引量：1

20

作者 宋芬 《网络安全技术与应用》 2010年第7期85-87,共3页

Lotus Domino是当今办公自动化系统的主流开发平台之一,苏州大学的OA系统正是基于这个平台开发的。Domino自带一个非关系型数据库——文档型数据库,而苏州大学的档案管理系统的数据存储在SQL Server——关系型数据库中。因此要实现OA系... Lotus Domino是当今办公自动化系统的主流开发平台之一,苏州大学的OA系统正是基于这个平台开发的。Domino自带一个非关系型数据库——文档型数据库,而苏州大学的档案管理系统的数据存储在SQL Server——关系型数据库中。因此要实现OA系统与档案管理系统的数据交换,必须要解决Domino和关系数据库的数据交换问题。本文利用ODBC实现Domino和关系数据库的互操作。 展开更多

关键词 关系数据库 非关系数据库 数据交换

原文传递