期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到332篇文章
< 1 2 … 17 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
并行文件系统下数据迁移功能的实现 被引量：5
1
作者 张玺 《北京信息科技大学学报（自然科学版）》 2012年第5期77-80,共4页
针对大量气象数据从磁盘到磁带数据迁移问题,分析数据迁移工作特点及功能需求,采用并行文件系统与存储管理软件相结合的方法,建立了数据迁移模型,开发了数据迁移接口脚本,实现了数据的自动迁移功能,为用户提供海量存储空间,方便用户直... 针对大量气象数据从磁盘到磁带数据迁移问题,分析数据迁移工作特点及功能需求,采用并行文件系统与存储管理软件相结合的方法,建立了数据迁移模型,开发了数据迁移接口脚本,实现了数据的自动迁移功能,为用户提供海量存储空间,方便用户直接检索。 展开更多
关键词 并行文件系统 存储管理软件 数据迁移 迁移接口脚本
下载PDF
基于云服务的煤矿水害监测大数据智能预警平台构建 被引量：59
2
作者 乔伟 靳德武 +2 位作者 王皓 赵春虎 段建华 《煤炭学报》 EI CAS CSCD 北大核心 2020年第7期2619-2627,共9页
针对华北型煤田煤层底板突水监测预警问题,以底板“下三带”理论为基础,开展了微震-电法耦合系统水害监测预警。在分析微震-电法耦合系统监测数据基础上,采用Flume设计数据迁移子系统,以流处理方式对监测源数据进行预处理,对关键目标数... 针对华北型煤田煤层底板突水监测预警问题,以底板“下三带”理论为基础,开展了微震-电法耦合系统水害监测预警。在分析微震-电法耦合系统监测数据基础上,采用Flume设计数据迁移子系统,以流处理方式对监测源数据进行预处理,对关键目标数据进行采集、聚合和传输,实现了有效监测数据的实时迁移。此外,针对煤矿水害多源监测预警过程中数据规模大、数据实时处理要求高等特点,结合多源异构数据关联分析和时空属性数据分析处理需求,基于Spark和HDFS设计实现了具备TB级数据存储处理能力的煤矿水害多源监测大数据存储平台。该平台采用HDFS设计构建统一的多源时序大数据存储体系,通过MapReduce实现大数据并行处理,利用YARN实现资源的调度与管理,为海量数据存储提供支撑。平台采用Spark Streaming框架搭建了数据实时处理中心,通过流处理方式实现监测数据高速处理,并通过智能预警算法模块和远程服务接口为预警系统现场应用提供支撑。在智能预警技术方面,结合监测数据的时空属性特点,提出了基于深度学习时空序列预测方法——长短时记忆循环网络智能预警模型的底板突水模型预警技术。该预警技术基于LSTM方法,以“下三带”理论为基准对模型进行初始化,形成初始预警判据;将电法、微震监测数据作为输入变量,实际涌(突)水事件作为干预输出量,对智能预警模型进行半监督分类学习训练,形成动态化、参数最优的模型预警准则,将监测数据动态划分为4个预警等级,从而实现了水害智能动态预警和数据可视化表达。在冀中能源葛泉矿东井的实际应用中发现,该平台能够基本达到预期目标。 展开更多
关键词 煤矿水害 水害预警 大数据处理 数据迁移 智能算法
下载PDF
海量信息分级存储数据迁移策略研究 被引量：28
3
作者 吕帅 刘光明 +1 位作者 徐凯 刘欣 《计算机工程与科学》 CSCD 北大核心 2009年第A01期163-167,共5页
以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组... 以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。 展开更多
关键词 数据迁移 分级存储管理 数据价值 管理模型
下载PDF
清华大学图书馆一体化资源管理平台建设——以ALMA系统实施为例 被引量：23
4
作者 窦天芳 杨慧 《数字图书馆论坛》 CSSCI 2020年第5期2-7,共6页
本文结合清华大学图书馆实际,阐述当前图书馆资源管理与服务现状和一体化资源管理平台建设思路。选取平台建设过程中的关键问题,从建设思路、处理原则、应用效果等角度展开分析,希望对国内一体化资源管理平台建设和管理提供有益借鉴。
关键词 一体化资源管理平台 电子资源 元数据 数据迁移 ALMA
下载PDF
基于云计算的管理信息系统迁移模式与策略研究 被引量：20
5
作者 顾东晓 李童童 +1 位作者 梁昌勇 徐健 《情报科学》 CSSCI 北大核心 2018年第12期71-76,共6页
【目的/意义】以处理海量数据存储、资源数据共享和虚拟化为特征的云计算技术给管理信息系统发展带来了历史性机遇与挑战,传统信息系统如何成功转化为基于云计算的信息系统已经成为信息和资源管理领域亟待解决的重要课题。【方法/过程... 【目的/意义】以处理海量数据存储、资源数据共享和虚拟化为特征的云计算技术给管理信息系统发展带来了历史性机遇与挑战,传统信息系统如何成功转化为基于云计算的信息系统已经成为信息和资源管理领域亟待解决的重要课题。【方法/过程】本文综合分析了云环境下信息系统的数据、技术、安全、管理与服务特征,研究了管理信息系统的云化模式,探讨了信息系统迁移过程中云平台的选择方法,并梳理了信息系统云化过程中应用迁移策略和数据迁移策略。【结果/结论】迁移过程总体上分为四个阶段:迁移调研、迁移方案设计并测试、迁移实施、迁移结果验证。由于企业越来越多的实践,云迁移研究的成熟度日渐提高,趋于完善。 展开更多
关键词 云计算 云化迁移 管理信息系统 云服务 迁移策略 数据迁移
原文传递
云计算环境中分布式数据存储关键技术研究 被引量：21
6
作者 向春枝 范颖 《现代电子技术》 北大核心 2016年第3期63-67,共5页
鉴于云计算存在庞大的节点规模和数据规模,云计算系统在可扩展性、高可用性等方面面临着诸多问题。针对云计算环境下的分布数据存储,构建了一种基于递归的正N边形网络模型,在数据中心网络结构的基础上给出了数据管理模型,并设计了以提... 鉴于云计算存在庞大的节点规模和数据规模,云计算系统在可扩展性、高可用性等方面面临着诸多问题。针对云计算环境下的分布数据存储,构建了一种基于递归的正N边形网络模型,在数据中心网络结构的基础上给出了数据管理模型,并设计了以提高数据可用性、负载平衡为目的的副本分布策略和副本选择策略。在保证数据可用性的前提下,提出一种基于覆盖集的数据迁移算法,利用节点选择策略尽量减少迁移成本,进行数据迁移让更多的机器休眠,降低能耗。通过对实验数据进行比较分析,验证了提出的网络拓扑结构、数据管理模型、数据迁移技术的正确性和有效性。 展开更多
关键词 云计算 数据中心网络结构 数据迁移 软件节能
下载PDF
“多站融合”背景下边缘数据中心运行优化研究 被引量：19
7
作者 孟超 刘文亮 +2 位作者 杨琪 赵英汝 郭熠昀 《工程科学与技术》 EI CAS CSCD 北大核心 2020年第4期49-55,共7页
随着泛在电力物联网的发展,传统通信技术与计算平台已逐渐无法适应庞大的数据传输与计算规模,5G通信技术与边缘计算将成为支撑泛在电力物联网建设的中坚力量。“多站融合”模式的提出为边缘数据中心的运营提供了新的方向,多站一体化运... 随着泛在电力物联网的发展,传统通信技术与计算平台已逐渐无法适应庞大的数据传输与计算规模,5G通信技术与边缘计算将成为支撑泛在电力物联网建设的中坚力量。“多站融合”模式的提出为边缘数据中心的运营提供了新的方向,多站一体化运行方法有待深入研究。针对边缘数据中心的数据迁移方法及“多站融合”模式下各功能站协同优化问题,设计了涵盖数据中心、储能电站等功能站的融合站运行架构,构建了数据中心负荷模型、储能电站数学模型,并基于混合整数非线性规划方法,建立了以最小化年总成本为目标的融合站协同优化与数据迁移调度模型。通过模型的优化求解,确定了最佳数据迁移调度策略与储能电站最优运行方案。利用案例分别对数据迁移策略与储能电站的作用进行仿真分析,通过计算,采用数据迁移策略后,典型日运行成本降低了2.38%,年总成本降低了1.36%;发挥储能电站削峰填谷作用后,典型日运行成本进一步降低了8.34%,年总成本进一步降低了4.67%。结果表明:在满足时延约束情况下,将数据负荷按一定策略进行分配,可以实现各边缘数据中心互补调度,达到降低运行成本的效果;结合分时电价政策,利用储能电站参与日常电力调度,可以进一步将峰时负荷转移至谷时,从而显著降低运行成本。 展开更多
关键词 多站融合 数据中心 数据迁移 储能电站 混合整数非线性规划
下载PDF
传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究 被引量：18
8
作者 曾海峰 王淑营 董钦钰 《计算机应用研究》 CSCD 北大核心 2017年第11期3339-3344,共6页
为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到No SQL文档型数据库中。针对RDBMS中的关系模型向Mongo DB中的集合模型转换方法进行了研究,提出了表示关系间参照完整性的有向图... 为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到No SQL文档型数据库中。针对RDBMS中的关系模型向Mongo DB中的集合模型转换方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,以及基于关系型数据模型向Mongo DB文档模型自动转换算法,实现了RDBMS中迁移数据到Mongo DB的插入算法。针对上述方案和算法,结合典型开源RDBMSMy SQL实例,对上述关系有向图模型的生成、基于有向图模型的转换算法以及数据迁移算法应用进行验证,实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到Mongo DB中。 展开更多
关键词 RDBMS NOSQL MONGODB 关系有向图 模型转换 数据迁移
下载PDF
关系型数据库内存化存储模型研究 被引量：18
9
作者 张俊 廖雪花 +1 位作者 余旭玲 雷蒙 《计算机工程与应用》 CSCD 北大核心 2021年第19期123-128,共6页
大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型... 大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值(RB-KVM)和分段列式键值交叉(PCB-KVCM)存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。 展开更多
关键词 MYSQL数据库 分布式Redis集群 数据迁移 模型转换 数据内存存储技术
下载PDF
云计算环境下的取证问题研究 被引量：18
10
作者 何晓行 王剑虹 《计算机科学》 CSCD 北大核心 2012年第9期105-108,共4页
云计算是一种基于互联网的超级计算模式,它的快速发展给取证带来了一定的挑战。在云计算环境下,取证活动包括证据发现、证据固定及证据提取3个阶段。但云计算自身存在的安全风险,导致云计算环境下的取证活动亦面临一定的技术及法律问题... 云计算是一种基于互联网的超级计算模式,它的快速发展给取证带来了一定的挑战。在云计算环境下,取证活动包括证据发现、证据固定及证据提取3个阶段。但云计算自身存在的安全风险,导致云计算环境下的取证活动亦面临一定的技术及法律问题。对于取证信息及手段方面的问题,可以采取数据迁移技术及入侵检测系统等手段加以解决。对于相关的法律问题,则可以采取完善相关法律法规、强化国际区际合作等途径加以解决。 展开更多
关键词 云计算 取证 数据迁移 虚拟化
下载PDF
基于Java和XML跨平台数据迁移的设计与实现 被引量：15
11
作者 黄萍 潘荫荣 胡幼华 《计算机工程》 EI CAS CSCD 北大核心 2005年第17期74-75,89,共3页
针对跨平台数据迁移中存在的问题,提出了基于Java和XML技术跨平台数据迁移的设计与实现方法,并开发了相应的迁移软件,有效地解决了平台差异性给数据迁移带来的不便。
关键词 数据迁移 异构乎台 JAVA XML
下载PDF
交互式数据迁移系统及其相似检测效率优化 被引量：11
12
作者 陈伟 丁秋林 谢强 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第2期58-61,共4页
为保证数据迁移后新系统的数据质量 ,把数据清理应用于数据迁移之中 ,提出一种集成数据清理的交互式数据迁移系统 ,并分析其工作原理 .为了提高该系统中相似重复记录的检测效率 ,在相似重复记录检测中采用长度过滤等方法优化相似检测算... 为保证数据迁移后新系统的数据质量 ,把数据清理应用于数据迁移之中 ,提出一种集成数据清理的交互式数据迁移系统 ,并分析其工作原理 .为了提高该系统中相似重复记录的检测效率 ,在相似重复记录检测中采用长度过滤等方法优化相似检测算法 ,避免了不必要的编辑距离计算 ,从而提高了整个数据迁移系统的数据迁移速度 .此外 ,构造了合适的实验环境 ,作了大量的检测实验 。 展开更多
关键词 数据迁移 数据质量 数据清理 相似检测 长度过滤
下载PDF
大数据环境下的数据迁移技术研究 被引量：16
13
作者 王刚 王冬 +1 位作者 李文 李光亚 《微型电脑应用》 2013年第5期1-3,共3页
数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须... 数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。 展开更多
关键词 大数据 数据迁移 存储
下载PDF
大型数据中心海量数据存储解决方案的设计 被引量：14
14
作者 姚书怀 刘兴伟 《西华大学学报（自然科学版）》 CAS 2004年第S1期27-30,共4页
作者分析了大型数据中心对海量数据存储的要求 ,根据海量数据存储遵循性能优化的原则 ,提出了一整套完备可行的数据存储管理解决方案 ,包括数据的备份与恢复、数据归档、数据迁移与分级数据管理。
关键词 海量数据存储 存储管理方法 数据迁移 分级存储 SAN数据共享
下载PDF
Hadoop海量数据迁移系统开发及应用 被引量：16
15
作者 尹乔 魏占辰 +2 位作者 黄秋兰 孙功星 石京燕 《计算机工程与应用》 CSCD 北大核心 2019年第13期66-71,共6页
当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计... 当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求。 展开更多
关键词 高能物理 数据迁移 GridFTP协议 动态优先级调度 多属性决策 Hadoop系统
下载PDF
具有数据清理功能的交互式数据迁移及应用 被引量：10
16
作者 陈伟 丁秋林 《吉林大学学报（信息科学版）》 CAS 2004年第2期148-153,共6页
针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术。该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库。通... 针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术。该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库。通过在规则库中定义规则以及从算法库中选择合适的清理算法,不仅能灵活、准确地完成数据的迁移,还能保证数据迁移后新系统的数据质量。该技术被应用于医疗保险信息系统再工程项目,取得很好的效果,从而说明这种数据迁移技术在实践中是可行的。 展开更多
关键词 系统切换 数据清理 数据迁移 数据质量
下载PDF
基于层级设计的输变电工程数据存储架构 被引量：14
17
作者 袁兆祥 彭晶 +1 位作者 安增军 张华 《沈阳工业大学学报》 EI CAS 北大核心 2019年第6期601-605,共5页
针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算... 针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算法的数据迁移方法实现海量数据的迁移,使用不同配置的数据存储中心进行仿真与测试.结果表明,所提出的存储架构和数据迁移方法能有效解决海量输变电工程数据存储的问题,提升输变电工程数据存储系统的性能. 展开更多
关键词 输变电工程 海量数据 结构化数据 非结构化数据 存储 数据迁移 负载 遗传算法
下载PDF
基于图数据库的继电保护整定计算数据存储与应用 被引量：14
18
作者 王镜毓 石东源 +1 位作者 陈金富 曾次玲 《电力自动化设备》 EI CSCD 北大核心 2017年第9期218-223,共6页
电网继电保护整定计算数据涉及多个门类相互关联的信息,数据实体间的关系复杂而密集,更适合采用图数据库存储。对基于图数据库和传统关系数据库存储继电保护整定计算数据时的查询性能进行对比。将关系数据库中现存的继电保护整定计算数... 电网继电保护整定计算数据涉及多个门类相互关联的信息,数据实体间的关系复杂而密集,更适合采用图数据库存储。对基于图数据库和传统关系数据库存储继电保护整定计算数据时的查询性能进行对比。将关系数据库中现存的继电保护整定计算数据准确迁移到图数据库中,既是进行对比测试前的一项准备工作,也是电力系统实际应用中升级数据存储方式的前提。在介绍图数据库和属性图模型基本概念的基础上,提出了一种利用离线交换文件实现数据迁移的通用方法,并通过2类数据库查询性能的对比测试,验证了基于图数据库存储和应用整定计算数据的可行性与高效性。 展开更多
关键词 图数据库 属性图模型 Neo4j 数据迁移 性能对比 继电保护
下载PDF
内存云分级存储架构下的数据迁移模型 被引量：13
19
作者 郭刚 于炯 +2 位作者 鲁亮 英昌甜 尹路通 《计算机应用》 CSCD 北大核心 2015年第12期3392-3397,共6页
为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageR... 为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。 展开更多
关键词 分级存储 内存云 数据重要性 数据迁移 潜在价值
下载PDF
ETL技术在复杂数据迁移项目中的应用 被引量：12
20
作者 宋鹏 廉继红 《西安工程大学学报》 CAS 2008年第4期493-497,共5页
针对数据迁移中ETL技术的实现问题,指出可以通过构造输入数据库和中间数据库,利用Datastage工具和PL/SQL程序相结合的方式进行数据迁移.给出了Datastage工具的应用策略和PL/SQL程序实现ETL过程的具体流程.实践表明该方案数据迁移速度较... 针对数据迁移中ETL技术的实现问题,指出可以通过构造输入数据库和中间数据库,利用Datastage工具和PL/SQL程序相结合的方式进行数据迁移.给出了Datastage工具的应用策略和PL/SQL程序实现ETL过程的具体流程.实践表明该方案数据迁移速度较快,能够较好地完成海量数据的迁移任务. 展开更多
关键词 数据迁移 ETL PL/SQL datastage
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 17 下一页 到第 页
使用帮助 返回顶部