期刊文献+
共找到221篇文章
< 1 2 12 >
每页显示 20 50 100
基于MySQL数据库的优化 被引量:53
1
作者 吴沧舟 兰逸正 张辉 《电子科技》 2013年第9期182-184,共3页
总结现阶段MySQL数据库一些常见优化手段,论述了MySQL数据库存储引擎所适用的各类场合以及索引机制的优缺点,以及存储过程的优越性和硬件性能的重要性,在此基础上阐述了数据库切分技术,并提出分库的基本思路与方法,最后列出集群模型。
关键词 存储引擎 索引 数据库切分 集群
下载PDF
状态监测大数据存储及聚类划分研究 被引量:41
2
作者 周国亮 宋亚奇 +1 位作者 王桂兰 朱永利 《电工技术学报》 EI CSCD 北大核心 2013年第S2期337-344,共8页
随着输变电设备状态监测的广度和深度不断加强,收集的监测数据越来越多,逐渐形成了智能电网状态监测大数据。然而,如何有效的存储和分析状态监测大数据是大数据在状态监测领域应用的关键问题之一。基于云计算平台并考虑状态监测数据的特... 随着输变电设备状态监测的广度和深度不断加强,收集的监测数据越来越多,逐渐形成了智能电网状态监测大数据。然而,如何有效的存储和分析状态监测大数据是大数据在状态监测领域应用的关键问题之一。基于云计算平台并考虑状态监测数据的特点,将监测数据海量小文件组合成大的序列文件,并压缩存储,从而提高存储和处理效率。针对状态监测大数据价值密度低的特点,首先利用分形理论对监测数据降维处理,提取时域和频域特征量,并使用密度聚类算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)对样本数据聚类划分,提取不同聚类的特征数据;然后结合云平台的数据处理能力设计MapReduce并行算法,实现状态监测大数据的聚类划分,从而有助于从大数据中发现有价值的特征量;最后,利用大数据聚类结果更新和丰富样本特征数据。实验结果表明该方法可以有效存储状态监测大数据并对其聚类划分,对提高设备的状态评估及故障诊断水平具有一定辅助作用。 展开更多
关键词 状态监测 大数据 云存储 聚类
下载PDF
基于云存储的网盘系统架构及关键技术研究 被引量:18
3
作者 杨岳湘 邓文平 +1 位作者 邓劲生 李阳 《电信科学》 北大核心 2012年第10期68-72,共5页
面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实... 面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实现用户数据存储与访问的集群架构;在安全性方面,结合SAMBA实现用户权限管理,用户数据存储支持128 bit AES加密,SSH保证了传输链路的安全;最后,结合用户的实际需求,提供基于Web的访问方式以及客户端的同步盘模式。结果表明,系统在性能、安全性、可扩展性等多方面具有显著优势。 展开更多
关键词 网盘 云存储 分布式文件系统 集群 用户空间
下载PDF
仓储物流机器人集群避障及协同路径规划方法 被引量:18
4
作者 陈明智 钱同惠 +1 位作者 张仕臻 王嘉前 《现代电子技术》 北大核心 2019年第22期174-177,182,共5页
基于智能机器人的智能仓储系统为解决因电子商务兴起带来的仓储物流压力提供了有效的方案。而机器人集群的避障及路径规划问题是智能仓储系统能否正常运行以及提升其运行效率的关键所在。该文创新地提出一种在交通规则和预约表约束下的... 基于智能机器人的智能仓储系统为解决因电子商务兴起带来的仓储物流压力提供了有效的方案。而机器人集群的避障及路径规划问题是智能仓储系统能否正常运行以及提升其运行效率的关键所在。该文创新地提出一种在交通规则和预约表约束下的基于改进Q Learning算法的仓储物流机器人集群避障及协同路径规划方法。通过改进的Q Learning算法规划出每个机器人完成任务目标的最短路径并形成预约表,利用交通规则和预约表解决仓储物流机器人集群在运行时发生的碰撞和死锁问题,并根据所设定的协同机制,减少机器人无任务的待机状态,平衡各机器人之间的工作量,最终实现在保证系统安全运行的基础上缩短系统运行时间的目的。通过Matlab对该文所设计的算法进行仿真,以系统无碰撞完成所有任务的运行总时间即系统中最后一个完成任务的机器人无碰撞运行的总步数为评价指标,验证了该方法的有效性。 展开更多
关键词 智能仓储 机器人集群 交通规则 预约表 改进Q Learning算法 协同路径规划
下载PDF
网络存储技术及其新进展 被引量:8
5
作者 徐学雷 《北京电子科技学院学报》 2005年第4期7-10,共4页
信息存储技术与信息处理和信息传输技术一道被称为数字技术的三支翅膀,三位一体,缺一不可;近年来,存储技术的发展日新月异,已经由后台走到了前台,从而引发了数字技术的第三次浪潮。本文将介绍一些热点网络存储技术及其新进展。
关键词 数字技术 网络存储 存储虚拟化 对象存储 IP存储 存储集群 网格存储 存储资源管理
下载PDF
基于"货到人"拣选模式的储位分配问题研究 被引量:16
6
作者 李珍萍 范欣然 吴凌云 《运筹与管理》 CSSCI CSCD 北大核心 2020年第2期1-11,共11页
研究了"货到人"拣选模式下的储位分配问题,以订单拣选过程中搬运货架总时间最短为目标建立了整数非线性规划模型,并证明其为NP-hard问题,分别设计了求解模型的贪婪算法和单亲进化遗传算法.首先根据订单和物品的关联关系对物... 研究了"货到人"拣选模式下的储位分配问题,以订单拣选过程中搬运货架总时间最短为目标建立了整数非线性规划模型,并证明其为NP-hard问题,分别设计了求解模型的贪婪算法和单亲进化遗传算法.首先根据订单和物品的关联关系对物品进行聚类,基于聚类结果设计了求解模型的贪婪算法.然后设计了直接求解模型的单亲进化遗传算法,遗传算法中采用了0-1矩阵编码、多点基因倒位算子、单点基因突变算子和精英保留等策略,通过合理选取参数,能够很快求解出问题的近似最优解.最后利用模拟算例和一个具体实例进行计算,并对贪婪算法和遗传算法的求解时间和求解效果进行了比较分析.结果显示,对于小规模问题,两种算法均能在较短的时间内以很高的概率得到问题的全局最优解,对于中等规模的实际问题,利用两种算法得到的储位分配方案均优于企业目前采取的基于出库频率的储位分配方案,遗传算法得到的储位分配方案对应的货架搬运次数、货架搬运总时间等均优于贪婪算法.本文设计的遗传算法可以作为智能仓库管理信息系统的核心算法. 展开更多
关键词 货到人 储位分配 整数非线性规划 聚类 贪婪算法 单亲进化遗传算法
下载PDF
抽水蓄能助力风光稳定外送的最佳配置策略 被引量:15
7
作者 桑林卫 卫璇 +1 位作者 许银亮 孙宏斌 《中国电力》 CSCD 北大核心 2022年第12期86-90,123,共6页
跨区域、大规模的新能源电力输送是应对国内风光资源与负荷中心逆向分布特点与实现碳中和的必然要求,而风光出力固有的随机性、间歇性和波动性给新能源打捆稳定输送带来了挑战。水电具有的“电源+储能”的双重身份为平抑新能源波动、提... 跨区域、大规模的新能源电力输送是应对国内风光资源与负荷中心逆向分布特点与实现碳中和的必然要求,而风光出力固有的随机性、间歇性和波动性给新能源打捆稳定输送带来了挑战。水电具有的“电源+储能”的双重身份为平抑新能源波动、提升-风-光-水混合能源系统灵活性,以及促进新能源打捆外送提供了解决思路。以抽水蓄能为例,针对风-光-抽水蓄能混合能源系统,提出一种计及抽水蓄能电站运行功率约束、库容约束、进出水量约束的容量配置优化方法,旨在量化抽水蓄能对新能源打捆外送的助力效果,即确定单位抽水蓄能可支撑的新能源外送容量,构建并求解以最小化抽水蓄能投资成本为目标且满足各典型运行场景的容量规划模型。 展开更多
关键词 抽水蓄能 新能源 打捆稳定输送 聚类分析 容量配置
下载PDF
SAN存储区域网络系统的构建策略与应用研究 被引量:11
8
作者 郭向勇 《计算机工程与设计》 CSCD 北大核心 2006年第10期1793-1796,共4页
根据高校教学资源存储体系中主要技术的需求特点,介绍了实现SAN存储区域网络体系的若干技术策略,运用这些技术策略构建适合高校教学资源海量存储的体系具有非常重要的意义。展示了SAN技术方案在深圳职业技术学院实现教学资源海量存储中... 根据高校教学资源存储体系中主要技术的需求特点,介绍了实现SAN存储区域网络体系的若干技术策略,运用这些技术策略构建适合高校教学资源海量存储的体系具有非常重要的意义。展示了SAN技术方案在深圳职业技术学院实现教学资源海量存储中的实际应用。 展开更多
关键词 SAN 存储区域网络 教学资源 远程容灾 海量存储 集群技术 双机容错
下载PDF
CO_(2)地质封存潜力与能源资源协同的技术基础研究进展 被引量:12
9
作者 桑树勋 刘世奇 +7 位作者 朱前林 韩思杰 张守仁 谭克龙 周效志 郑司建 王许 刘统 《煤炭学报》 EI CAS CSCD 北大核心 2023年第7期2700-2716,共17页
规模化集群化部署是CCUS技术发展方向和化石能源低碳化利用的国家重大需求,CO_(2)地质封存潜力与能源资源协同关系及机制是实现CCUS技术规模化、集群化部署的理论基础。系统梳理评述了国内外CO_(2)地质封存潜力及其评价方法、CCUS源汇... 规模化集群化部署是CCUS技术发展方向和化石能源低碳化利用的国家重大需求,CO_(2)地质封存潜力与能源资源协同关系及机制是实现CCUS技术规模化、集群化部署的理论基础。系统梳理评述了国内外CO_(2)地质封存潜力及其评价方法、CCUS源汇匹配与管网设计模型、CO_(2)地质封存潜力与能源资源协同关系、CCUS集群部署技术基础与模式等领域的主要进展,讨论展望了我国CO_(2)地质封存潜力与能源资源协同理论方法体系的研究思路。研究工作取得以下认识:CO_(2)地质封存潜力制约着CCUS技术的发展潜力与应用规模,适宜性评价方法、封存容量评估方法和封存选址方法所构成的CO_(2)地质封存潜力评价方法体系已初步建立,但亟待完善发展;源汇匹配是CO_(2)运输管网设计与CCUS技术集群化部署的重要直接依据,完善建立CCUS源汇匹配规划优化模型与CCUS集群管网设计模型是技术关键,从单阶段静态规划模型向多阶段动态规划模型发展是方向;CO_(2)地质封存潜力与能源资源协同关系构成了CCUS技术的约束条件,CCUS技术与可再生能源、氢能、储能等新能源技术的协同有望形成实现能源系统脱碳的新路径、新模式和新方向,CO_(2)地质封存潜力与生物质、水资源协同关系约束了CCUS技术规模化部署地域和BECCS技术发展应用潜力,基于CCUS源汇匹配模型的能源资源系统优化模型研究也成为新的技术需求;CO_(2)地质封存潜力、能源系统约束的CCUS源汇匹配优化方案和CCUS全流程技术体系构成CCUS集群化部署的重要技术基础,近源输送陆上封存CCUS集群部署模式应是我国优先考虑发展方向,远源输送陆上封存CCUS集群部署模式和离岸封存CCUS集群部署模式在我国长三角、大湾区等区域也有发展前景。 展开更多
关键词 CO_(2)地质封存潜力 能源资源系统 CCUS 源汇匹配 协同关系 集群化部署
下载PDF
空间数据剖分集群存储系统架构初探 被引量:11
10
作者 程承旗 吕雪锋 关丽 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第1期103-108,共6页
为解决超大规模空间数据有序存储与调度管理的统一基准和多尺度问题,针对超大规模空间数据的组织、存储与调度管理方法的不足,提出一套以球面剖分理论为基础,空间剖分面片与存储单元相映射的空时一体化空间数据存储管理架构。阐述了该... 为解决超大规模空间数据有序存储与调度管理的统一基准和多尺度问题,针对超大规模空间数据的组织、存储与调度管理方法的不足,提出一套以球面剖分理论为基础,空间剖分面片与存储单元相映射的空时一体化空间数据存储管理架构。阐述了该剖分集群存储系统的概念、总体研究思路及其架构的核心设计。空间数据剖分集群存储理论的建立将为超大规模空间数据存储系统的建设提供坚实理论基础。 展开更多
关键词 空间数据 球面剖分 存储集群
下载PDF
基于5G基站可调度潜力与配电网集群划分的储能选址定容方法 被引量:9
11
作者 李金雨 宋福龙 +2 位作者 马俊杰 丁禹杰 余潇潇 《电力系统自动化》 EI CSCD 北大核心 2023年第18期151-160,共10页
随着经济发展,海量、分散的5G基站与分布式光伏将被广泛接入配电网,传统的集中式处理方法不宜用于系统的控制管理。同时,基站自备储能为电网提供了容量可观、潜力巨大的灵活性资源。为此,文中提出一种考虑5G基站可调度潜力与配电网集群... 随着经济发展,海量、分散的5G基站与分布式光伏将被广泛接入配电网,传统的集中式处理方法不宜用于系统的控制管理。同时,基站自备储能为电网提供了容量可观、潜力巨大的灵活性资源。为此,文中提出一种考虑5G基站可调度潜力与配电网集群划分的储能规划方法。首先,提出考虑通信负载的基站自备储能可调度容量评估方法,建立基站参与电网调度交互模型;然后,根据系统网架结构和基站-光伏出力特性,采用Fast-Newman算法对配电网进行集群划分,将基站与光伏打捆;最后,建立储能双层规划模型,模型外层负责求解储能的规划方案,模型内层负责优化储能和基站的调度策略。算例结果表明,应用所提规划方法能够减少系统对储能的投入、提升系统电压水平、提高系统经济性与低碳效益。 展开更多
关键词 5G基站 储能 可调度容量评估 配电网 集群划分 双层规划模型 选址定容
下载PDF
Generation of typical operation curves for hydrogen storage applied to the wind power fluctuation smoothing mode 被引量:8
12
作者 Yanhui Xu Yijia Xu Yan Huang 《Global Energy Interconnection》 EI CAS CSCD 2022年第4期353-361,共9页
In this paper,a typical-operation-curve generation method of a hydrogen energy storage system operating under the mode of stabilizing wind power fluctuations is proposed.This method is used to optimize the power and c... In this paper,a typical-operation-curve generation method of a hydrogen energy storage system operating under the mode of stabilizing wind power fluctuations is proposed.This method is used to optimize the power and capacity configuration of the energy storage system.The time series curves of the charging and discharging powers of the hydrogen energy storage are obtained by EMD decomposition,and the curves are classified according to the similarities and differences of the characteristic parameters in different time periods.After the classification,typical charging and discharging power values of each type of curve at each moment are obtained by a cloud model,and then,typical operation curves of each type are obtained by integration.On this basis,the power and capacity of the energy storage system are optimized with the objective of economic optimization through the MATLAB CPLEX toolbox.Combined with the measured data of a wind farm with an installed capacity of 400 MW in Northeast China,the validity and rationality of the typical operation curve generation method proposed in this paper are verified. 展开更多
关键词 Wind farm Hydrogen energy storage system cluster analysis Typical operation curves Capacity configuration
下载PDF
面向多源异构数据源的实际范围索引树索引方法 被引量:8
13
作者 吴润泽 蔡永涛 +2 位作者 陈文伟 陈文刚 王一蓉 《电力系统自动化》 EI CSCD 北大核心 2016年第11期121-125,131,共6页
在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tr... 在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。 展开更多
关键词 能源互联 智能电网 大数据 索引 查询 数据存储 集群
下载PDF
江苏沿江地区出口产品仓储昆虫群落结构数量特征研究 被引量:6
14
作者 郭建波 杜予州 +2 位作者 韩振冲 陆亚娟 顾杰 《应用生态学报》 CAS CSCD 北大核心 2006年第1期87-90,共4页
对江苏沿江地区出口产品仓储昆虫进行调查,分析了5种出口产品仓储昆虫群落的优势种.利用群落物种的丰富度、生态优势度、多样性和均匀度等群落特征指数,研究了5种类型出口产品仓储昆虫群落结构的数量特征,并分析了它们的相似性.通过系... 对江苏沿江地区出口产品仓储昆虫进行调查,分析了5种出口产品仓储昆虫群落的优势种.利用群落物种的丰富度、生态优势度、多样性和均匀度等群落特征指数,研究了5种类型出口产品仓储昆虫群落结构的数量特征,并分析了它们的相似性.通过系统聚类分析将5种群落分为4类,草柳藤制品和羽绒制品仓储昆虫群落同属一类,其它3种产品仓储昆虫群落各属一类.除木制品群落结构相对合理外,其它群落结构都不合理,皮毛制品群落结构尤其不合理. 展开更多
关键词 仓储昆虫 出口产品 群落结构 数量特征 聚类分析
下载PDF
不同贮存年份普洱生茶中3种主要黄酮醇类化合物含量的变化 被引量:8
15
作者 张纪伟 沈雪梅 +4 位作者 赵一帆 王玮 张钎 周艺凡 李家华 《西南农业学报》 CSCD 北大核心 2021年第9期1853-1857,共5页
【目的】为了探究不同贮存年份普洱生茶中3种黄酮醇类化合物含量变化与普洱生茶年份鉴定的相关性。【方法】以不同贮存年份(2006—2015年)的普洱生茶为研究材料,利用高效液相色谱法(High Performance Liquid Chromatography, HPLC)测定... 【目的】为了探究不同贮存年份普洱生茶中3种黄酮醇类化合物含量变化与普洱生茶年份鉴定的相关性。【方法】以不同贮存年份(2006—2015年)的普洱生茶为研究材料,利用高效液相色谱法(High Performance Liquid Chromatography, HPLC)测定了茶样中杨梅素、槲皮素和山奈酚3种含量最多的黄酮醇类化合物含量,并利用聚类分析和相关性分析探讨3种黄酮醇类化合物含量及黄酮总量与贮存年份的相关性。【结果】随着贮存年份的延长,杨梅素、槲皮素和山奈酚的含量都呈现上升趋势,其中,杨梅素的含量在0.36~3.19 mg/g,槲皮素在2.40~10.17 mg/g,山奈酚在2.00~7.35 mg/g,黄酮总量在12.87~51.99 mg/g。利用聚类分析发现,茶样可以分为2大簇,第一簇包括2006—2008年的茶样,第二簇为2009—2015年茶样;相关性分析发现,黄酮总量、槲皮素和山奈酚之间存在的相关性最强,且贮存年份越接近的茶样间相关性越强。【结论】不同年份普洱生茶茶样中黄酮醇类化合物含量及黄酮总量可以作为普洱生茶年份鉴别的指标。 展开更多
关键词 普洱生茶 贮存年份 黄酮醇 聚类分析
下载PDF
考虑微电网群和系统经济运行的配电网储能优化配置 被引量:8
16
作者 王世震 窦迅 王俊 《现代电力》 北大核心 2022年第1期88-94,共7页
针对不同的配电网运行情况,考虑微电网群的运行策略以及子微网的协作运行对配电网的影响,建立了配电网储能配置的选址和定容两阶段优化模型。其中,第一阶段的选址模型在日运行时间尺度上,以配电网系统运行成本最小为目标,利用GAMS软件... 针对不同的配电网运行情况,考虑微电网群的运行策略以及子微网的协作运行对配电网的影响,建立了配电网储能配置的选址和定容两阶段优化模型。其中,第一阶段的选址模型在日运行时间尺度上,以配电网系统运行成本最小为目标,利用GAMS软件求解储能的位置、个数以及充放电策略;第二阶段的容量优化模型以年作为时间尺度,以配电网中储能投资运行维护年成本最小为目标,利用嵌套储能寿命计算的粒子群算法在MATLAB软件中求解。算例证明在不同的运行场景下,考虑微电网群和系统经济运行的配电网储能优化配置方法可以有效减少配电网的运行成本和储能的投资维护成本,提高系统经济性。 展开更多
关键词 储能 优化配置 微电网群 经济运行 配电网
下载PDF
云存储在医院信息管理中的应用研究 被引量:7
17
作者 周琳 李刚荣 汪鹏 《中国数字医学》 2013年第1期50-52,共3页
随着云计算的思想在存储行业中落地,在非对等网络结构的基础上构建云存储平台,成为新型存储的重要前沿方向之一。在医院的海量数据集群存储中,基于云计算的三层结构—服务、中间件、网格思想成为近年来的发展趋势。
关键词 云存储 集群存储 医院信息管理
下载PDF
无人机倾斜摄影测量技术在矿山监测中的应用 被引量:7
18
作者 周勇兵 《河南科技》 2022年第23期18-22,共5页
随着无人机倾斜摄影测量技术的发展,实景三维模型在国土空间规划和生态环境建设等领域中发挥着越来越重要的作用。本研究通过无人机倾斜摄影测量技术来快速获取矿山区域实景模型,在此基础上对矿山进行量测及分析,可显著提高矿山监测的... 随着无人机倾斜摄影测量技术的发展,实景三维模型在国土空间规划和生态环境建设等领域中发挥着越来越重要的作用。本研究通过无人机倾斜摄影测量技术来快速获取矿山区域实景模型,在此基础上对矿山进行量测及分析,可显著提高矿山监测的效率和效果。三维模型重建是一个非常耗时的处理过程,传统单机作业的方式已无法满足大范围模型输出的需求。本研究基于高性能海量分布式存储系统,采用网络化集群模式进行空三运算和建模,试验证明该方法能极大提高生产效率,能有效满足项目工期需求。 展开更多
关键词 倾斜摄影测量 矿山监测 三维模型 分布式存储 网络集群
下载PDF
Fault detection of flywheel system based on clustering and principal component analysis 被引量:5
19
作者 Wang Rixin Gong Xuebing +1 位作者 Xu Minqiang Li Yuqing 《Chinese Journal of Aeronautics》 SCIE EI CAS CSCD 2015年第6期1676-1688,共13页
Considering the nonlinear, multifunctional properties of double-flywheel with closed- loop control, a two-step method including clustering and principal component analysis is proposed to detect the two faults in the m... Considering the nonlinear, multifunctional properties of double-flywheel with closed- loop control, a two-step method including clustering and principal component analysis is proposed to detect the two faults in the multifunctional flywheels. At the first step of the proposed algorithm, clustering is taken as feature recognition to check the instructions of "integrated power and attitude control" system, such as attitude control, energy storage or energy discharge. These commands will ask the flywheel system to work in different operation modes. Therefore, the relationship of parameters in different operations can define the cluster structure of training data. Ordering points to identify the clustering structure (OPTICS) can automatically identify these clusters by the reachability-plot. K-means algorithm can divide the training data into the corresponding operations according to the teachability-plot. Finally, the last step of proposed model is used to define the rela- tionship of parameters in each operation through the principal component analysis (PCA) method. Compared with the PCA model, the proposed approach is capable of identifying the new clusters and learning the new behavior of incoming data. The simulation results show that it can effectively detect the faults in the multifunctional flywheels system. 展开更多
关键词 Attitude control cluster analysis Energy storage Fault detection Flywheels
原文传递
HDFS异构集群中的分级存储调度机制 被引量:5
20
作者 杨冬菊 李青 邓崇彬 《小型微型计算机系统》 CSCD 北大核心 2017年第1期29-34,共6页
大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,... 大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能. 展开更多
关键词 云存储 HDFS 异构集群 分级存储 存储调度
下载PDF
上一页 1 2 12 下一页 到第
使用帮助 返回顶部