-
题名基于Hadoop的海量嘈杂数据决策树算法的实现
被引量：11
- 1
-
-
作者
刘亚秋
李海涛
景维鹏
-
机构
东北林业大学信息与计算机工程学院
黑龙江省林业生态大数据存储与高性能(云)计算工程技术研究中心
-
出处
《计算机应用》
CSCD
北大核心
2015年第4期1143-1147,共5页
-
基金
国家自然科学基金资助项目(31370565)
哈尔滨市科技创新人才研究专项资金资助项目(2013RFXXJ089)
-
文摘
针对当前决策树算法较少考虑训练集的嘈杂程度对模型的影响,以及传统驻留内存算法处理海量数据困难的问题,提出一种基于Hadoop平台的不确定概率C4.5算法——IP-C4.5算法。在训练模型时,IP-C4.5算法认为用于建树的训练集是不可靠的,通过用基于不确定概率的信息增益率作为分裂属性选择标准,减小了训练集的嘈杂性对模型的影响。在Hadoop平台下,通过将IP-C4.5算法以文件分裂的方式进行MapReduce化程序设计,增强了处理海量数据的能力。与C4.5和完全信条树(CCDT)算法的对比实验结果表明,在训练集数据是嘈杂的情况下,IPC4.5算法的准确率相对更高,尤其当数据嘈杂度大于10%时,表现更加优秀;并且基于Hadoop的并行化的IP-C4.5算法具有处理海量数据的能力。
-
关键词
HADOOP
C4.5
不确定概率
嘈杂数据
并行化
-
Keywords
Hadoop
C4.5
imprecise probability
noisy data
parallelization
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于动态优先级和萤火虫行为的云任务调度算法
被引量：11
- 2
-
-
作者
刘亚秋
赵青华
景维鹏
-
机构
东北林业大学信息与计算机工程学院
黑龙江省林业生态大数据存储与高性能(云)计算工程技术研究中心
-
出处
《计算机应用研究》
CSCD
北大核心
2015年第4期1040-1043,共4页
-
基金
高等学校博士学科点专项科研基金资助项目(20120062110012)
国家自然科学基金资助项目(31370565)
-
文摘
针对云环境下优先级任务调度容易出现的负载失衡问题,提出一种基于动态优先级和萤火虫行为的云任务调度算法(TS-PFB)。该算法根据任务价值密度与执行紧迫性计算出动态优先级;模拟萤火虫行为,结合吸引度(ECT)和荧光亮度(负载约束)给出决策变量ρ;再按优先级高低依次将任务调度到最大ρ值所对应的可行VM上。实验结果表明,相比于Min-Min、Max-Min、HBB-LB算法,该算法减少了总任务的完成时间,均衡了VM的负载,降低了任务截止期错失率。
-
关键词
动态优先级
萤火虫行为
负载均衡
任务调度
云计算
-
Keywords
dynamic priority
firefly behavior
load balancing
task scheduling
cloud computing
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
-
题名基于离散粒子群优化的云计算QoS调度算法
被引量：11
- 3
-
-
作者
王月
刘亚秋
郭继峰
景维鹏
-
机构
东北林业大学信息与计算机工程学院
黑龙江省林业生态大数据存储与高性能(云)计算工程技术研究中心
-
出处
《计算机工程》
CAS
CSCD
北大核心
2017年第6期111-117,共7页
-
基金
国家自然科学基金(31370565)
哈尔滨市科技创新人才研究专项(2015RAYXJ005)
-
文摘
针对云计算环境下用户任务的多种服务质量(QoS)需求,综合考虑任务截止时间、调度预算和可靠性,提出一种多QoS约束离散粒子群优化(QoS-DPSO)的任务调度算法。对任务的QoS进行定义和数学建模,通过截止时间和调度预算约束DPSO的搜索空间,根据可靠性重新定义DPSO的适应度函数,由适应度值搜索最优的任务调度方案。实验结果表明,与PSO,DPSO,DBC和EDF算法相比,QoS-DPSO在满足调度截止期的情况下具有较高的可靠性,并且对Makespan性能的影响较小。
-
关键词
云计算
服务质量
离散粒子群优化
截止时间
调度预算
可靠性
-
Keywords
cloud computing
Quality of Service （ QoS ）
Discrete Particle Swarm Optimization （DPSO）
deadline
scheduling budget
reliability
-
分类号
TP332
[自动化与计算机技术—计算机系统结构]
-
-
题名云环境下融合安全与可用性的DAG任务调度
被引量：5
- 4
-
-
作者
刘亚秋
邵洪润
景维鹏
-
机构
东北林业大学信息与计算机工程学院
黑龙江省林业生态大数据存储与高性能(云)计算工程技术研究中心
-
出处
《计算机工程》
CAS
CSCD
2014年第12期12-18,共7页
-
基金
国家自然科学基金资助项目(31370565)
哈尔滨市科技创新人才研究专项基金资助项目(2013RFXXJ089)
-
文摘
在异构复杂的云环境中,任务调度时应保证资源的安全与可用性。为此,提出一种融合安全与可用性的DAG任务调度策略。改进主观逻辑信任模型,将计算出的资源信誉度作为调度的重要依据,对树云资源与DAG任务的可用性偏离度进行量化,给出调度函数并设计贪心调度算法(ISAG)。实验结果表明,在资源安全性和可用性较低的环境中,ISAG算法仍能满足用户需求,与表调度算法DLS和可用性优先调度算法Afsa相比,具有更高的任务执行成功率。
-
关键词
云计算
树云环境
DAG任务调度
云资源安全
云资源信誉度
可用性偏离度
-
Keywords
cloud computing
tree cloud environment
DAG task scheduling
cloud resource security
cloud resource reputation
deviation of availability
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
