-
题名面向外汇市场监测的分布式计算框架设计
- 1
-
-
作者
程文亮
王志宏
周虞
过弋
赵俊锋
-
机构
中汇信息技术(上海)有限公司开发二部
华东理工大学信息科学与工程学院
大数据流通与交易技术国家工程实验室(商业智能与可视化研究中心)
上海大数据与互联网受众工程技术研究中心
-
出处
《计算机应用》
CSCD
北大核心
2020年第1期173-180,共8页
-
基金
国家重点研发计划项目(2018YFC0807105)
上海市科学技术委员会科研计划项目(17DZ1101003,18511106602,18DZ2252300)~~
-
文摘
针对金融外汇市场监测指标计算复杂度高、完备性强、效率低等问题,基于Spark大数据架构提出了一种新的面向外汇市场监测的分布式计算框架。首先,对外汇市场监测的业务特性和现有技术框架进行了分析总结;然后,综合考虑了外汇单市场多指标和多市场多指标并行计算的业务特性;最后,基于Spark的有向无环图(DAG)作业调度机制和YARN的资源调度池隔离机制,分别提出了外汇市场级的有向无环图(M-DAG)模型和市场级资源分配策略--M-YARN。实验结果表明,所提面向外汇市场监测的分布式计算框架相对于传统技术框架在性能上提高了80%以上,可以有效保证大数据背景下外汇市场监测指标计算的完备性、精准性和时效性。
-
关键词
外汇市场
市场监测
SPARK
有限无环图
资源分配
-
Keywords
foreign exchange market
market monitoring
Spark
Directed Acyclic Graph (DAG)
resource allocation
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名云中多媒体应用中基于混合DAG的最优任务调度研究
- 2
-
-
作者
郭雅琼
宋建新
-
机构
南京邮电大学江苏省图像传输与处理重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2015年第B11期413-416,共4页
-
文摘
云计算的平台优势使得它在多媒体应用中得到广泛使用。由于多媒体服务的多样性和异构性,如何将多媒体任务有效地调度至虚拟机进行处理成为当前多媒体应用的研究重点。对此,研究了云中多媒体最优任务调度问题,首先引入有向无环图来模拟任务中的优先级及任务之间的依赖性,分别对串行、并行、混合结构任务调度模型进行任务调度研究,根据有限资源成本将关键路径中任务节点融合,提出一种实用的启发式近似最优调度方法。实验结果表明,所提调度方法能够以最短的执行时间在有限的资源成本下完成最优的任务分配。
-
关键词
关键路径
有限无环图
任务级调度
启发式调度
-
Keywords
Critical path, Directed acyclic graph,Task-level scheduling, Heuristic scheduling
-
分类号
TP37
[自动化与计算机技术—计算机系统结构]
-
