模型驱动的大数据流水线框架PiFlow 被引量：8

1

作者 朱小杰 赵子豪 杜一 《计算机应用》 CSCD 北大核心 2020年第6期1638-1647,共10页

复杂流程的大数据处理多依托于流水线系统,但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题,为提高大数据处理环境的构建与开发效率,优化处理流程,提出了一种模型驱动的大数据流水线框... 复杂流程的大数据处理多依托于流水线系统,但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题,为提高大数据处理环境的构建与开发效率,优化处理流程,提出了一种模型驱动的大数据流水线框架PiFlow。首先,将大数据处理过程抽象为有向无环图;然后,开发一系列组件用于构建数据处理流水线,并设计了流水线任务执行机制。同时,为规范和简化流水线框架的描述,设计了基于模型驱动的大数据流水线描述语言--PiFlowDL,该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线,集成了状态监控、模板配置、组件集成等功能,与Apache NiFi相比有2~7倍的性能提升。 展开更多

关键词 大数据 流水线 流水线调度 模型驱动的开发方法 数据处理

下载PDF 职称材料

成品油管铁联运物流优化 被引量：4

2

作者 许少新 涂仁福 +3 位作者 徐宁 李舒丹 黄丽燕 梁永图 《油气储运》 CAS 北大核心 2022年第7期859-868,共10页

成品油物流优化研究大多关注油库库存优化,决策中通常缺乏对运输方式的合理选择以及批次输送对管输方案的影响。基于此,在满足油库各油品需求的前提下,以总体运输费用最小为目标函数,考虑油库需求、库容、运输能力等约束,构建了成品油... 成品油物流优化研究大多关注油库库存优化,决策中通常缺乏对运输方式的合理选择以及批次输送对管输方案的影响。基于此,在满足油库各油品需求的前提下,以总体运输费用最小为目标函数,考虑油库需求、库容、运输能力等约束,构建了成品油物流优化模型;以管道沿线各分输站实际分输油品量与需求量偏差之和最小为目标函数,考虑批次跟踪、批次分输、节点流量等约束,构建了成品油管道调度优化模型。将上述两个模型耦合成考虑管道、铁路联合运输的成品油物流优化模型,迭代求解物流方案与管道调度计划,最终得到满足管道运输能力的成品油物流方案。将所构建模型应用于某区域成品油物流方案的制定,优化结果相对于传统编制方案管输量得到提升,铁路运输里程相应缩短,整体物流成本降低了4.18%,对于成品油销售企业制定合理的物流计划具有参考作用。(图5,表8,参21) 展开更多

关键词 成品油 一次物流 管道调度 管铁联运

原文传递

成品油管道调度计划自动编制系统的开发 被引量：2

3

作者 宋飞 朱峰 +1 位作者 梁静华 崔艳雨 《油气储运》 CAS 北大核心 2007年第3期5-7,共3页

对兰成渝成品油管道的运行特点进行了分析,以管道调度计划编制和执行过程为基础,探讨了调度计划自动编制的原则和边界条件设定等问题,确定了调度计划自动编制模型,开发了适用于兰成渝成品油管道的调度计划自动编制系统。

关键词 成品油管道 顺序输送 调度计划 自动编制系统 开发

下载PDF 职称材料

基于DIMASIS的城市排水管理一体化系统 被引量：3

4

作者 陈亚峰 周炯如 盛新宇 《自动化与仪表》 北大核心 2012年第6期7-11,共5页

从排水管网管理需求出发,结合常州市城区排水系统设计方案,提出了基于DIMASIS的城市排水管理一体化系统。将各种不同的应用子系统进行整合,利用统一的系统平台掌握整个管网的运行情况,依据智能化的管网调度模型对污水厂、泵站及其它设... 从排水管网管理需求出发,结合常州市城区排水系统设计方案,提出了基于DIMASIS的城市排水管理一体化系统。将各种不同的应用子系统进行整合,利用统一的系统平台掌握整个管网的运行情况,依据智能化的管网调度模型对污水厂、泵站及其它设施进行集中管控和优化调度管理;通过集成SCADA、管网调度、GIS、GPS及PDA等功能,调度及维护人员可以明确、快速地处理突发事件,有效完成日常维护并实现设施管理和用户管理的信息化。系统为城市排水系统的运行管理提供了全面、科学的数据支持,对提高城市排水管理的质量、效率和水平具有重要意义。 展开更多

关键词 城市排水 一体化系统 管网调度 运行管理

下载PDF 职称材料

单功能非线性流水线的Petri网调度方法 被引量：1

5

作者 束德勤 范昊 张亮 《计算机工程与设计》 北大核心 2016年第9期2390-2393,共4页

在非线性流水线的调度中须找出一种合适的时间间隔,避免流水线各功能段的使用冲突并使流水线有较高的吞吐率和效率,为此提出一种基于Petri网的单功能非线性流水线的建模及调度方法。对流水线的工作过程建立直观清楚的Petri网模型,直接... 在非线性流水线的调度中须找出一种合适的时间间隔,避免流水线各功能段的使用冲突并使流水线有较高的吞吐率和效率,为此提出一种基于Petri网的单功能非线性流水线的建模及调度方法。对流水线的工作过程建立直观清楚的Petri网模型,直接利用网结构求出禁止启动距离和初始可调度向量;根据网模型的一步并发和冲突检测缩小Petri网可达图的状态空间,得到流水线的可调度图;由可调度图的闭合回路,得到最优调度方案。结合一个流水线调度实例,验证了该方法的正确性。 展开更多

关键词 非线性流水线 流水线调度 PETRI网 冲突检测 可达图

下载PDF 职称材料

管道调度操作支持系统联动报警功能和技术要点 被引量：1

6

作者 孙颖 杨国锋 李国栋 《自动化博览》 2013年第1期100-103,共4页

管道调度操作支持系统实现了与SCADA系统的报警、控制操作的联动查询,可动态提供操作流程,操作效果等操作支持,提高了对调度控制的支持的针对性和有效性。并提供报警数据的统计,为优化报警配置提供数据基础。本文针对管道调度操作支持... 管道调度操作支持系统实现了与SCADA系统的报警、控制操作的联动查询,可动态提供操作流程,操作效果等操作支持,提高了对调度控制的支持的针对性和有效性。并提供报警数据的统计,为优化报警配置提供数据基础。本文针对管道调度操作支持系统的报警功能要求,介绍了系统的报警显示、报警统计等报警功能,并论述了系统读取SCADA系统报警数据的方法,以及如何辅助调度人员进行报警处理。该系统已经在兰成渝管道上进行实际应用。 展开更多

关键词 管道调度 SCADA系统 历史数据库 MYSQL ODBC

下载PDF 职称材料

应用于流水时序调度的归一化定时数据流图理论 被引量：1

7

作者 欧钢 《国防科技大学学报》 EI CAS CSCD 北大核心 2001年第1期66-72,共7页

流水时序调度是专用数字信号处理器高层综合中的一个困难而急待解决的问题 ,文中提出了一种有着鲜明物理意义的归一化定时数据流图 ,基于节点移动研究了合法流水调度变换的内部机理 ,从而证明从任一合法的初始流水调度出发 ,通过合法的... 流水时序调度是专用数字信号处理器高层综合中的一个困难而急待解决的问题 ,文中提出了一种有着鲜明物理意义的归一化定时数据流图 ,基于节点移动研究了合法流水调度变换的内部机理 ,从而证明从任一合法的初始流水调度出发 ,通过合法的节点移动可以搜索到设计空间中任何一个合法的流水调度。一个合法、完备的变换集 ,为寻优搜索的算法应用于流水调度解决了理论和算法实现问题。文中还给出了一些实验结果。 展开更多

关键词 高层综合 流水时序调度 数字信号处理器 归一化 定时数据流图

下载PDF 职称材料

行为综合功能流水线中的资源约束LB-ACO算法 被引量：1

8

作者 宋德强 段成华 黄庆明 《系统工程与电子技术》 EI CSCD 北大核心 2009年第2期384-389,共6页

针对行为综合功能流水线中带资源约束的调度问题,提出了一种新的功能流水线调度算法负载平衡蚁群调度算法(load-balanced ant colony scheduling,LB-ACO)。该算法将蚁群算法和力向算法的受力公式相结合,在保证较低运行时间复杂度O(cn2)... 针对行为综合功能流水线中带资源约束的调度问题,提出了一种新的功能流水线调度算法负载平衡蚁群调度算法(load-balanced ant colony scheduling,LB-ACO)。该算法将蚁群算法和力向算法的受力公式相结合,在保证较低运行时间复杂度O(cn2)的前提下,可获得近似最优的流水线调度结果。通过确定蚁群算法的局部试探因子和全局试探因子的计算方法,描述了该算法的实现步骤。通过仿真实验证明了该算法的流水线调度性能。 展开更多

关键词 高级综合 流水线调度 蚁群算法 资源约束

下载PDF 职称材料

从运行调度角度探讨珠三角管道分输调度计划的编制

9

作者 刘静 《茂名学院学报》 2007年第4期78-80,共3页

以珠三角成品油管道为模型,结合一个输送周期内油品批次运行图,阐述了具有多分输站成品油管道运行调度计划编制过程;通过对运行过程的跟踪分析,介绍了调度计划软件编制过程中应该考虑的几点因素。

关键词 成品油管道 顺序输送 调度计划

下载PDF 职称材料

基于新型分布式算法的批量流水线调度方法研究

10

作者 潘玉霞 《信息与电脑》 2019年第7期48-49,共2页

在企业生产经营活动中,生产计划是最重要的依据,而生产计划是由调度系统来实施完成的,批量流水线调度问题是一个合理分配资源的过程,从而达到优化一个或多个目标的目的。优化的批量流水线调度方案,能提高企业的生产效率,并在一定程度上... 在企业生产经营活动中,生产计划是最重要的依据,而生产计划是由调度系统来实施完成的,批量流水线调度问题是一个合理分配资源的过程,从而达到优化一个或多个目标的目的。优化的批量流水线调度方案,能提高企业的生产效率,并在一定程度上降低生产成本,目前的批量流水线调度方案存在一定问题,笔者提出基于新型分布式算法的批量流水线调度方法。 展开更多

关键词 生产经营活动 批量流水线调度 合理分配资源 调度方案

下载PDF 职称材料

群智能优化算法的船舶信息管理任务批量流水调度研究 被引量：1

11

作者 张晶 潘玉霞 《舰船科学技术》 北大核心 2019年第20期37-39,共3页

针对传统的船舶信息管理任务调度模型的调度平均等待时间长的问题,研究群智能优化算法的船舶信息管理任务批量流水调度模型。根据群智能优化算法理论,将调度过程中的船舶看作粒子,根据实际调度需求设定调度模型的参数。为缩短船舶调度... 针对传统的船舶信息管理任务调度模型的调度平均等待时间长的问题,研究群智能优化算法的船舶信息管理任务批量流水调度模型。根据群智能优化算法理论,将调度过程中的船舶看作粒子,根据实际调度需求设定调度模型的参数。为缩短船舶调度平均等待时间,规划船舶调度的目标函数以及约束条件。计算粒子适应度,将粒子与任务分配一一映射,根据船舶可信度计算得到局部粒子最优解,更新粒子位置直至出现最优调度解,完成船舶信息管理任务批量流水调度模型的构建。通过与传统调度模型的对比仿真实验,验证构建的基于群智能优化算法的船舶调度模型能够缩短传统调度模型2/3的平均调度等待时间,提高了调度效率。 展开更多

关键词 群智能优化算法 船舶信息管理 任务批量流水调度

下载PDF 职称材料

面向在线调合的原油管输滚动调度方法研究 被引量：1

12

作者 陈伟睿 陈夕松 +1 位作者 陶思琦 梅彬 《石油炼制与化工》 CAS CSCD 北大核心 2021年第11期87-92,共6页

目前原油调度方案多采用人工经验或数学规划方法进行编制,存在难以匹配原油在线调合技术以及求解规模过大等问题。针对炼油行业典型原油管输调度工艺,设计了面向在线调合的原油管输滚动调度方法,将全时段调度周期切割为若干个等长的短周... 目前原油调度方案多采用人工经验或数学规划方法进行编制,存在难以匹配原油在线调合技术以及求解规模过大等问题。针对炼油行业典型原油管输调度工艺,设计了面向在线调合的原油管输滚动调度方法,将全时段调度周期切割为若干个等长的短周期,使用混合整数规划法建模,采用滚动优化方法将原油调合需求纳入原油调度模型的目标函数及约束中,求解模型得到全时段调度方案。结果表明,对于在原油调合配方变化背景下调度周期为168 h的原油管输调度问题,采用该方法可使原油调度与调合更加匹配,且能快速找到适应原油调合变化的最优原油调度方案,有利于提升炼油企业经济效益。 展开更多

关键词 原油在线调合 原油管输调度 混合整数规划 滚动优化

下载PDF 职称材料

行为综合功能流水线中的负载平衡蚁群调度算法

13

作者 宋德强 段成华 黄庆明 《微电子学》 CAS CSCD 北大核心 2008年第6期769-773,共5页

在专用集成电路高层次综合中,功能流水线是提高算法描述执行速度的关键技术。针对时间约束和资源约束的两类行为综合功能流水线调度问题,提出了一种基于蚁群优化(ACO)的调度算法。LB-ACO算法将ACO算法与力向算法相结合,使用修改的力向... 在专用集成电路高层次综合中,功能流水线是提高算法描述执行速度的关键技术。针对时间约束和资源约束的两类行为综合功能流水线调度问题,提出了一种基于蚁群优化(ACO)的调度算法。LB-ACO算法将ACO算法与力向算法相结合,使用修改的力向公式定义局部试探因子,用个体调度结果的质量来更新全局试探因子。实验结果表明,LB-ACO算法在保证较低的时间复杂度O(cn^2)的前提下,获得接近最优的调度结果。 展开更多

关键词 行为综合 流水线调度 蚁群算法

下载PDF 职称材料

低占空比传感网中分布式的环状流水线工作调度研究 被引量：5

14

作者 蒋婵 李陶深 梁俊斌 《电子学报》 EI CAS CSCD 北大核心 2018年第7期1732-1736,共5页

低占空比传感网中节点的长时间睡眠会导致数据查询延迟的增加.如何调度节点唤醒时间从而最小化延迟,是一个难解的组合优化问题.提出一个分布式的环状流水线调度算法,不用长时间等待即可进行数据传输.分析表明,算法可获得较低的延迟和更... 低占空比传感网中节点的长时间睡眠会导致数据查询延迟的增加.如何调度节点唤醒时间从而最小化延迟,是一个难解的组合优化问题.提出一个分布式的环状流水线调度算法,不用长时间等待即可进行数据传输.分析表明,算法可获得较低的延迟和更长的网络生命周期. 展开更多

关键词 低占空比传感网 分布式算法 环状流水线工作调度 数据查询

下载PDF 职称材料

仿真技术在成品油管道调度中的应用 被引量：1

15

作者 周健 《广东化工》 CAS 2014年第8期68-68,65,共2页

管道仿真技术能够真实地再现管道中油品的流动规律,反映管道在各种工况下的热力、水力特性及设备运行状态,从而预测真实管道在预期工况下的水力瞬变情况,为管道系统的设计、调度、操作及管理决策提供科学的参数和依据。文章介绍了成品... 管道仿真技术能够真实地再现管道中油品的流动规律,反映管道在各种工况下的热力、水力特性及设备运行状态,从而预测真实管道在预期工况下的水力瞬变情况,为管道系统的设计、调度、操作及管理决策提供科学的参数和依据。文章介绍了成品油管道仿真调度技术的基本思想,概述了批量仿真的基本方法,回顾了国内外管道仿真技术的发展现状和管道仿真商业软件,分析了调度仿真技术的研究方向。 展开更多

关键词 顺序输送 成品油管道 调度 仿真技术次

下载PDF 职称材料