-
题名科学大数据管理:概念、技术与系统
被引量：73
- 1
-
-
作者
黎建辉
沈志宏
孟小峰
-
机构
中国科学院计算机网络信息中心
中国人民大学信息学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2017年第2期235-247,共13页
-
基金
国家重点研发计划项目(2016YFB1000600)~~
-
文摘
近年来,随着越来越多的大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代.大数据时代科学研究是一个大科学、大需求、大数据、大计算、大发现的过程,研发一个支持科学大数据全生命周期的数据管理系统具有重要的意义.分析了研发科学大数据管理系统的背景,阐述了科学大数据的概念和三大特征,通过对科学数据资源发展和科学数据管理系统的研究进展进行综述分析,提出了满足科学数据管理全生命周期的科学大数据管理框架,并从数据融合、数据实时分析、长期存储、云服务体系以及数据开放共享机制5个方面分析了科学大数据管理系统中的关键技术.最后,结合科学研究领域展望了科学大数据管理系统的应用前景.
-
关键词
科学数据
大数据
数据流水线
数据全生命周期
-
Keywords
scientific data
big data
data pipeline
full life cycle of data
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于大数据的管道系统数据分析模型及应用
被引量：40
- 2
-
-
作者
董绍华
安宇
-
机构
中石油北京天然气管道有限公司
-
出处
《油气储运》
CAS
北大核心
2015年第10期1027-1032,共6页
-
文摘
以往管道企业数据分析侧重于因果关系,而在大数据时代,管道系统一系列的信息集成、管理程序、检测记录以及日常运维记录等都将通过物联网、云计算等数据网络串联起来,其数据分析方向逐渐由因果关系向非因果(关联性)关系转变。通过对大数据分析模型进行研究,得出大数据分析将是管道企业未来发展的重要趋势之一,建立了适合于未来发展的管道系统大数据管理架构模型,提出了基于大数据的管道数据算法模型,进一步完善了内检测数据管理模型,并在管道泄漏和预警、管道地质灾害、管道腐蚀管理、管道内检测数据分析等方面实践应用,获得了能耗控制、灾害管理、风险控制等综合性、全局性的分析结论,对于管道大数据领域在管道行业的发展和应用具有重要意义。
-
关键词
大数据
管道系统
数据分析模型
内检测数据管理
腐蚀管理
-
Keywords
Big data, pipeline system, data analysis model, inline detection data management, corrosion management
-
分类号
TE972
[石油与天然气工程—石油机械设备]
-
-
题名异构数据库间的数据转换
被引量：17
- 3
-
-
作者
蔡延峰
蔡启明
-
机构
南京航空航天大学经济管理学院
-
出处
《计算机与现代化》
2002年第1期41-43,50,共4页
-
文摘
异构数据库管理系统间进行数据转换是当今开发人员经常遇到的问题。本文基于实际经验 。
-
关键词
数据库管理系统
数据转换
数据管道
联邦数据库系统
异构数据库
-
Keywords
DBMS
data translating
data pipeline
FDBS
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名大数据环境下管道内检测数据管理
被引量：35
- 4
-
-
作者
林现喜
李银喜
周信
张克政
-
机构
中海石油气电集团
-
出处
《油气储运》
CAS
北大核心
2015年第4期349-353,共5页
-
文摘
管道大数据的形成是大势所趋,管道内检测数据是管道大数据中极其重要的组成部分。构建了大数据环境下管道内检测数据模型,梳理了管道内检测数据管理流程,提出在管道大数据背景下,对内检测数据进行深度挖掘与应用,主要包括:管道多轮内检测数据比对,管道内外检测数据比对,管道位置精确定位及其在管道日常管理、维护维修、地理信息系统等的应用,管道可靠性及安全状态评估等。由此,可以有效提高管道管理水平,保证管道安全可靠运行。
-
关键词
大数据
内检测
数据比对
管道位置
可靠性
-
Keywords
big data, inline inspection, data comparison, pipeline location, reliability
-
分类号
TE88
[石油与天然气工程—油气储运工程]
-
-
题名微生物组数据分析方法与应用
被引量：33
- 5
-
-
作者
刘永鑫
秦媛
郭晓璇
白洋
-
机构
中国科学院遗传与发育生物学研究所
中国科学院遗传与发育生物学研究所
中国科学院大学现代农学院
-
出处
《遗传》
CAS
CSCD
北大核心
2019年第9期845-862,共18页
-
基金
中国科学院前沿科学重点研究项目(编号：QYZDB-SSW-SMC021),中国科学院重点部署项目(编号：KFZD-SW-219)资助
国家自然科学基金面上项目(编号：31772400)~~
-
文摘
高通量测序技术的发展衍生出一系列微生物组(microbiome)研究技术,如扩增子、宏基因组、宏转录组等,快速推动了微生物组领域的发展。微生物组数据分析涉及的基础知识、软件和数据库较多,对于同领域研究者开展学习和选择合适的分析方法具有一定困难。本文系统概述了微生物组数据分析的基本思想和基础知识,详细总结比较了扩增子和宏基因组分析中的常用软件和数据库,并对高通量数据下游分析中常用的几种方法,包括统计和可视化、网络分析、进化分析、机器学习和关联分析等,从可用性、软件选择以及应用等几个方面进行了概述。本文拟通过对当前微生物组主流分析方法的整理和总结,为同领域研究者更方便、灵活的开展数据分析,快速选择研究分析工具,高效挖掘数据背后的生物学意义提供参考,进一步推动微生物组研究在生物学领域的发展。
-
关键词
微生物组
数据分析
扩增子
宏基因组
分析流程
-
Keywords
microbiome
data analysis
amplicon
metagenome
pipeline
-
分类号
Q93
[生物学—微生物学]
-
-
题名趋势面分析在水深测量数据处理中的应用
被引量：17
- 6
-
-
作者
胡光海
周兴华
-
机构
国家海洋局第一海洋研究所
-
出处
《测绘工程》
CSCD
2004年第3期23-25,共3页
-
文摘
趋势面分析是用一个数学函数代表几何平面或曲面模拟事物的空间分布,以反映其分布的规律或趋势。利用趋势面分析法处理埕岛油田海区CB6C井区的水深数据,识别水深测量中出现的水深误差。
-
关键词
趋势面分析
水深测量
数据处理
误差
海底管道
-
Keywords
trend surface analysis
water depth error
anomalous data
residual
seafloor pipeline
-
分类号
P229
[天文地球—大地测量学与测量工程]
-
-
题名一种基于管道大数据的腐蚀因素相关性分析方法
被引量：19
- 7
-
-
作者
张河苇
金剑
董绍华
李宁
张来斌
-
机构
中国石油大学(北京)机械与储运工程学院
中石油管道有限责任公司西部分公司
-
出处
《科学通报》
EI
CAS
CSCD
北大核心
2018年第8期777-783,共7页
-
基金
国家重点基础研究发展计划(2017YFC0805800)
中石油管道有限责任公司西部分公司科研项目(XG-JCGL-CX-KJXX-01-JL-03/201604)资助
-
文摘
我国天然气管道建设在过去的10年取得了巨大的发展,目前中国的长输管道总数量已达到12.5×104 km.随着管道系统的运行时间增长和材料性能的老化,由管道腐蚀、失效泄漏引起的事故频发,并且由于管径的增大和运行压力的提高,事故后果严重性也随之提高,特别是对高后果区的影响更为严重.油气管道的安全问题越来越受到重视.因此,提取管道腐蚀性影响因素、发现风险演变规律对于预测预防管道泄漏尤为重要.由于数字化管道已经逐步建立,设计、施工、运行过程中产生大量的数据得以保存,内检测数据信号总量也达到TB级别,这些均为腐蚀分析提供了信息基础.本文基于大数据的方法,融合管道系统在设计、施工、运行过程中产生的结构化和非结构化数据,基于互信息理论方法,建立腐蚀等级与多因素之间的关联模型.通过现场数据验证模型的有效性,确定影响管道腐蚀的关键因素,为管道寿命预测奠定基础.结论表明,利用管道"大数据"挖掘管道各数据集之间的关联关系,可用于获取管道腐蚀信息,为事故预防提供依据.除此之外,该方法还可以在确定主要因素之后缩小管段范围,研究其中某一种因素,如进一步确定腐蚀与哪一种土壤的相关性更强.
-
关键词
腐蚀
大数据
互信息理论
相关性分析
管道
-
Keywords
corrosion, big data, mutual information theory, correlation analysis, pipeline
-
分类号
TE988.2
[石油与天然气工程—石油机械设备]
-
-
题名管道完整性系统数据集成与应用
被引量：17
- 8
-
-
作者
郭磊
许芳霞
周利剑
贾韶辉
任武
高海康
-
机构
中国石油管道科技研究中心中国石油天然气集团公司油气储运重点实验室
中国石油管道公司长庆输油气分公司
-
出处
《油气储运》
CAS
2014年第6期593-598,共6页
-
基金
中国石油集团公司投资项目"管道完整性管理系统"
计划2010-12
-
文摘
从油气长输管道完整性数据的应用现状出发,提出了管道完整性数据集成应用的现实需求,通过比较现有数据集成技术,进一步分析了管道完整性数据集成的需求和目标,分别从管道完整性数据库构建及应用平台两个方面对实施路线进行了阐述。结合管道内检测应用实例,分别从完整性数据支持、数据对齐、数据分析展示3个方面验证了基于管道完整性管理系统的数据集成应用效果,有效解决了数据不统一、利用效率低、应用效果不理想等问题,从而为管道完整性管理及相关技术应用提供更加有效的手段,为实际管理决策提供更加有效的支持。
-
关键词
油气长输管道
数据集成
管道完整性
管道完整性管理系统
-
Keywords
long-distance oil and gas pipeline, data integration, pipeline integrity, pipeline integrity management system
-
分类号
TE89
[石油与天然气工程—油气储运工程]
-
-
题名基于SCADA和GIS的油气调控运行系统
被引量：13
- 9
-
-
作者
王金柱
王泽根
张丙辰
毛建
杨兴兰
刘琛
-
机构
中国石油北京油气调控中心
西南石油大学
中国石油西气东输管道公司
中油管道投产运行公司
-
出处
《油气储运》
CAS
北大核心
2011年第12期902-906,4-5,共5页
-
文摘
基于SCADA和GIS技术的油气管道调控运行系统,可以有效提高油气管道调控运行水平,加快管道数字化建设步伐。根据SCADA和GIS技术在管道调控运行中互补应用的可行性,建立了系统的基本框架:在同一平台上完成SCADA和GIS数据的处理,同时支持静态和实时数据处理且保证效率,用户最终通过同一接口访问空间和实时数据,执行油气管道的生产调度和决策指挥工作。系统的基本功能包括泄漏检测定位可视化,清管器跟踪定位与显示,批次跟踪定位与显示,应急救援指挥与决策,信息查询、分析和统计,管道与附属设施多媒体,参数报警与高亮显示,状态参数在线显示,图表处理与打印等。系统要实现动态数据和静态数据的统一管理,在接口处理和数据存储等方面尚存在诸多技术难题,有待探索和完善。
-
关键词
油气管道
SCADA
GIS
调控运行
数据库
接口处理
数字管道
-
Keywords
oil & gas pipeline,SCADA,GIS,control and operation,data base,interface processing,digital pipeline
-
分类号
TE978
[石油与天然气工程—石油机械设备]
-
-
题名在役管道数字化建设的数据与模型
被引量：13
- 10
-
-
作者
王金柱
王泽根
段林林
宁成千
周艳杰
-
机构
中国石油北京油气调控中心
西南石油大学
中石油昆仑燃气有限公司大庆燃气公司
西安长庆科技工程有限责任公司
-
出处
《油气储运》
CAS
北大核心
2010年第8期571-574,共4页
-
文摘
基于数字管道的研究发展现状,提出了在役管道数字化建设的目标和理论体系,从数据经济性评价、数据分类和采集、数据管理以及模型数据分析几方面阐述了在役管道数字化建设的数据问题。根据管道数字化建设对数据的需求和数据采集的经济性评价,确定采集数据的类型和采集量,通过对数据进行有效管理和分析,实现数据的有效利用,完成数字管道的数据建库工作。结合国内外数字管道模型的研究现状对油气管道运行管理中的完整性管理、管道系统模拟、管道维护调度和管道事故应急救援4个模型进行探讨,旨在完善管道运营管理模型,增加采集数据的经济价值,最终实现油气管道管理的模型化、自动化和智能化。
-
关键词
油气管道
数字化
数据分析
运营管理模型
-
Keywords
in-service,oil & gas pipelines,digitization,data analysis,operation & management model,digital pipeline
-
分类号
TP136
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于MapX的空间管网信息系统设计与实现
被引量：10
- 11
-
-
作者
陈锻生
吴清江
涂超
-
机构
华侨大学计算机科学系
-
出处
《计算机应用》
CSCD
北大核心
2004年第2期78-81,共4页
-
文摘
采用GIS管理空间管网是提高城市建设效率的重要基础。文中介绍了利用MapX组件开发某小区空间管网信息系统,实现了管网图层与属性数据之间的双向查询,支持局部剖面自动生成的空间数据结构设计与实现算法等。侧重研究空间管网的数据组织形式,以及空间信息和属性信息之间的关联。实验证明,利用MapX组件能高效地建造空间管线信息系统;系统中的空间数据结构设计合理,能较好的实现管线数据的录入、查询以及综合管理等系统要求。
-
关键词
空间数据
管网
MAPX组件
剖面图
-
Keywords
spatial data
pipeline network
MapX groupware
section plane
-
分类号
TP319
[自动化与计算机技术—计算机软件与理论]
-
-
题名城市地下管线数据的计算机监理检查
被引量：12
- 12
-
-
作者
李丹农
-
机构
宁波市测绘设计研究院
-
出处
《城市勘测》
2007年第4期61-63,共3页
-
文摘
结合宁波城市地下管线普查工程监理工作,对城市管线数据计算机监理检查方法进行了探讨,阐述了管线数据监理过程方法和要求以及基于知识和规则的管线数据监理软件设计思想及其在项目中的使用情况。
-
关键词
数据监理
管线普查
专家系统
知识和规则
-
Keywords
data overseeing
pipeline surveying
specialist system
Repository
-
分类号
P209
[天文地球—测绘科学与技术]
-
-
题名如何高效开发企业级的数据库信息系统
被引量：10
- 13
-
-
作者
黄健
吴延海
刘晓佩
常淑娟
-
机构
西安科技大学通信与信息工程学院
-
出处
《计算机工程与设计》
CSCD
北大核心
2005年第8期2168-2169,2186,共3页
-
文摘
介绍了以PowerBuilder为软件开发工具,充分利用面向对象技术,并融合了软件工程理论进行规范、高效、快速地开发企业级数据库信息系统的基本思想和方法;强调了数据库系统开发过程中需要注意的几个重要环节,简要地阐述了其关键部分应该注意的问题,这些环节涵盖了软件开发的过程管理、系统设计和具体的代码编写等几个方面,以此提高代码的重用率,加强代码可维护性,减少程序错误,维护版本一致性,从而提高软件开发效率。
-
关键词
POWERBUILDER
错误陷阱
继承
封装
数据管道
版本控制
-
Keywords
PowerBuilder
error trap
inherit
encapsulation
data pipeline
edition control
-
分类号
TP311.132.3
[自动化与计算机技术—计算机软件与理论]
-
-
题名大数据时代油气管道的安全与防护
被引量：12
- 14
-
-
作者
袁鹏斌
刘凤艳
舒江
刘乃勇
姜文宽
-
机构
上海海隆石油管材研究所
盛隆石油管检测技术有限公司
-
出处
《无损检测》
2015年第4期51-55,共5页
-
文摘
针对大数据时代油气管道的安全与防护问题,分析了管道的基本数据、检测数据、评价数据等和管道安全与防护相关的数据。通过对制管、铺管、外检测、内检测、风险评价、完整性评价过程的分析,证明了建立管道大数据的可行性,分析了管道大数据在克服完整性评价标准中的保守性、修正管道评价标准、预测管道未来安全状况等方面的应用。结果表明,管道大数据将成为油气管道安全与防护新的研究方向,将在油气管道安全高效运行中发挥重要作用。
-
关键词
大数据
管道
外检测
内检测
完整性评价
-
Keywords
Big data
pipeline
External inspection
Inline inspection
Integrity assessment
-
分类号
TE88
[石油与天然气工程—油气储运工程]
TE988
-
-
题名智慧数据驱动的产学研协同创新知识管网研究
被引量：12
- 15
-
-
作者
罗琳
顾新
-
机构
四川大学商学院
四川省科技交流中心
四川大学创新与创业管理研究所
-
出处
《软科学》
CSSCI
北大核心
2017年第6期15-18,共4页
-
基金
国家社会科学基金西部项目(12XGL003)
四川省哲学社会科学规划项目(SC13C028)
-
文摘
分析了产学研协同创新的知识活动过程,在以大数据为背景的知识管理视阈下,提出了知识流动的"数据—人—知识"框架,探讨了智慧数据的内涵,并通过对产学研协同创新主体的知识库分析、构建产学研协同创新的知识管网模型,阐释了基于智慧数据的产学研协同创新知识流动的实现。
-
关键词
产学研协同创新
智慧数据
知识管网
-
Keywords
Industry-University-Research institute collaborative innovation
Smart data
Knowledge pipeline
-
分类号
G322
[文化科学]
G311
-
-
题名模型驱动的大数据流水线框架PiFlow
被引量：8
- 16
-
-
作者
朱小杰
赵子豪
杜一
-
机构
中国科学院计算机网络信息中心
中国科学院大学
-
出处
《计算机应用》
CSCD
北大核心
2020年第6期1638-1647,共10页
-
基金
国家重点研发计划云计算与大数据重点专项(2018YFB1004001)
国家自然科学基金重点项目(61836013)
中国烟草总公司科技重大专项(110201801019(SJ-01))。
-
文摘
复杂流程的大数据处理多依托于流水线系统,但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足。针对上述问题,为提高大数据处理环境的构建与开发效率,优化处理流程,提出了一种模型驱动的大数据流水线框架PiFlow。首先,将大数据处理过程抽象为有向无环图;然后,开发一系列组件用于构建数据处理流水线,并设计了流水线任务执行机制。同时,为规范和简化流水线框架的描述,设计了基于模型驱动的大数据流水线描述语言--PiFlowDL,该语言以模块化、层次化的方式对大数据处理任务进行描述。PiFlow以所见即所得(WYSIWYG)的方式配置流水线,集成了状态监控、模板配置、组件集成等功能,与Apache NiFi相比有2~7倍的性能提升。
-
关键词
大数据
流水线
流水线调度
模型驱动的开发方法
数据处理
-
Keywords
big data
pipeline
pipeline scheduling
model driven development method
data processing
-
分类号
TP311.56
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于深度学习的大数据管网风险评价方法
被引量：9
- 17
-
-
作者
王新颖
张惠然
张瑞程
赵斌
陈海群
-
机构
常州大学环境与安全工程学院
常州大学石油化工学院
-
出处
《消防科学与技术》
CAS
北大核心
2019年第6期902-905,共4页
-
基金
国家安监总局安全生产重大事故防治关键技术科技项目“天然气管网泄漏检测及风险管理系统关键技术研究”(安监总厅科技[2013]140号)
常州市科技项目“城市地下燃气管网信息化管理与应急决策支持系统”(CZ20170017)
-
文摘
为了从管道大数据中挖掘有效信息,高效准确地识别管道存在的风险,建立城市管网风险预测体系,结合深度置信网络,提出了基于深度置信网络的管道风险预测方法。以某燃气公司12段管网为例,其预测结果与实际情况相符,进一步选取未评级管道,利用多层次模糊风险分析法与所建立模型同时进行风险评估,二者结果一致。研究结果表明,该模型稳定性强、诊断速度快、识别准确率高,可较好地实现城市燃气管道的风险模式识别。
-
关键词
深度学习
大数据
燃气管道
风险评估
-
Keywords
deep confidence network
big data
gas pipeline
risk assessment
-
分类号
SX913.4
[环境科学与工程—安全科学]
X937
-
-
题名行李自动分拣统计分析系统设计与实现
被引量：8
- 18
-
-
作者
谢丽霞
杨宏宇
-
机构
中国民航学院计算机学院
中国民航学院民航网络与信息安全实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2005年第B07期3-6,共4页
-
文摘
介绍了机场行李自动分拣统计分析系统的设计与实现过程,提出了系统的设计思想和模块结构。对该系统中的异构数据库数据转换、多操作系统平台数据文件传输、统计分析等主要技术难点和解决方案作出了详细描述,总结了该系统的实际应用效果和特点。
-
关键词
行李自动分拣
统计分析
数据管道
异构数据库
-
Keywords
Luggage automatic sorting
Statistical analysis
data pipeline
Heterogeneous database
-
分类号
TP311.138
[自动化与计算机技术—计算机软件与理论]
-
-
题名BEIDSS中数据仓库平台的设计
- 19
-
-
作者
王玮
何凌毅
朱炜
樊莉萍
戴坚
邢跃
-
机构
南京大学计算机软件新技术国家重点实验室
上海宝钢集团公司能源部
-
出处
《计算机工程与科学》
CSCD
2000年第3期104-107,共4页
-
文摘
为弥补传统数据库管理系统在智能决策支持系统应用中的缺陷 ,一种新的数据组织和管理技术——数据仓库技术应运而生。随着数据仓库技术的不断发展和完善 ,该技术越来越广泛地应用到各个领域。本文结合宝钢能源部智能决策系统 ( BEIDSS)的开发 。
-
关键词
数据仓库平台
BEIDSS
决策支持系统
-
Keywords
data warehouse
data pattern
multi dimension m odel
data integration
data pipeline
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名数据中心空调系统设计应关注的问题
被引量：8
- 20
-
-
作者
傅烈虎
-
机构
艾默生网络能源有限公司
-
出处
《制冷与空调》
2017年第11期70-75,共6页
-
文摘
从数据中心的负荷特性和运行要求出发,分析其空调系统设计中应关注的问题:从固定资产投资角度进行高压(10 kV)与低压(380 V)冷水机组选择;变频与定频冷水机组选择应着眼于业务运行特性和节能经济性要求;水泵并联台数应考虑流量衰减;蓄冷罐宜采用与冷水机组系统并联方案;管网设计应在管道投资和管路可用性间寻找平衡;管道防冻处理须因地制宜等。
-
关键词
数据中心
暖通空调
变频冷水机组
蓄冷
管网
-
Keywords
data center
HVAC （heating ventilating ＆ air-conditioning）
variable fre-quency chiller
cold storage
pipeline network
-
分类号
TU831.8
[建筑科学—供热、供燃气、通风及空调工程]
-
