题名 基于大数据技术的电力分区多源异构数据集成系统设计
被引量：10
1
作者
黄勇光 黄兵
机构
深圳供电局有限公司 南方电网深圳数字电网研究院有限公司
出处
《电子设计工程》
2023年第2期34-37,42,共5页
文摘
为了提高电力分区多源异构数据集成效率,促进电网稳定,设计了基于大数据技术的电力分区多源异构数据集成系统。该系统将电力分区多源异构数据和设备数据传输到数据接口层,在数据接口层进行数据特征提取,配置合适的交互接口,通过数据集成层中灵活分布式集群进行数据采集,并采用电力分区多源异构数据融合算法实现数据集成;数据发布层依据数据集成层反馈的信息发布电力分区多源异构数据。实验结果表明,该系统信息覆盖率高达95%,稳定性高达97.21%,运行时间低至15.75 ms,数据发布准确率高达99%,以上数据说明该系统性能良好,准确率和稳定性高,能够提高电力分区多源异构数据集成效率。
关键词
大数据技术 电力分区 多源异构 数据集成系统 数据存储 数据融合
Keywords
big data technology power partition multi -source heterogeneous data integration system data storage data fusion
分类号
TN-9
[电子电信]
题名 一体化大数据平台在智慧电厂中的应用
被引量：6
2
作者
张青松
机构
国能寿光发电有限责任公司
出处
《集成电路应用》
2022年第11期328-329,共2页
文摘
阐述智慧电厂一体化大数据平台特点,智慧电厂运营一体化管理大数据平台的关键技术应用,包括多源异构的信息存储、电厂数据的处理和修正、电厂的智能化预警功能。
关键词
计算机系统 一体化大数据平台 多源异构存储 智能化预警
Keywords
computer system integrated big data platform multi -source heterogeneous storage intelligent early warning
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 物联网环境下海量多源异构数据的存储算法
被引量：5
3
作者
侯戌非
机构
铜陵职业技术学院信息工程系
出处
《宁夏师范学院学报》
2022年第7期80-85,共6页
文摘
物联网环境下数据的多源、异构和冗余度高等特性导致当前数据存储算法存在占用内存空间大、负载不均衡和时间响应慢等不足.针对这些不足,提出基于协同进化的海量多源异构数据存储算法.首先,对重复的多源异构数据建立数据指纹索引,然后,采用布隆过滤器根据指纹索引结果将重复的异构数据滤除,将滤除后的数据存储任务调度问题抽象为最优解问题,最后,采用协同进化算法对数据存储任务进行迭代寻优,最终获得最优数据存储方案.实验结果表明,所提算法相比当前数据存储算法具有更快的响应速度,且有效节约了系统在存储处理海量多源异构数据时的内存空间,提高了负载均衡度.
关键词
物联网环境 多源异构数据 存储算法
Keywords
Internet of things environment multi -source heterogeneous datastorage algorithms
分类号
TP393.2
[自动化与计算机技术—计算机应用技术]
题名 数据湖在气象信息系统中的应用
被引量：5
4
作者
徐娟 刘鑫 席晓慧 张春燕
机构
甘肃省气象信息与技术装备保障中心 国家气象信息中心
出处
《现代信息科技》
2022年第12期127-129,共3页
基金
甘肃省气象局创新团队(GSQXCXTD-2021-01) 甘肃省气象信息与技术装备保障中心科技创新基金项目(202109)。
文摘
为解决气象信息系统中多套存储设备挂载和管理不便的问题,实现后端存储在前端应用的统一文件目录和数据安全分级管理,引入数据湖技术,搭建了统一的虚拟文件系统,对虚拟文件目录与后端存储数据文件进行有序规划和映射,并利用用户分组和目录授权达到对用户访问气象文件数据的分级管理,有效提高了气象数据的安全管控能力,为气象文件数据的服务应用和气象数据挖掘分析提供了便利。
关键词
数据湖 多源异构存储 虚拟目录 统一
Keywords
data lake multi -source heterogeneous storage virtual directory unified
分类号
TP312
[自动化与计算机技术—计算机软件与理论]
题名 多源异构数据同步接收与可靠存储系统设计
5
作者
王学斌 王红亮 王铮 郭世友
机构
中北大学 中国运载火箭技术研究院 北京宇航系统工程研究所
出处
《仪表技术与传感器》
CSCD
北大核心
2024年第5期42-46,共5页
基金
山西省“1331工程”重点学科建设计划项目(1331KSC)。
文摘
针对传统工业数据存储器存储数据单一,实时性低以及安全性不高的问题,提出了基于FPGA的多源异构数据的同步接收与可靠存储系统设计方案。以FPGA为控制核心,以RS422总线为控制和实时监测接口,采用2块16 GB NAND Flash作为存储介质,以多级缓存的混合编帧方法实现2路千兆以太网数据以及1路RS485数据的同步接收处理,通过双Flash多平面并行存储的流水线设计方法实现数据的实时存储,采用汉明码对数据存储中可能存在的误码现象进行纠错,以千兆以太网接口进行数据回读。经高低温循环试验测试表明:系统存储容量为32 GB,存储速率可达568 Mbit/s,回读速率为353 Mbit/s,丢包率和误码率为0,具有数据处理快、可靠性高、性能稳定的优点。
关键词
FLASH 千兆以太网 多源异构数据 混合编帧 FPGA 多平面并行存储
Keywords
Flash gigabit Ethernet multi -source heterogeneous datahybrid framing FPGA multi -plane parallel storage
分类号
TN919
[电子电信—通信与信息系统]
题名 多源异构数据统一存储共享管理系统
6
作者
姜红玉 谢胜飞 姜鑫 时宇 于静静 汪朋
机构
中国电子科技集团公司第十五研究所 北京华航无线电测量研究所
出处
《科技和产业》
2024年第18期88-93,共6页
基金
中国电子科技集团重点科研项目(JY201802850)。
文摘
大数据环境下,基于多源异构的专业数据,针对数据存储与共享管理业务,对多源异构数据统一存储共享系统及其功能组成进行了梳理,设计了一种面向文本、图片、专业领域数据等多源异构数据的跨模态统一存储与共享访问系统架构。采用分布式异构数据存储技术、数据模型管理技术,集数据获取、数据准备、可视化分析、数据共享与访问管理于一体,实现多源异构数据的统一存储与共享,并对系统的存储与访问性能进行评估分析,具备较高的稳定性和可靠性。验证了系统的实用性,从而达到了更好地为业务应用赋能,强力支撑各类应用开发的目的,具有广泛的适用性。
关键词
多源异构数据 数据处理 数据存储 数据共享 云平台
Keywords
multi -source heterogeneous datadata processing data storage data sharing cloud platform
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 煤矿多源异构数据传输及管控方法研究
被引量：3
7
作者
李刚 乔登攀 张枝伟 肖铸
机构
昆明理工大学国土资源学院 贵州省煤矿设计研究院有限公司 贵州省矿山安全科学研究院有限公司
出处
《煤炭技术》
CAS
北大核心
2023年第12期257-260,共4页
基金
贵州省科技厅科技支撑项目(黔科合支撑[2020]2Y032号 黔科合支撑[2020]2Y033号)。
文摘
针对煤矿多源异构数据采集传输难度大、集成管理困难等问题,根据智能化煤矿数据的特点,总结了煤矿主要指标数据的采集方法,构建了煤矿多源异构数据分布式分类存储系统,并运用Socket通信原理实现了数据采集系统与存储系统间的数据转换。同时,以煤矿多源异构数据的采集和存储方法为基础,分别开发了煤矿运维服务平台和煤矿数据监控平台,并成功应用于煤矿现场。研究实践表明:(1)通过在数据采集系统和存储系统之间建立基于Socket通信原理的数据传输模式,该模式下能自定义传输数据的大小,实现了煤矿数据的快速转换。(2)分布式分类存储系统的应用实现了煤矿多源异构数据的统一管理和利用,极大地减少了煤矿“信息孤岛”的现象。(3)煤矿运维服务平台和煤矿数据监管平台分别实现了对煤矿实时数据和全历史数据的分析与监控。2个平台的成功应用,也间接验证了基于Socket通信的数据传输方式的可靠性。
关键词
煤矿智能化 煤矿数据 多源异构 数据存储 平台开发
Keywords
intelligent mine coal mine data multi -source heterogeneous data storage platform development
分类号
TN919.3
[电子电信—通信与信息系统]
题名 基于多源数据融合的电建知识图谱构建研究
8
作者
陈正非 席皛 李志勇 杨航 张啸成 张永刚
机构
中国电建集团吉林省电力勘测设计院有限公司 吉林大学计算机科学与技术学院 吉林大学符号计算与知识工程教育部重点实验室 吉林大学软件学院
出处
《吉林大学学报（信息科学版）》
CAS
2024年第5期921-929,共9页
基金
吉林省自然科学基金资助项目(20200201447JC)。
文摘
为解决电力建设公司在向全过程咨询业务转型过程中遇到的多源异构数据问题,以及因意外情况导致的设计管理人员需进行远程协同工作的挑战,提出以企业私有云为基础环境,结合多源异构数据融合技术,构建知识图谱。该系统通过集成来自全国各地的多样化数据源,优化了数据管理流程,确保了数据的一致性和可用性。最终实现了全过程咨询业务的分布式协同管理,显著提升了企业的核心竞争力。同时,有效解决了数据种类繁多、来源广泛且协议多样化不统一的问题,改善了数据的质量与准确性,并统一了存储架构,提升了整体数据管理效率,增强了决策支持能力。
关键词
知识图谱 多源异构数据 数据融合 分布式存储
Keywords
knowledge graph multi -source heterogeneous datadata fusion distributed storage
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于数据湖的环境大数据存储模型
被引量：3
9
作者
李硕 卢华明
机构
北京信息科技大学信息管理学院
出处
《北京信息科技大学学报（自然科学版）》
2021年第6期81-86,共6页
文摘
针对环境大数据多源异构特性,提出一种基于数据湖分析(data lake analytics,DLA)的数据存储模型:在对环境数据组成进行分类划分的基础上,设计了环境数据的三层存储模型:在资源管理层实现数据采集,完成环境数据迁移到数据湖的格式转换;在存储层使用支持多种数据格式的对象存储技术,将数据湖作为多种环境数据源的唯一数据存储;在分析层计算模型可直接访问查询引擎,便于环境数据的查询分析,同时支持数据回流到结构化存储。构建一个基于DLA的环境大数据存储平台开展应用验证,结果表明:该存储模型在存储空间和查询时间2个方面的性能可达到优化90%以上的效果。
关键词
大数据存储 多源异构数据 数据湖 对象存储
Keywords
big data storage multi -source heterogeneous datadata lake object storage
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
C931.6
[自动化与计算机技术—计算机科学与技术]
题名 巨型水电站多源异构数据的存储方法设计与研究
10
作者
税海霞 艾远高
机构
中国长江电力股份有限公司
出处
《水电站机电技术》
2023年第2期46-50,147,共6页
文摘
巨型水电站设备众多,使用了大量的在线监测设备来有效地监控机组运行状况,进而形成了多个不同功能的在线监测系统。各状态监测系统分散建设、相对独立,由于各子系统之间部署方式各异,致使数据格式不统一、互不通信,无法实现数据的统一存储、分析及共享。针对这一问题,本论文提出了一种适用于巨型水电站多源异构数据的存储设计方法,通过多协议转换算法、数据库分类存储策略、海量数据存储等技术,可解决当前的问题。
关键词
巨型水电站 多源异构 数据存储
Keywords
giant hydropower station multi -source heterogeneous data storage
分类号
P274
[天文地球—测绘科学与技术]
题名 海洋多源异构数据转换系统的设计与实现
被引量：1
11
作者
马伟霞 田丰林 纪鹏波 宋丽丽 韩勇 陈戈
机构
中国海洋大学信息科学与工程学院 国家海洋信息中心国家海洋局数字海洋科学技术重点实验室
出处
《计算机工程与设计》
CSCD
北大核心
2014年第8期2917-2922,共6页
基金
国家863高技术研究发展计划基金项目(2013AA09A506-4) 青岛市应用基础计划基金项目(12-1-4-1-(11)-jch) 电子信息产业发展基金项目
文摘
针对海洋环境数据具有的多来源、多格式、多维度、多变量等特点,设计海洋多源异构数据转换系统。基于C++编程语言和GDAL、NetCDF、HDF、MATLAB开源库,从比较常用的海洋数据格式出发,通过设计相应的配置文件和统一的数据存储结构,实现海洋数据的解译与再存储。在一个海洋数据可视化平台上进行应用,应用结果表明,该系统能够帮助海洋科学研究人员解决海洋数据格式差异带来的困难,具有较强的实用性。
关键词
多源异构 配置文件 数据存储结构 数据格式解译 数据再存储
Keywords
multi -source heterogeneous configuration file data storage structure data format interpretation data restorage
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 多源异构天网大数据多模混合存储体系设计
12
作者
李海 张丽莎 梁斯东
机构
航天系统部 北京道达天际科技有限公司
出处
《科学与信息化》
2022年第4期113-117,共5页
文摘
多源异构大数据存储具有广泛的应用前景,如何能够对海量数据进行高效的存储,成为数据应用的关键点。
关键词
多源异构 多模混合存储 虚拟云计算 价值评估
Keywords
multi -source heterogeneous multi -mode hybrid storage virtual cloud computing value assessment
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 Oracle数据库矢栅数据一体化存储与管理
被引量：12
13
作者
吴政 李成名 武鹏达 沈建明 孙伟
机构
中国测绘科学研究院GIS所
出处
《测绘学报》
EI
CSCD
北大核心
2017年第5期639-648,共10页
基金
国家科技支撑计划(2015BAJ06B01) 国家基础测绘项目(A1608 A1615)~~
文摘
当前多源异构空间数据存储和管理存在流转难度大、存储不统一、效率不高等问题。本文将关系数据库与空间数据引擎技术结合,提出了一种基于Oracle的面向对象的矢栅数据一体化存储与管理方法。该方法首先建立了矢栅一体化存储模型并优化了检索方法,然后据此构建了数据无缝流转框架,实现了多源异构矢栅数据的统一存储与高效管理。通过与国际领先的同类软件ArcSDE进行测试对比,该方法具有更高的数据流转性能及更优的查询检索效率。
关键词
多源异构空间数据 矢栅一体化存储 检索优化 数据流转
Keywords
multi -source heterogeneous spatial data vector and raster data integrated storage retrieval optimization data transfer
分类号
P208
[天文地球—地图制图学与地理信息工程]
题名 基于MES的多源异构信息集成与共享系统
被引量：2
14
作者
杨俊 肖楠 刘典勇
机构
工业互联网创新中心(上海)有限公司
出处
《电子设计工程》
2022年第18期77-81,共5页
文摘
为在复杂且混乱的网络环境中实现对多源异构信息的准确分辨与按需供应,该文设计了基于MES的多源异构信息集成与共享系统。在MES拓扑框架中构建数据查询模块、共享数据存储模块,完成了对系统硬件执行环境的搭建。并导入必要的异构信息数据,按照同步集成处理的定义需求,将所有数据信息全部转存至多源型数据库结构体中,实现对系统软件执行环境的搭建。对比实验结果表明,与套叠型信息处理系统相比,MES型系统可在复杂的网络环境中更为准确地分辨多源异构数据,证明其具有较强的实用性价值。
关键词
多源异构信息 按需供应 MES拓扑 数据查询 同步集成 存储数据库
Keywords
multi ⁃source heterogeneous informationsupply on demand MES topology data query synchronous integration storage database
分类号
TN102
[电子电信—物理电子学]
