数据多样性:涌现、概念及应用探索 被引量：15

1

作者 陆彩女 顾立平 聂华 《图书情报知识》 CSSCI 北大核心 2022年第2期122-132,共11页

[目的/意义]研究数据多样性的产生背景、概念、表现及应用,为更有效的数据管理和治理提供支撑和参考。[研究设计/方法]运用观察法和归纳法对数据多样性的表现进行凝练总结,结合现象解释法阐释数据多样性的应用表征。[结论/发现]数据多... [目的/意义]研究数据多样性的产生背景、概念、表现及应用,为更有效的数据管理和治理提供支撑和参考。[研究设计/方法]运用观察法和归纳法对数据多样性的表现进行凝练总结,结合现象解释法阐释数据多样性的应用表征。[结论/发现]数据多样性是数据承载信息的丰富性与差异性和数据在类型、维度、格式、版本和形态等方面的复杂多变性,具有内外各三个表现。数据多样性要求在数据管理时做到主体多元化、协同治理、制定共同规则。数据多样性体现在开放科学和各行业,图书馆与馆员应尽可能认识到数据多样性。[创新/价值]本文提出了数据多样性概念,并简要论述了数据多样性对数据管理的要求。 展开更多

关键词 数据多样性 开放数据 科研数据 开放科学 大数据 数据管理

下载PDF 职称材料

大规模开放遥感影像地图渲染与缓存优化

2

作者 周小华 周园春 +1 位作者 孟珍 王学志 《计算机工程》 CAS CSCD 北大核心 2024年第7期227-239,共13页

遥感数据规模庞大且增长迅速,目前可公开访问的遥感影像数据已接近EB级别,然而类型多样、结构复杂、存储文件大等特点给大规模开放遥感数据的发现、共享与使用带来诸多不便。在线地图可使用户无须下载便可对海量云端遥感数据执行可视化... 遥感数据规模庞大且增长迅速,目前可公开访问的遥感影像数据已接近EB级别,然而类型多样、结构复杂、存储文件大等特点给大规模开放遥感数据的发现、共享与使用带来诸多不便。在线地图可使用户无须下载便可对海量云端遥感数据执行可视化分析,是一种高效的数据服务方式。针对传统地图技术方案存在的瓦片渲染效率低、遥感数据适配性差等问题,从遥感数据时空属性特征及用户访问行为特征出发,依托遥感数据云平台GSCloud,设计并实现面向海量遥感数据的高效地图服务平台TiMap。TiMap由分布式地图瓦片渲染引擎TiRender与分布式地图瓦片缓存TiCache构成。TiRender通过将地图瓦片渲染操作转换为分布式环境下的同步实时渲染任务与异步批量预渲染任务,充分利用多节点并行计算的优势,快速响应客户端的地图瓦片请求。TiCache负责缓存TiRender产生的地图瓦片,以提升后续重复地图瓦片请求的响应速度,TiCache中的地图瓦片缓存分配算法基于疏远度实现,可以保证多节点的负载均衡。实验结果表明,TiRender与TiCache均比同类技术方案的性能更好,两者协同工作可使TiMap在100ms内快速响应大规模地图瓦片请求。 展开更多

关键词 遥感大数据 遥感地图服务 地图瓦片渲染 地图瓦片缓存 数据疏远度

下载PDF 职称材料

MongoDB数据库在电力工程行业的应用

3

作者 余建忠 《南方能源建设》 2023年第S01期110-116,共7页

[目的]为了贯彻落实国资委《关于加快推进国有企业数字化转型工作的通知》,国有企业面临着数字化转型压力与挑战,很多电力工程企业都在探索数字化转型的方向,利用云大物移智等数字化技术,解决工程项目全生命周期数据的管理是一个重要的... [目的]为了贯彻落实国资委《关于加快推进国有企业数字化转型工作的通知》,国有企业面临着数字化转型压力与挑战,很多电力工程企业都在探索数字化转型的方向,利用云大物移智等数字化技术,解决工程项目全生命周期数据的管理是一个重要的前提条件。[方法]针对电力工程项目全生命周期数据的大量性、多样性、复杂性,分析了关系型数据库在大部分场景的不适用性,采用NoSQL数据库MongoDB解决数据量大和数据多样性、复杂性的问题。[结果]作者以MongoDB为核心数据库进行设计构建,完成工程大数据平台建设,实现了电力工程项目过程数据的灵活建模与管理,并作为工程项目全过程的数字化产品的数据底座。[结论]实践应用证明了MongoDB数据库相比于关系型数据库更加适合数据量大、数据多样性、复杂性的场景,存储效率更高,数据查询统计能力更强。 展开更多

关键词 电力 工程大数据 数据多样性 关系型数据库 MONGODB 数据建模 灵活

下载PDF 职称材料

基于点云数据特征自动增强的分类网络

4

作者 邱阳 万旺根 《工业控制计算机》 2021年第9期114-117,120,共5页

点云分类是点云数据处理的一个重要研究方向,也是一个具有挑战性的课题,但是目前公开的大型3D点云数据集相比于二维图像数据集数据量要小得多。然而数据增强就是通过对数据的变换从而提高数据多样性,提出了基于点云数据特征自动增强的... 点云分类是点云数据处理的一个重要研究方向,也是一个具有挑战性的课题,但是目前公开的大型3D点云数据集相比于二维图像数据集数据量要小得多。然而数据增强就是通过对数据的变换从而提高数据多样性,提出了基于点云数据特征自动增强的分类网络,它通过对抗学习的策略,联合优化增益器网络和分类器网络,使得增益器可以学习产生最适合分类器的增益样本。此外提出了点云金字塔特征融合和联合多层感知机,这能让网络更加注意原始点云样本的细节和位置信息,保证了增益器生成增益样本时能够拥有原始样本的细节信息,这会让增益器生成质量更好的增益样本。大量的实验也证明了改进的增益器提高了分类网络的性能。 展开更多

关键词 点云分类 数据多样性 数据增强 对抗学习 点云金字塔特征融合

下载PDF 职称材料

基于数据差异化分支签名的条件跳转错误检测算法

5

作者 崔含泽 臧海娟 +1 位作者 张春花 潘勇 《信息技术与信息化》 2016年第11期68-75,共8页

程序控制错误可能会导致严重的程序执行错误。在安全苛求系统中,由于在恶劣环境中,处理器易受到电磁干扰等影响,可能导致处理器运算错误,存在安全隐患。目前对程序控制错误检测的研究主要基于基本块-签名和编码两种方法,基于基本块-签... 程序控制错误可能会导致严重的程序执行错误。在安全苛求系统中,由于在恶劣环境中,处理器易受到电磁干扰等影响,可能导致处理器运算错误,存在安全隐患。目前对程序控制错误检测的研究主要基于基本块-签名和编码两种方法,基于基本块-签名的方法对程序性能影响较小,能检测程序控制错误,但检测分支跳转错误的漏检率较高;基于编码的算法能检测程序控制错误,但性能下降较大。为达到性能和漏检率的折中,本文基于基本块-签名和数据差异化编码思想,提出了分支签名的方法,从而保证分支跳转的正确性。本文采用故障注入及性能测试实验验证算法的漏检率和性能,结果表明:本算法漏检率可达,程序性能平均下降了10.2倍,相较于ANBD编码分支检测算法性能提高9.3倍。 展开更多

关键词 分支签名 数据差异化 错误检测 基本块 控制流

下载PDF 职称材料

基于时域背离特征分析的托攻击检测算法

6

作者 张婷 曾庆鹏 +1 位作者 高胜保 肖异瑶 《南昌大学学报（工科版）》 CAS 2017年第1期82-87,共6页

为提高托攻击检测的完整性、准确性和项目推荐可信度,使用托攻击评分与正常评分的数据差异度、正反序TOP窗口和后发评分特征以及密集评分特征,提出了一种基于时域背离特征分析的托攻击检测算法实现托攻击检测。实验结果表明:本文算法的... 为提高托攻击检测的完整性、准确性和项目推荐可信度,使用托攻击评分与正常评分的数据差异度、正反序TOP窗口和后发评分特征以及密集评分特征,提出了一种基于时域背离特征分析的托攻击检测算法实现托攻击检测。实验结果表明:本文算法的F值平均为81.2%,最高可达92.7%,能同时提升托攻击检测的准确率、覆盖率,减少训练数据量,降低计算复杂度,同时还能兼顾托攻击防御。 展开更多

关键词 托攻击检测 时域背离特征 高斯混合模型 数据差异度

下载PDF 职称材料

基于NASPIC平台的数字化核安全级DCS主辅数据分流研究 被引量：5

7

作者 武有光 张子鹏 +1 位作者 杜枢 杨有维 《科技视界》 2019年第14期8-10,共3页

核电站数字化安全级DCS系统被称为核电站的“神经中枢”,对安全、可靠性要求极高。在该系统中,参与执行停堆保护和专设安全设施驱动功能的数据是重要信息,与反应堆安全直接相关需要优先处理。本文通过深入研究安全级DCS的架构,提出主辅... 核电站数字化安全级DCS系统被称为核电站的“神经中枢”,对安全、可靠性要求极高。在该系统中,参与执行停堆保护和专设安全设施驱动功能的数据是重要信息,与反应堆安全直接相关需要优先处理。本文通过深入研究安全级DCS的架构,提出主辅数据分流思想,优先保证与安全功能直接相关的主要数据安全可靠处理和传输,提高数字化安全级DCS的安全性、可靠性,进而有利于保证核电站的安全可靠运行。 展开更多

关键词 安全级 DCS 主辅数据 数据分流

下载PDF 职称材料

流程型生产安全数据流的多Agent节点协同分流优化方法

8

作者 张伟 李泽亚 +1 位作者 张充 赵挺生 《中国安全生产科学技术》 CAS CSCD 北大核心 2024年第8期5-12,共8页

为实现流程型生产安全监测系统的及时、准确决策,结合数据流采集与隐患识别过程,分析非关键数据的冗余、关键数据的缺失和数据计算时延较大的问题,提出基于多Agent的流程型生产安全数据流网络分流调度规划方法和节点流量划分识别机制。... 为实现流程型生产安全监测系统的及时、准确决策,结合数据流采集与隐患识别过程,分析非关键数据的冗余、关键数据的缺失和数据计算时延较大的问题,提出基于多Agent的流程型生产安全数据流网络分流调度规划方法和节点流量划分识别机制。研究结果表明:相较于分簇传输方法,数据流网络分流调度方法可以实现关键隐患数据更高的传输成功率;相较于常规的复杂事件处理方法,本文提出的流量划分识别机制在2种类型数据集上实现隐患事件识别均有更低的计算时延。研究结果可为流程行业安全生产数字化管控模式和数据高质量获取提供参考。 展开更多

关键词 流程型生产 安全生产 数据流 多AGENT 数据分流

下载PDF 职称材料

基于SIMULINK的数据采集模块的设计与实现 被引量：1

9

作者 张丹 李壮辉 《上饶师范学院学报》 2009年第6期97-101,共5页

将SIMULINK-USB的数据采集模块使MATLAB的算法及仿真和外部实际控制系统有机结合起来,其硬件部分分为数据采集模块和USB设备接口模块两部分。利用VC编译USB驱动程序,实现动态链接,使PC机识别此数据采集模块,MATLAB通过API直接调用C语言... 将SIMULINK-USB的数据采集模块使MATLAB的算法及仿真和外部实际控制系统有机结合起来,其硬件部分分为数据采集模块和USB设备接口模块两部分。利用VC编译USB驱动程序,实现动态链接,使PC机识别此数据采集模块,MATLAB通过API直接调用C语言程序实现与外部接口间的数据通信。通过对S函数的封装与编写,使采集模块变成MATLAB下的SIMULINK库中的模块,可以直接调用,方便使用。 展开更多

关键词 编译 数据转换 封装与编写 数据采集

下载PDF 职称材料

WLAN接入GPRS实现数据业务分流方案研究 被引量：1

10

作者 王强 杨宏 《邮电设计技术》 2013年第4期38-41,共4页

阐述了WLAN分流GPRS数据业务的必要性,在研究3GPP标准组网方案的基础上,根据现网的实际情况,提出简化方案,并对不同方案的技术特点进行了研究,最后提出建议方案。

关键词 WLAN GPRS TTG PDG 数据分流

下载PDF 职称材料

计算密集型大流量数据的接力计算与动态分流处理 被引量：1

11

作者 廖佳 陈扬 +2 位作者 包秋兰 廖雪花 朱洲森 《计算机应用》 CSCD 北大核心 2021年第9期2646-2651,共6页

针对当前大流量数据计算速度慢、服务器端计算压力大等问题,提出一套计算密集型大流量数据的接力计算与动态分流处理模型。首先,在分布式环境下,使用内存型数据存储技术确定计算任务的运算量与复杂等级,同时利用节点资源能力对节点进行... 针对当前大流量数据计算速度慢、服务器端计算压力大等问题,提出一套计算密集型大流量数据的接力计算与动态分流处理模型。首先,在分布式环境下,使用内存型数据存储技术确定计算任务的运算量与复杂等级,同时利用节点资源能力对节点进行排序;然后,动态分配任务到不同节点进行并行计算,并采用一种接力处理模式完成计算任务的分解,以有效保证高流量复杂运算任务的性能和精度要求。通过分析对比,可知在万级以上数据量的情况下,多个节点比单个节点的运行时间更短、计算速度更快;而且,将该模型应用于实际时,发现它不仅能在高并发场景下减少运行时间,而且也能节省更多计算资源。 展开更多

关键词 数据分流 接力计算 计算节点 数据同步 内存型数据存储

下载PDF 职称材料

一种5G系统NSA模式下的PDCP分流技术 被引量：1

12

作者 齐勇 张晓华 李鹏鹏 《无线电工程》 北大核心 2022年第3期423-428,共6页

5G NSA模式下,用户数据可在分组数据汇聚协议(Packet Data Convergence Protocol,PDCP)层分流后进行双链路传输,由于各链路特性不同且动态变化,接收端存在乱序现象,导致重传、接收缓冲区阻塞。针对以上问题,提出了一种适用于双连接架构... 5G NSA模式下,用户数据可在分组数据汇聚协议(Packet Data Convergence Protocol,PDCP)层分流后进行双链路传输,由于各链路特性不同且动态变化,接收端存在乱序现象,导致重传、接收缓冲区阻塞。针对以上问题,提出了一种适用于双连接架构,可实现PDCP层数据聚合乱序程度最小、系统速率最大的分流方法。建立双连接触发机制,确定分流界限;基于链路传输能力和缓存队列确定分流比例,通过时延补偿控制数据发送顺序。仿真结果表明,该算法较合适分流比例算法吞吐率提升30 Mb/s,重排序丢包率降低35%;较OMS算法吞吐量提高40 Mb/s,重排序丢包率降低50%。 展开更多

关键词 NSA 双连接 分组数据汇聚协议 数据分流

下载PDF 职称材料

Route-map在重发布中应用的典型案例分析与实现 被引量：1

13

作者 马梅 《现代信息科技》 2021年第8期61-63,共3页

文章以一个实际工程中典型的案例为基础,探讨了route-map这个非常强大而有用的工具的使用方法以及routemap在重发布技术中的应用技巧。在完成基础配置以及动态路由协议RIP和OSPF配置后利用重发布实现全网互通,最后为了实现数据分流和链... 文章以一个实际工程中典型的案例为基础,探讨了route-map这个非常强大而有用的工具的使用方法以及routemap在重发布技术中的应用技巧。在完成基础配置以及动态路由协议RIP和OSPF配置后利用重发布实现全网互通,最后为了实现数据分流和链路备份,使用ACL抓取路由条目,配置route-map并在重发布时应用。通过相应的部署,可以实现数据分流和链路备份,保障网络的可靠性和稳定性。上述探讨既有助于读者对route-map和重发布技术相关工作原理的理解,又有助于熟练掌握其配置方法。 展开更多

关键词 route-map 重发布 数据分流 链路备份

下载PDF 职称材料

5G企业专网DNS实现方案探讨

14

作者 杨少龙 刘英双 +1 位作者 魏颖琪 黄粤 《电信科学》 2022年第S01期149-157,共9页

在5G企业专网中,如何正确地对内外网的域名进行解析,成为专网建设中一个亟须解决的难题。UPF下沉组网方式下5G移动用户无法使用内网DNS进行域名解析,针对这一问题,提出了4种5G企业专网DNS的解决方案,并对这4种方案进行了对比。

关键词 5G专网 域名解析 数据分流

下载PDF 职称材料

一种混合云场景下面向对象存储的数据分流聚合方法

15

作者 王骏翔 《上海船舶运输科学研究所学报》 2024年第5期56-62,共7页

利用开源的云计算技术构建一套适用于大型集团型企业的混合云场景下面向对象存储的数据分流和聚合技术,以统一对象存储PaaS服务的形式向业务端提供一种能安全接入的具有多样性源数据的交互场景。该方法采用云原生S3协议对异构对象存储... 利用开源的云计算技术构建一套适用于大型集团型企业的混合云场景下面向对象存储的数据分流和聚合技术,以统一对象存储PaaS服务的形式向业务端提供一种能安全接入的具有多样性源数据的交互场景。该方法采用云原生S3协议对异构对象存储服务进行重定义的封装、解析和转发控制,实现通过统一服务调度完成混合异构场景下面向对象存储的数据存取交互、复制迁移、定制化分层和汇聚合并加载等。该方法已在某大型航运集团型企业的跨境租箱应用场景中应用,结果表明其能在混合异构对象存储的业务场景下高效实现安全、灵活和弹性的数据统一交互。 展开更多

关键词 云计算 对象存储 数据分流聚合

下载PDF 职称材料

基于边缘计算的数字电网通信数据分流方法

16

作者 黄翔 林圳杰 +2 位作者 陈力林 赵磊 孙宇宁 《长江信息通信》 2023年第12期97-99,共3页

常规数字电网通信数据分流方法在分流时易发生数据丢失,分流精准度低的现象,提出基于边缘计算的数字电网通信数据分流方法。基于边缘计算来制定数据分流单元的结构,分析边缘技术的原理。通过引入数字电网所覆盖的范围C和用户接入网络数... 常规数字电网通信数据分流方法在分流时易发生数据丢失,分流精准度低的现象,提出基于边缘计算的数字电网通信数据分流方法。基于边缘计算来制定数据分流单元的结构,分析边缘技术的原理。通过引入数字电网所覆盖的范围C和用户接入网络数据单元密度p确定数字电网用户相遇形式,在特殊情况下需在SAGLA算法中考虑到订阅用户与发布用户相对位置关系。在确定用户相互相遇模式后,为保证在数字电网通信数据分流时数据完好未发生数据丢失等情况,构建数字电网通信数据分流模型,最后建立初始化函数实现数据精准分流。为验证基于边缘计算的数字电网通信数据分流方法具有优势,将基于边缘计算的数字电网通信数据分流方法与其他两种方法进行对比,结果证明基于边缘计算的数字电网通信数据分流方法更具有优势。 展开更多

关键词 边缘计算 数字电网 通信数据分流

下载PDF 职称材料