期刊文献+
共找到73篇文章
< 1 2 4 >
每页显示 20 50 100
含微服务的调度自动化系统分布式实时数据库 被引量:26
1
作者 冯显力 韦化 +1 位作者 韦洪波 章勇 《电力系统保护与控制》 EI CSCD 北大核心 2018年第21期138-144,共7页
提出一种含微服务的调度自动化系统分布式实时数据库总体构架,解决了传统调度自动化系统中实时数据库数据处理慢、灵活性差和不易扩展等问题。根据实时数据库对数据时效性的要求,定义了遥测类、遥信类的简化数据模型,规避了复杂数据关... 提出一种含微服务的调度自动化系统分布式实时数据库总体构架,解决了传统调度自动化系统中实时数据库数据处理慢、灵活性差和不易扩展等问题。根据实时数据库对数据时效性的要求,定义了遥测类、遥信类的简化数据模型,规避了复杂数据关系的搜索,并运用数据分片技术对数据进行有效划分。采用微服务架构模式,将数据读写过程虚拟化为细粒度的数据服务,以云计算技术为核心,实现对微服务、分布式技术的深度整合。利用该构架实现的分布式实时数据库管理系统已在某实际电网中得到应用。实际运行效果表明,该构架下的实时数据库具有实时性高、扩展性强、运行稳定可靠等优点,为坚强智能电网的建设和发展提供技术支撑。 展开更多
关键词 调度自动化系统 分布式实时数据库 数据分片 微服务 云计算
下载PDF
从碎片化到整体性:基层政务服务数据的治理 被引量:23
2
作者 唐玉青 《行政论坛》 CSSCI 北大核心 2022年第1期87-93,共7页
大数据对社会生产生活的各个方面产生了巨大的影响,政府、企业、民众都在大数据浪潮中享受其带来的裨益,但是大数据在带来便捷的同时,也带来了挑战。在基层政务服务中数据碎片化现象尤为突出,具体表现为基层政务服务的数据烟囱化、数据... 大数据对社会生产生活的各个方面产生了巨大的影响,政府、企业、民众都在大数据浪潮中享受其带来的裨益,但是大数据在带来便捷的同时,也带来了挑战。在基层政务服务中数据碎片化现象尤为突出,具体表现为基层政务服务的数据烟囱化、数据丛林化和数据鸿沟化。促进基层政务服务数据从碎片化向整体性转化的数字治理工具主要有三种,即块数据、区块链和主权区块链。治理基层政务服务数据碎片化的具体路径在于:以基层政务服务数据系统化来治理数据烟囱,以基层政务服务数据集成化来治理数据丛林,以基层政务服务数据信息化来治理数据鸿沟,从而实现基层政务服务数据从碎片化到整体性的治理。 展开更多
关键词 基层政务服务 数据治理 碎片化 整体性
原文传递
大数据学习分析的研究与应用——以浙江省教师教育MOOC培训平台的课程为例 被引量:22
3
作者 陈雷 《现代教育技术》 CSSCI 2016年第8期109-115,共7页
数据为王的大数据时代正在来临,如何将大数据关联于教育变革以及由此衍生的学习分析的应用逐渐成为了热点课题。文章以浙江省教师教育MOOC培训平台为例,任选其中的某门在线课程,通过常规挖掘、频次统计、跳转聚合、数据可视化等方法,以... 数据为王的大数据时代正在来临,如何将大数据关联于教育变革以及由此衍生的学习分析的应用逐渐成为了热点课题。文章以浙江省教师教育MOOC培训平台为例,任选其中的某门在线课程,通过常规挖掘、频次统计、跳转聚合、数据可视化等方法,以渐进深入的方式,对选课学员的学习行为和日志进行数据挖掘,并根据学员在平台中的学习行为数据,展示学员与课程的相关性和适应度,发掘学员模块的学习规律和学习喜好,定位平台中的模块功能和课程资源缺陷,优化适应性教学资源,定制个性化学习路径,促进个性化发展。研究表明:上述这些举措将大大提高选课学员的用户体验感和满意度。 展开更多
关键词 大数据 学习分析 挖掘 碎片化 界面跳转
下载PDF
贸易数字化与监管碎片化:国际贸易制度框架下跨境数据流动治理的挑战与应对 被引量:18
4
作者 戴艺晗 《国际经济法学刊》 2021年第1期1-13,共13页
贸易数字化与监管碎片化给国际贸易制度框架下的跨境数据流动治理带来了挑战:贸易数字化导致WTO框架下贸易类型的分类困难;监管碎片化阻碍跨境数据流动的国际互操作性。面对挑战,WTO应进行广泛改革,明确数据流动属于商品还是服务,并以... 贸易数字化与监管碎片化给国际贸易制度框架下的跨境数据流动治理带来了挑战:贸易数字化导致WTO框架下贸易类型的分类困难;监管碎片化阻碍跨境数据流动的国际互操作性。面对挑战,WTO应进行广泛改革,明确数据流动属于商品还是服务,并以为数字贸易和跨境数据流动建立一个安全、可预测和值得信赖的全球治理框架为目标。在此框架形成之前,"诸边贸易协定"提供了一个在不同数据保护体系和跨境数据流动监管之间架起桥梁的良好起点。 展开更多
关键词 跨境数据流动 数据保护 贸易数字化 监管碎片化 国际贸易制度 世界贸易组织
原文传递
基于B/S模式和分布式数据库技术的物流信息系统 被引量:9
5
作者 康瑞华 尹帆 薛胜军 《武汉理工大学学报(交通科学与工程版)》 北大核心 2003年第6期860-863,共4页
介绍了分布式数据库、物流系统、B/ S模式的概念 ,分布式数据库的设计步骤和原则 ,描述了分布式数据库在物流系统的体系结构中的体现 .最后以 ASP.NET和 SQL Server2 0 0 0为开发环境 ,列举了 B/ S模式下的分布式数据库应用程序开发和... 介绍了分布式数据库、物流系统、B/ S模式的概念 ,分布式数据库的设计步骤和原则 ,描述了分布式数据库在物流系统的体系结构中的体现 .最后以 ASP.NET和 SQL Server2 0 0 0为开发环境 ,列举了 B/ S模式下的分布式数据库应用程序开发和应用程序中客户端与服务器端的数据库的连接和访问方法 . 展开更多
关键词 B/S 分布式数据库 数据分片 数据存取 ASP.NET DTC 数据同步 分布式查询
下载PDF
基于MongoDB的数据分片与分配策略研究 被引量:13
6
作者 熊峰 刘宇 《计算机与数字工程》 2019年第4期892-897,共6页
为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用。论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究。首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性... 为应对如今web应用数据量的快速增长,NoSQL技术得到了越来越多的重视与应用。论文选择NoSQL存储系统的典型代表MongoDB数据库来进行研究。首先,剖析了其内部自动分片机制,在此基础上提出了一种分片键选择机制来尝试提高整个系统的扩展性能,并以片键公式的应用实例来证明了片键选择机制的有效性。然后,针对当前MongoDB内部均衡算法的不足,在考虑了数据节点负载的差异后,对均衡算法进行了相应优化,实现了数据量与节点负载的动态均衡,并验证了新算法具有良好的高并发读写性能。 展开更多
关键词 MONGODB 数据分片 分片键选择机制 数据分配 均衡优化
下载PDF
大数据时代大学外语碎片化学习 被引量:12
7
作者 徐先乔 《蚌埠学院学报》 2016年第1期95-98,共4页
从大数据视野的视角,分析了大学外语碎片化学习的可行性,提出了数据分析是碎片化学习教学决策的前提,学习内容的合理设计是碎片化学习成功的关键,"云课堂"是碎片化学习重要途径的教学构想。
关键词 大数据 碎片化学习 可行性 教学构想
下载PDF
云计算环境中面向OLTP应用的数据分布研究 被引量:9
8
作者 王晓燕 陈晋川 杜小勇 《计算机学报》 EI CSCD 北大核心 2016年第2期253-269,共17页
云计算为大型OLTP应用中分布式数据的高效存储和管理带来了新的机遇,大数据则对分布式数据的存储与管理提出了新的挑战,自动数据分布逐渐成为分布式系统中的研究重点和难点.该文对影响数据分布问题的三要素数据、负载和节点进行分析,将... 云计算为大型OLTP应用中分布式数据的高效存储和管理带来了新的机遇,大数据则对分布式数据的存储与管理提出了新的挑战,自动数据分布逐渐成为分布式系统中的研究重点和难点.该文对影响数据分布问题的三要素数据、负载和节点进行分析,将该问题抽象为数据分片、数据分配和负载执行3个相互关联的子问题,提出了数据分布问题的三角架构DaWN.由于不同的系统有不同的应用需求,DaWN架构以代价模型为枢纽,对特定应用需要达到的效能目标和资源限制进行调配,并提出了数据分布问题所面临的技术挑战.该文对DaWN架构中以顶点为代表的3个基本要素进行详细分析,着重对以边为代表的3条关联关系进行阐释,并据此对云环境中大规模OLTP应用的数据分片、数据分配和负载执行3个数据分布子问题的研究成果和进展进行归纳和总结.基于以上分析,该文以数据分片、数据分片和负载执行为变量,使用真值表覆盖数据分布问题中的8种类型,并采用三维立体坐标系的方式对相关工作的分布进行归纳总结和呈现.最后,该文从代价模型研究、测试基准研究、自动化数据分布技术研究、特定应用研究等4个角度,对数据分布问题的未来发展方向进行展望. 展开更多
关键词 数据分布 三角架构 数据分片 数据分配 OLTP 大数据
下载PDF
大数据环境下碎片化信息资源对图书馆微服务的影响 被引量:10
9
作者 何志俊 《情报探索》 2016年第6期129-131,共3页
[目的/意义]分析图书馆由传统信息服务向数据驱动型微服务的转型。[方法/过程]阐述大数据时代下图书馆读者的信息获取方式的转变,引入碎片化理论,指出图书馆应加强信息资源合理碎片化,并以碎片化的信息资源为基础,针对读者的个性需求,... [目的/意义]分析图书馆由传统信息服务向数据驱动型微服务的转型。[方法/过程]阐述大数据时代下图书馆读者的信息获取方式的转变,引入碎片化理论,指出图书馆应加强信息资源合理碎片化,并以碎片化的信息资源为基础,针对读者的个性需求,提供微小化、差异化和个性化的微服务。[结果/结论]大数据碎片化与微服务相结合可促进图书馆服务的创新。 展开更多
关键词 大数据 碎片化 信息资源 图书馆 微服务
下载PDF
信息碎片化与大学生网络素养教育 被引量:6
10
作者 何钢 《山西财经大学学报》 北大核心 2023年第S02期173-175,共3页
随着信息技术的快速发展,我国已进入新媒体时代,对大学生网络素养教育造成了显著影响。本文主要从大数据视角入手,阐释信息碎片化的概念,通过分析信息碎片化对大学生网络素养教育带来的积极影响和消极影响,深究信息碎片化与大学生网络... 随着信息技术的快速发展,我国已进入新媒体时代,对大学生网络素养教育造成了显著影响。本文主要从大数据视角入手,阐释信息碎片化的概念,通过分析信息碎片化对大学生网络素养教育带来的积极影响和消极影响,深究信息碎片化与大学生网络素养教育效果的相关性,并运用现有教育资源探索新型大学生网络素养教育的策略,力求通过多元化教育路径提高大学生的网络素养教育质量。 展开更多
关键词 大数据 信息碎片化 大学生 网络素养教育
原文传递
特大型配电自动化主站大数据处理与测试技术研究 被引量:8
11
作者 陈艳霞 王明磊 +3 位作者 林涛 王志勇 吕立平 王刚 《供用电》 2019年第8期30-35,共6页
随着配电网建设的深入,智能终端覆盖面越来越广。配电主站处理的数据类型由二次电气量扩展到一次状态量、环境量和安全消防等数据,数据量的爆发性增长已经突破现有主站的接入能力。为了满足配电网多元化的大数据量采集处理和监视的需求... 随着配电网建设的深入,智能终端覆盖面越来越广。配电主站处理的数据类型由二次电气量扩展到一次状态量、环境量和安全消防等数据,数据量的爆发性增长已经突破现有主站的接入能力。为了满足配电网多元化的大数据量采集处理和监视的需求,配电主站必须开展模型分片、前置分布式采集、配电分布式SCADA等关键技术研究,文章分析了配电主站模型分片的技术原理和前置分布式采集的结构组成,提出了配电分布式SCADA并行处理机制及整体测试方法,能够为配电网建设提供有力支撑。 展开更多
关键词 智能配电网 大数据 模型分片 分布式采集 分布式SCADA
下载PDF
面向分布式数据的跨系统数据同步中台构建方法 被引量:3
12
作者 甘杉 余芸 萧展辉 《电子设计工程》 2023年第2期112-115,120,共5页
为了防止信息“碎片化问题”的出现,实现对数据文件的稳定跨区域传输,提出面向分布式数据的跨系统数据同步中台构建方法。针对分布式数据库,确定数据分片原则对输入信息分离处理的具体影响效果,完成面向分布式数据的跨系统传输环境搭建... 为了防止信息“碎片化问题”的出现,实现对数据文件的稳定跨区域传输,提出面向分布式数据的跨系统数据同步中台构建方法。针对分布式数据库,确定数据分片原则对输入信息分离处理的具体影响效果,完成面向分布式数据的跨系统传输环境搭建。在此基础上,建立同步服务架构,按照已知的传输用例关系,确定关键性的中台运作机制,实现跨系统数据同步中台的应用需求分析,完成面向分布式数据的跨系统数据同步中台构建方法设计。实例分析结果表明,相较于MyCAT分表方法,同步中台构建方法在单位时间内跨区域传输的数据文件总量值更大,且碎片信息的出现几率更低,能够更好地贴合稳定跨区域传输数据文件的应用需求,对于“碎片化问题”的解决也有较强地促进作用。 展开更多
关键词 分布式数据 跨系统数据 同步中台 数据分片 信息分离 用例关系
下载PDF
基于差分隐私Skyline算法的智能云平台中的数据隐私保护研究 被引量:1
13
作者 周锴炼 鲍敏 《软件工程》 2024年第2期16-19,共4页
针对工业互联网云平台中不同子系统数据割裂和隐私保护问题,文章提出基于Bubble-Skyline算法的解决方案,该方案包括数据收集模块、数据预处理模块、数据分析建模模块。在数据收集模块和数据预处理模块中使用协议加密和哈希映射转化表,... 针对工业互联网云平台中不同子系统数据割裂和隐私保护问题,文章提出基于Bubble-Skyline算法的解决方案,该方案包括数据收集模块、数据预处理模块、数据分析建模模块。在数据收集模块和数据预处理模块中使用协议加密和哈希映射转化表,安全地传输与整合不同系统之间的数据;在数据分析模块中使用Bubble-Skyline算法获得最优解。采用某工厂的历史数据验证表明,在工厂排产中,该方案能够在保护数据隐私的同时优化排产方案,平均生产时间减少了17.15%。 展开更多
关键词 智能制造 云平台 Bubble-Skyline 数据割裂
下载PDF
基于数据中心的虚拟机放置优化节能策略研究
14
作者 杨中旭 杨晓 +1 位作者 李训潮 刘俊峰 《大众科学》 2024年第3期106-109,共4页
近年来,随着5G、人工智能等新兴技术的发展,算力为千行百业的数字化转型注入强心剂。社会各行各业对算力需求的增长日益明显,运营商数据中心的服务器为保证高可用性,数据中心的高能耗俨然成为制约数据中心发展的一大阻碍,“节能增效”... 近年来,随着5G、人工智能等新兴技术的发展,算力为千行百业的数字化转型注入强心剂。社会各行各业对算力需求的增长日益明显,运营商数据中心的服务器为保证高可用性,数据中心的高能耗俨然成为制约数据中心发展的一大阻碍,“节能增效”是数据中心的刚需。由于大量资源碎片造成的资源利用率低下和能源浪费问题。为了解决这个问题,提出了一种基于线性整数规划结合装箱的多目标优化算法。旨在通过优化虚拟机放置,进行虚拟机的二次调度,提高资源利用率,腾挪出更多的空闲主机,执行物理机下电等绿色节能操作,以达到“节能增效”目的。 展开更多
关键词 数据中心 资源碎片 虚拟机放置 线性整数规划 多目标寻优算法
下载PDF
电炉企业异构网络共享数据跨级高效项集挖掘系统
15
作者 孙丽君 《工业加热》 CAS 2024年第3期55-58,78,共5页
由于电炉企业数据存在多级结构,且数据量庞大,为解决因数据库中事务长度过大导致的数据项挖掘深度较差的问题,从而提升数据的跨级传输和项集挖掘能力,设计电炉企业异构网络共享数据跨级高效项集挖掘系统。在电炉企业异构网络体系中,根... 由于电炉企业数据存在多级结构,且数据量庞大,为解决因数据库中事务长度过大导致的数据项挖掘深度较差的问题,从而提升数据的跨级传输和项集挖掘能力,设计电炉企业异构网络共享数据跨级高效项集挖掘系统。在电炉企业异构网络体系中,根据MP共享节点定义标准,完善AP数据分片原则,再利用获取到的共享数据样本,确定高效项集的RCAUL调用方案,实现对数据样本的挖掘需求分析,完成电炉企业异构网络共享数据跨级高效项集挖掘系统的设计。实验结果表明,应用所设计系统可将事务长度控制在0~512 kB,能够有效增强电炉企业网络共享数据跨级传输能力。 展开更多
关键词 电炉企业异构网络 共享数据 跨级传输 高效项集 逻辑分析 MP节点 AP分片 RCAUL调用
下载PDF
文明旅游的大数据体系建设研究 被引量:6
16
作者 孙彬 王东 《中南林业科技大学学报(社会科学版)》 2017年第5期51-57,83,共8页
自媒体发展迅猛,旅游新业态纷繁复杂。面对网络旅游信息暴增、单个客户效用价值稀疏和客户需求碎片化等新特征,梳理旅游大数据体系的主要建设内容,构建"五个层次、三个总线"体系框架,完成文明旅游的精准化营销、业态创新和碎... 自媒体发展迅猛,旅游新业态纷繁复杂。面对网络旅游信息暴增、单个客户效用价值稀疏和客户需求碎片化等新特征,梳理旅游大数据体系的主要建设内容,构建"五个层次、三个总线"体系框架,完成文明旅游的精准化营销、业态创新和碎片化价值聚集等功能的大数据支撑。文明旅游大数据体系能提高旅游业务的良好体验和适用性,助力产业链中高端转化、提升产业灵活适用性,全面推进智慧文明旅游的进程。 展开更多
关键词 旅游 大数据 精准化 碎片化 价值积聚
下载PDF
基于MapReduce的智能电网云计算并行优化研究 被引量:5
17
作者 孙帆 李晓光 +2 位作者 张勇 许广虎 谢海疆 《计算机与数字工程》 2018年第4期705-710,共6页
针对智能电网的云存储数据多属性难以准确调度的问题,提出了一种基于MapReduce的并行算法解决存储效率,利用挑战-响应的方法给出了云存储数据完整性模型架构,采用数据的分片结构来减少数据标识的数量,依据MapRe-duce定义给出了五种算法... 针对智能电网的云存储数据多属性难以准确调度的问题,提出了一种基于MapReduce的并行算法解决存储效率,利用挑战-响应的方法给出了云存储数据完整性模型架构,采用数据的分片结构来减少数据标识的数量,依据MapRe-duce定义给出了五种算法定义对数据进行分片分块处理,通过设计相应的Map和Reduce函数实现了数据标识产生算法的并行化,通过模拟智能电网数据的双线性配对过程进行实验分析,结果表明:TagGen阶段对2M的数据分片约为1.13s,而再经过分块后标识开销时间仅为16ms,并且挑战阶段的计算开销随着挑战数据块的增多而相应的增大,但是整体增长幅度很小;响应阶段的计算开销是由数据块数和数据片数之和决定的。 展开更多
关键词 云计算 MAPREDUCE 并行优化 数据分块 数据分片
下载PDF
云计算环境下数据安全存储的初始划分与分配策略研究
18
作者 赵鑫宇 郭银章 《计算机与数字工程》 2023年第5期1125-1129,共5页
数据资源存储是云计算提供的一项基本服务,其安全性、可用性和可靠性受到普遍关注。传统云数据存储策略多针对系统的存储效率与负载均衡进行研究,无法规避用户数据存储位置的安全风险。为此,论文根据云环境中数据完整泄露的最低概率,建... 数据资源存储是云计算提供的一项基本服务,其安全性、可用性和可靠性受到普遍关注。传统云数据存储策略多针对系统的存储效率与负载均衡进行研究,无法规避用户数据存储位置的安全风险。为此,论文根据云环境中数据完整泄露的最低概率,建立了数据分片的数量标准对其进行range分片;然后将T-color思想与贪心算法结合,提出SA-Greedy(secure automatic greedy)数据分配策略,确定数据片段的物理实际存储结点,进一步提升数据存储的安全性。实验表明,该初始数据资源分布策略在保障了存储位置安全性的同时,有负载均衡、执行耗时短、检索效率高等优点。 展开更多
关键词 云计算 数据存储 数据分片 SA-Greedy 分配策略
下载PDF
应用半连接的分布式数据库查询优化算法 被引量:4
19
作者 李川 《重庆理工大学学报(自然科学)》 CAS 2013年第11期74-77,共4页
分布式数据库具有分布性和冗余性,导致分布式查询处理比较复杂,因此查询优化是一个非常重要的问题。针对大规模数据分析分布式数据库的数据分片机制,建立改进的数据分片模型,并根据分布式数据库的查询优化目标分析查询优化算法,对半连... 分布式数据库具有分布性和冗余性,导致分布式查询处理比较复杂,因此查询优化是一个非常重要的问题。针对大规模数据分析分布式数据库的数据分片机制,建立改进的数据分片模型,并根据分布式数据库的查询优化目标分析查询优化算法,对半连接查询优化算法进行改进。实例分析表明:改进的半连接查询算法极大地降低了传输代价,提高了查询效率。 展开更多
关键词 分布式数据库 大规模数据 查询优化 数据分片 半连接
下载PDF
一种在去重备份系统中数据碎片整理算法 被引量:3
20
作者 韩莹 单维峰 +2 位作者 孙晓叶 郭娜 张翔 《科技通报》 2018年第6期247-250,267,共5页
在去重备份系统中,随着数据实例被引用的次数越来越多,数据碎片也越来越多,后期备份的文件几乎都不是保存在物理上连续的磁盘上。如果从一个反复去重备份系统中恢复数据,就需要从众多的数据碎片的磁盘中还原数据,导致系统的数据恢复速... 在去重备份系统中,随着数据实例被引用的次数越来越多,数据碎片也越来越多,后期备份的文件几乎都不是保存在物理上连续的磁盘上。如果从一个反复去重备份系统中恢复数据,就需要从众多的数据碎片的磁盘中还原数据,导致系统的数据恢复速度非常慢。本文提出一种在去重备份系统中提高数据恢复速度的数据碎片整理算法。如果被引用的数据在磁盘上的位置凌乱程度超过某个阈值时,则不再引用,而是直接复制这些数据到新的备份映像。实验结果证明在去重备份系统中,使用这种数据整理算法加快了数据恢复速度,提高了去重备份系统的性能。 展开更多
关键词 数据去重 数据备份 数据碎片 碎片整理 数据恢复
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部