期刊文献+
共找到369篇文章
< 1 2 19 >
每页显示 20 50 100
网络大数据:现状与展望 被引量:712
1
作者 王元卓 靳小龙 程学旗 《计算机学报》 EI CSCD 北大核心 2013年第6期1125-1138,共14页
网络大数据是指"人、机、物"三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大... 网络大数据是指"人、机、物"三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望. 展开更多
关键词 大数据 网络大数据 网络空间感知 大数据存储 数据挖掘 社会计算
下载PDF
大数据:内涵、技术体系与展望 被引量:127
2
作者 彭宇 庞景月 +1 位作者 刘大同 彭喜元 《电子测量与仪器学报》 CSCD 北大核心 2015年第4期469-482,共14页
随着复杂系统测试、试验和状态监测产生的数据呈级数增长,大数据逐渐成为各种工业领域的研究热点。为此,从大数据定义、产生、特性的角度阐述大数据的内涵,重点强调大数据产生三要素的彻底变革,并按照大数据处理流程——产生、存储、预... 随着复杂系统测试、试验和状态监测产生的数据呈级数增长,大数据逐渐成为各种工业领域的研究热点。为此,从大数据定义、产生、特性的角度阐述大数据的内涵,重点强调大数据产生三要素的彻底变革,并按照大数据处理流程——产生、存储、预处理、分析及挖掘、呈现,归纳得出大数据处理的通用技术体系,分析了技术体系中各环节技术的发展现状。最后,从数据科学、工业4.0以及信息物理系统的角度,阐述大数据发展的趋势,并分析了大数据发展的挑战。 展开更多
关键词 大数据 工业4.0 信息物理系统 HADOOP 云存储
下载PDF
大数据隐私保护密码技术研究综述 被引量:60
3
作者 黄刘生 田苗苗 黄河 《软件学报》 EI CSCD 北大核心 2015年第4期945-959,共15页
大数据是一种蕴含大量信息、具有极高价值的数据集合.为了避免大数据挖掘泄露用户的隐私,必须要对大数据进行必要的保护.由于大数据具有总量庞大、结构复杂、处理迅速等特点,传统的保护数据隐私的技术很多都不再适用.从密码学的角度,综... 大数据是一种蕴含大量信息、具有极高价值的数据集合.为了避免大数据挖掘泄露用户的隐私,必须要对大数据进行必要的保护.由于大数据具有总量庞大、结构复杂、处理迅速等特点,传统的保护数据隐私的技术很多都不再适用.从密码学的角度,综述了近年来提出的、适用于大数据的隐私保护技术的研究进展.针对大数据的存储、搜索和计算这3个重要方面,分别阐述了大数据隐私保护的研究背景和主要研究方向,并具体介绍了相关技术的最新研究进展.最后指出未来大数据隐私保护研究的一些重要方向. 展开更多
关键词 大数据 隐私 存储 搜索 计算
下载PDF
大数据时代高校数字档案资源管理研究 被引量:35
4
作者 石峻峰 周俐霞 +1 位作者 樊泽恒 王丽 《现代教育技术》 CSSCI 2015年第1期19-24,共6页
高校在校园信息化过程中产生和积累的数据已经具备了大数据特征,从海量数据中提取出有价值的信息归档保存和提供利用具有重要的意义。该文站在档案信息资源角度概述了大数据管理的最新研究成果。从大数据4V特征出发,分析了高校大数据来... 高校在校园信息化过程中产生和积累的数据已经具备了大数据特征,从海量数据中提取出有价值的信息归档保存和提供利用具有重要的意义。该文站在档案信息资源角度概述了大数据管理的最新研究成果。从大数据4V特征出发,分析了高校大数据来源的主要渠道,厘清数据与档案之间的关系,构建基于大数据生命周期管理模型。文中从观念转变、组织协调、战略制定、数据采集、清洗、聚合等方面着手,做好数据管理和重要数据归档工作。如何对大数据进行有效管理已经成为大数据发展的重要课题,高校尤其是档案部门作为主管历史记录和信息资源的职能机构,更应抓住机遇,履行对数字档案资源管理的职能。 展开更多
关键词 大数据 高校 数字档案 数据采集 聚合分析 数据归档 数据存储
下载PDF
大数据环境下的分布式数据流处理关键技术探析 被引量:32
5
作者 陈付梅 韩德志 +1 位作者 毕坤 戴永涛 《计算机应用》 CSCD 北大核心 2017年第3期620-627,共8页
大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统(DDSPS)能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大... 大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性。分布式数据流处理系统(DDSPS)能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务(DDo S)攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。 展开更多
关键词 大数据 流处理 消息队列 数据处理 数据存储
下载PDF
基于大数据的电力信息系统网络安全分析 被引量:31
6
作者 赵川 孙华利 +1 位作者 王国平 路学刚 《电子设计工程》 2019年第23期148-152,共5页
针对电力信息系统的功能性和安全性需求,本文设计了基于大数据的电力信息系统与网络安全分析平台。首先,本文细化了电力信息系统与系统架构、技术架构和具体功能模块。其次,为了满足电力信息系统网络安全需求,本文设计了基于大数据的网... 针对电力信息系统的功能性和安全性需求,本文设计了基于大数据的电力信息系统与网络安全分析平台。首先,本文细化了电力信息系统与系统架构、技术架构和具体功能模块。其次,为了满足电力信息系统网络安全需求,本文设计了基于大数据的网络安全分析平台,并给出相应的关键技术。由于电力信息系统面临着海量数据实时分析处理及信息安全性两大主要问题,所以本文在电力信息系统中引入大数据信息安全技术。基于Hadoop的海量数据存储和基于MapReduce的海量数据检索,可以支持大量用户实时查询和更新电力数据,可靠的信息安全技术保证了该电力信息系统的安全性。 展开更多
关键词 大数据 信息安全 数据存储 数据检索
下载PDF
基于PCM的大数据存储与管理研究综述 被引量:28
7
作者 吴章玲 金培权 +1 位作者 岳丽华 孟小峰 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期343-361,共19页
大数据已经成为当前学术界和工业界的一个研究热点.但由于计算机系统架构的限制,大数据存储与管理在性能、能耗等方面均面临着巨大的挑战.近年来,一种新型存储介质——相变存储器(phase Change Memory,PCM)——凭着其非易失、字节可寻... 大数据已经成为当前学术界和工业界的一个研究热点.但由于计算机系统架构的限制,大数据存储与管理在性能、能耗等方面均面临着巨大的挑战.近年来,一种新型存储介质——相变存储器(phase Change Memory,PCM)——凭着其非易失、字节可寻址、读取速度快、低能耗等诸多优点,为计算机存储体系结构和数据管理设计带来了新的技术变革前景,也为大数据存储和管理带来了新的契机.PCM既是一种非易失存储介质,同时又具备了内存的字节可寻址和高速随机访问特性,模糊了主存和外存的界限,有望突破原有的存储体系架构,实现更高性能的存储与数据管理.概述了PCM存储器的发展现状;总结了目前基于PCM的持久存储技术和基于PCM的主存系统等方面的研究进展;并讨论了PCM在多个领域的应用现状.最后,给出了基于PCM的大数据存储与管理研究的若干未来发展方向,从而为构建新型存储架构下的大数据存储与管理技术提供有价值的参考. 展开更多
关键词 相变存储器 主存系统 混合主存 大数据管理 大数据存储
下载PDF
大数据场景下的云存储技术与应用 被引量:29
8
作者 陈杰 《中兴通讯技术》 2012年第6期47-51,共5页
文章认为随着大数据应用规模的扩大,新业务环境和场景对海量云存储需求的迫切,云存储平台需要打破原有的框架,改变组网和管理方式,以满足新的业务需求。文章分析了各种场景,提出了云存储的需求及关键技术等。文章指出大数据需求促进了... 文章认为随着大数据应用规模的扩大,新业务环境和场景对海量云存储需求的迫切,云存储平台需要打破原有的框架,改变组网和管理方式,以满足新的业务需求。文章分析了各种场景,提出了云存储的需求及关键技术等。文章指出大数据需求促进了云存储的发展,而云存储的发展则带动了新的业务应用。 展开更多
关键词 大数据 云存储 安全
下载PDF
大数据下云计算技术在计算机网络安全存储中的应用 被引量:28
9
作者 牛俊祝 《信息与电脑》 2019年第15期202-203,206,共3页
互联网在各个领域的普及与应用,促使海量数据日益增长。大数据时代的来临,极大程度提高了我国在社会发展中的技术水平。云计算技术作为大数据时代下的一种重要信息化技术,在保障计算机网络数据安全方面发挥至关重要的作用,实现了数据在... 互联网在各个领域的普及与应用,促使海量数据日益增长。大数据时代的来临,极大程度提高了我国在社会发展中的技术水平。云计算技术作为大数据时代下的一种重要信息化技术,在保障计算机网络数据安全方面发挥至关重要的作用,实现了数据在计算机网络中的安全存储,保障了数据安全传输与存储。鉴于此,针对大数据下云计算技术在计算机网络安全存储中的相关应用进行深入研究,以期在计算机网络安全存储中实现云计算技术的高效应用,从根本上保障数据安全存储。 展开更多
关键词 大数据 云计算技术 计算机 网络安全存储
下载PDF
大数据背景下海洋数据管理的挑战与对策 被引量:27
10
作者 黄冬梅 赵丹枫 +2 位作者 魏立斐 杜艳玲 王振华 《计算机科学》 CSCD 北大核心 2016年第6期17-23,共7页
空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等... 空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。 展开更多
关键词 海洋 大数据 数据存储 数据质量 数据安全
下载PDF
海洋大数据应用技术分析与趋势研究 被引量:26
11
作者 刘帅 陈戈 +1 位作者 刘颖洁 田丰林 《中国海洋大学学报(自然科学版)》 CAS CSCD 北大核心 2020年第1期154-164,共11页
随着各类探测设备及计算模拟的发展,科学研究进入第四范式"数据密集型发现",海洋领域亦已进入大数据时代,各类海洋大数据应用技术也成为海洋科学研究的关注焦点。本文从海洋大数据的产生到海洋大数据应用整个链条进行探讨。... 随着各类探测设备及计算模拟的发展,科学研究进入第四范式"数据密集型发现",海洋领域亦已进入大数据时代,各类海洋大数据应用技术也成为海洋科学研究的关注焦点。本文从海洋大数据的产生到海洋大数据应用整个链条进行探讨。首先对海洋大数据的定义及特征进行了讨论;其次从技术方面,从多源感知与探测、存储与管理、分析挖掘、可视化角度对海洋大数据应用技术研究的基础和研究现状进行分析,最后从实践方面,对相关技术研究的应用现状及应用前景进行了说明,为海洋科学及技术研究发展提供重要参考依据。 展开更多
关键词 海洋大数据 多源感知及探测 存储管理 分析挖掘 可视化 海洋大数据应用
下载PDF
大数据时代高校图书馆受到的挑战及其发展对策 被引量:25
12
作者 李凤念 《农业图书情报学刊》 2014年第3期80-83,共4页
大数据不是对数据量大小的描述,而是在种类繁多、数量庞大的多样数据中进行的快速信息获取,从某种程度上来说大数据是一种数据分析技术。大数据具有大量化、多样化、快速化和价值密度低4大特点。大数据在政治、经济、科技等领域都有应... 大数据不是对数据量大小的描述,而是在种类繁多、数量庞大的多样数据中进行的快速信息获取,从某种程度上来说大数据是一种数据分析技术。大数据具有大量化、多样化、快速化和价值密度低4大特点。大数据在政治、经济、科技等领域都有应用。信息网络技术的发展给高校图书馆带来了海量数据。大数据对高校图书馆的网络结构设计、数据存储和数据处理提出了挑战,高校图书馆需要统一大数据的格式,实现高效率的存储以及对非结构化数据进行处理。 展开更多
关键词 大数据 非结构化数据 数据存储 数据处理 高校图书馆
下载PDF
面向大数据分布式存储的动态负载均衡算法 被引量:25
13
作者 张栗粽 崔园 +3 位作者 罗光春 陈爱国 卢国明 王晓雪 《计算机科学》 CSCD 北大核心 2017年第5期178-183,共6页
随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDF... 随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。 展开更多
关键词 大数据 分布式存储 元数据管理 HDFS
下载PDF
面向智能电网的电力大数据存储与分析应用 被引量:23
14
作者 崔立真 史玉良 +2 位作者 刘磊 赵卓峰 毕艳冰 《大数据》 2017年第6期42-54,共13页
阐述了智能电网面临的挑战以及大数据关键技术对电力行业的可持续发展和坚强智能电网建立的重要意义。分别从智能电网主数据管理、用电信息统一存储管理、电能质量分析、配网运营能力分析等几个典型大数据系统分析了大数据关键技术在智... 阐述了智能电网面临的挑战以及大数据关键技术对电力行业的可持续发展和坚强智能电网建立的重要意义。分别从智能电网主数据管理、用电信息统一存储管理、电能质量分析、配网运营能力分析等几个典型大数据系统分析了大数据关键技术在智能电网中的应用。 展开更多
关键词 智能电网 大数据 存储 智能分析
下载PDF
Big-Data Analytics:Challenges,Key Technologies and Prospects 被引量:19
15
作者 Shengmei Luo Zhikun Wang Zhiping Wang 《ZTE Communications》 2013年第2期11-17,共7页
With the rapid development of the internet, internet of things, mobile internet, and cloud computing, the amount of data in circulation has grown rapidly. More social information has contributed to the growth of big d... With the rapid development of the internet, internet of things, mobile internet, and cloud computing, the amount of data in circulation has grown rapidly. More social information has contributed to the growth of big data, and data has become a core asset. Big data is challenging in terms of effective storage, efficient computation and analysis, and deep data mining. In this paper, we discuss the signif- icance of big data and discuss key technologies and problems in big-data analyties. We also discuss the future prospects of big-data analylics. 展开更多
关键词 big data mass storage data mining business intelligence
下载PDF
云计算下大数据分布式存储中冗余数据分配算法 被引量:20
16
作者 张华丽 杨帆 杨华勇 《中国电子科学研究院学报》 北大核心 2018年第4期433-438,共6页
传统支持向量机算法分配冗余数据时,据分配算法,采用局部特征分析算法获取云计算下大数据分布式存储中冗余数据的重要特征,将该特征设为分类冗余数据的基本数据;使用一对一的分类方式将基本数据变换成二分类数据后,采用最优分类平面对... 传统支持向量机算法分配冗余数据时,据分配算法,采用局部特征分析算法获取云计算下大数据分布式存储中冗余数据的重要特征,将该特征设为分类冗余数据的基本数据;使用一对一的分类方式将基本数据变换成二分类数据后,采用最优分类平面对二分类数据进行深仅能进行小样本数据中冗余数据的分配,不能解决大数据中的冗余数据间关联性低的问题,具有分配效率和准确率较低等弊端。提出云计算下大数据分布式存储中冗余数度分类,获取冗余数据片段;采用基于遗传算法对冗余数据片段的分配过程进行求解,构建分配策略和评估准则,获取最佳冗余数据分配策略,完成对云计算大数据分布式存储中冗余数据的最优分配。实验结果说明,所提算法对云计算下大数据分布式存储中的冗余数据实施分配时是具备精度以及效率高的优势。 展开更多
关键词 云计算 大数据 分布式存储 冗余数据 分配 遗传算法
下载PDF
大数据环境下面向科研用户的移动视觉搜索模型研究 被引量:20
17
作者 曾子明 周知 《情报理论与实践》 CSSCI 北大核心 2017年第8期126-130,98,共6页
大数据环境导致数据密集型科研范式产生,知识服务机构的服务模式也已转变为以用户为中心。在这种情况下,知识资源存在动态复杂的关系,科研用户需求更加多样,传统文本信息检索方式已不能完全满足用户需求。移动视觉搜索在搜索方式上可以... 大数据环境导致数据密集型科研范式产生,知识服务机构的服务模式也已转变为以用户为中心。在这种情况下,知识资源存在动态复杂的关系,科研用户需求更加多样,传统文本信息检索方式已不能完全满足用户需求。移动视觉搜索在搜索方式上可以满足泛在环境下用户对知识服务的要求,在检索内容上满足用户对图像资源以及与之相关的文本信息的需求。因此,本研究在分析移动视觉搜索模型构建动因的基础上,提出一种大数据环境下面向科研用户的移动视觉搜索模型,为移动视觉搜索理论的深入和其在知识服务领域中的应用拓展提供参考。 展开更多
关键词 大数据 云存储 科研用户 移动视觉搜索
原文传递
基于大数据分析技术的智慧教育平台设计 被引量:20
18
作者 施万里 张余辉 《现代电子技术》 北大核心 2020年第9期150-153,共4页
为实现教育过程中的一站式在线服务,基于大数据分析技术设计包括数据资源库、大数据分析层、智慧教育信息云服务层、应用服务层和表现层的智慧教育平台。大数据分析层采用Hbase数据库结合SQL计算执行引擎分析智慧教育数据,将分析得到的... 为实现教育过程中的一站式在线服务,基于大数据分析技术设计包括数据资源库、大数据分析层、智慧教育信息云服务层、应用服务层和表现层的智慧教育平台。大数据分析层采用Hbase数据库结合SQL计算执行引擎分析智慧教育数据,将分析得到的学生、教师以及资源信息等传递至智慧教育信息云服务层;智慧教育信息云服务层通过验证用户、服务绑定和服务提供,使平台用户享受平台存储文件、课程管理和课程发布等服务。智慧教育信息云服务层中在线学习模块的管理员审核教师备课资料和学生学习资源、教师在线或录播授课以及学生课程选择与确定功能的实现,实现教师、管理员以及学生的在线信息交流。平台测试结果表明,该平台可根据学生个性化学习行为提供个性化教学和管理,实现教师、管理员与学生的在线交流,且平台教育资源存储服务和教育资源门户服务均可实现,应用价值高。 展开更多
关键词 教育平台设计 智慧教育 课程管理 大数据分析 在线学习 教育资源存储
下载PDF
地质大数据分析与应用模式研究 被引量:19
19
作者 李朝奎 严雯英 +1 位作者 肖克炎 赵亚楠 《地质学刊》 CAS 2015年第3期352-357,共6页
大数据时代下地质数据的获取方式多种多样,数据量十分庞大,数据格式复杂多样。从地质大数据的存储管理、数据挖掘技术、可视化技术等方面阐述了其分析应用的关键点。介绍了大数据不同于传统数据的分析思维,强调注重数据本身的重要性。... 大数据时代下地质数据的获取方式多种多样,数据量十分庞大,数据格式复杂多样。从地质大数据的存储管理、数据挖掘技术、可视化技术等方面阐述了其分析应用的关键点。介绍了大数据不同于传统数据的分析思维,强调注重数据本身的重要性。大数据的分析与应用方法处在不断创新中,同时也面临巨大挑战,如何保证地质大数据的质量、如何高效地搭建云平台等都是需要解决的难题。指出了地质大数据的开发对矿产资源预测、城镇选址等具有十分重要的意义。 展开更多
关键词 地质大数据 存储管理 数据挖掘 可视化 云平台
下载PDF
大数据下分布式风电光伏储能容量配置方法 被引量:18
20
作者 饶成成 《电子设计工程》 2022年第5期118-121,126,共5页
以往使用大型蓄电池储能系统配置,通过非参数估计和曲线拟合储能容量配置方案,只针对一种情景分析,导致不同天气下容量配置结果不理想,为了解决该问题,提出了大数据下分布式风电光伏储能容量配置方法。分析分布式风电光伏储能拓扑结构,... 以往使用大型蓄电池储能系统配置,通过非参数估计和曲线拟合储能容量配置方案,只针对一种情景分析,导致不同天气下容量配置结果不理想,为了解决该问题,提出了大数据下分布式风电光伏储能容量配置方法。分析分布式风电光伏储能拓扑结构,调整储能装置能量状态,使其能在不同情景下工作。计算目标函数,确定波动量权重值,设计跨时间尺度的能量存储总体布局方案,使用大数据分析方法求解目标函数,并设计储能容量配置流程。由实验结果可知,该方法分别在大雾、大雨和雷暴天气下的容量配置结果与预期配置结果一致,具有良好的配置效果。 展开更多
关键词 大数据 分布式风电光伏 储能容量 配置
下载PDF
上一页 1 2 19 下一页 到第
使用帮助 返回顶部