大数据:概念、技术及应用研究综述 被引量：234

1

作者 方巍 郑玉 徐江 《南京信息工程大学学报（自然科学版）》 CAS 2014年第5期405-419,共15页

随着物联网、云计算、移动互联网的迅猛发展,大数据(Big Data)吸引了越来越多的关注,正成为信息社会的重要财富,同时也给数据的处理与管理带来了巨大挑战.首先从大数据概念入手,阐述了大数据的来源、主要挑战、关键技术、大数据处理工... 随着物联网、云计算、移动互联网的迅猛发展,大数据(Big Data)吸引了越来越多的关注,正成为信息社会的重要财富,同时也给数据的处理与管理带来了巨大挑战.首先从大数据概念入手,阐述了大数据的来源、主要挑战、关键技术、大数据处理工具和应用实例等,并对比了大数据与云计算、物联网、移动互联网等技术之间关系,然后剖析了大数据核心技术、大数据企业解决方案,讨论了目前大数据应用实例,最后归纳总结了大数据发展趋势.旨在为了解大数据当前发展状况、关键技术以及科学地进行大数据分析与处理提供参考. 展开更多

关键词 大数据 云计算 大数据处理 分布 式系统 NOSQL

下载PDF 职称材料

大数据时代网络学习资源组织策略的探索 被引量：23

2

作者 马秀麟 岳超群 蒋珊珊 《现代教育技术》 CSSCI 2015年第7期82-87,共6页

随着教育信息化的深化,学习资源的数量已经不是影响网络学习支持效果的关键因素。针对当前主流学习支持平台在学习资源组织方面的一些不足,结合大数据时代新型的数据处理模式和呈现方式,文章提出了基于大数据理念的网络学习资源组织策略... 随着教育信息化的深化,学习资源的数量已经不是影响网络学习支持效果的关键因素。针对当前主流学习支持平台在学习资源组织方面的一些不足,结合大数据时代新型的数据处理模式和呈现方式,文章提出了基于大数据理念的网络学习资源组织策略:通过构建以知识点为核心的知识元,把学习资源有机地组织起来;借助动态知识地图组织知识元,以便更好地呈现学习资源之间的内在联系;支持资源的重组、重构和共享、共建等,强化面向教师和学习者的个性化操作,从而帮助学习者更加智能化、个性化地学习。 展开更多

关键词 学习资源组织策略 学习支持系统 大数据处理

下载PDF 职称材料

大数据视域下计算机信息处理系统的优化设计 被引量：21

3

作者 冯娜 《电子设计工程》 2020年第7期74-77,共4页

基于大数据视域下,提出了计算机信息处理系统的多种优化技术,采用计算机信息处理技术、信息采集与加工技术、存储技术、安全技术、数据感知与获取技术等多种技术构建计算机信息处理系统,对计算机信息处理系统的内部结构、外部结构、数... 基于大数据视域下,提出了计算机信息处理系统的多种优化技术,采用计算机信息处理技术、信息采集与加工技术、存储技术、安全技术、数据感知与获取技术等多种技术构建计算机信息处理系统,对计算机信息处理系统的内部结构、外部结构、数据库进行了优化设计,并验证了这种优化设计方法比传统软件设计方法的有效性与准确性,最后针对计算机信息处理系统给的发展前景做出分析,为整体的优化设计提供了理论依据。以云计算为基础的信息处理系统,存储空间大,处理速度快,处理效率达到90%以上,能够很好的解决信息处理效率低的问题。 展开更多

关键词 大数据 计算机 信息处理系统 数据感知 优化

下载PDF 职称材料

基于Spark Streaming的实时交通数据处理平台 被引量：13

4

作者 谭亮 周静 《计算机系统应用》 2018年第10期133-139,共7页

交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了... 交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用. 展开更多

关键词 大数据 流处理系统 双基基站数据 SPARK STREAMING APACHE Kafka

下载PDF 职称材料

一种正交分解大数据处理系统设计方法及实现 被引量：12

5

作者 向小佳 赵晓芳 +2 位作者 刘洋 龚关俊 张晗 《计算机研究与发展》 EI CSCD 北大核心 2017年第5期1097-1108,共12页

MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调... MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%. 展开更多

关键词 大数据处理系统 计算框架 本地化 锁无关 超级优化 执行引擎

下载PDF 职称材料

关于大数据处理技术在医院信息档案管理中的应用 被引量：8

6

作者 左天普 《中国卫生标准管理》 2021年第24期4-8,共5页

随着我国当前大数据技术的不断发展,大数据已经和各行各业进行了相互的渗透以及融合,并且在实际用的过程中取得了良好的应用效果。随着我国当前现代医疗服务体系的不断发展,对于医院日常管理工作来说,信息档案管理工作占据了重要的比例... 随着我国当前大数据技术的不断发展,大数据已经和各行各业进行了相互的渗透以及融合,并且在实际用的过程中取得了良好的应用效果。随着我国当前现代医疗服务体系的不断发展,对于医院日常管理工作来说,信息档案管理工作占据了重要的比例,不仅可以使领导人员能够了解当前医院的发展现状,还可以为医院今后的发展提供有效的资料支撑。提高信息档案管理的水平以及质量,相关工作人员要充分发挥大数据处理技术的优势,对医院信息档案管理进行有效的优化和调整,从而使得医院信息化管理水平能够得到有效的提高。 展开更多

关键词 大数据处理技术 医院 信息档案管理 应用 管理制度 运行机制

下载PDF 职称材料

分布式流数据加载和查询技术优化 被引量：7

7

作者 易佳 薛晨 王树鹏 《计算机科学》 CSCD 北大核心 2017年第5期172-177,共6页

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出... 分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。 展开更多

关键词 大数据 流处理系统 分布式流查询 查询优化 Kafka快速加载

下载PDF 职称材料

基于大数据分析的海量信息软件系统设计与开发 被引量：6

8

作者 李锦华 《软件工程》 2017年第11期54-56,共3页

基于大数据分析前提下所开展的海量信息处理任务,在保障效率的同时更要确定准确程度。在此基础上本文重点分析了基于大数据环境下的海量信息软件系统逻辑构成,以及设计过程中的具体软件、硬件结构组成模式,为系统设计开发和任务进行建... 基于大数据分析前提下所开展的海量信息处理任务,在保障效率的同时更要确定准确程度。在此基础上本文重点分析了基于大数据环境下的海量信息软件系统逻辑构成,以及设计过程中的具体软件、硬件结构组成模式,为系统设计开发和任务进行建立适合的环境,全面提升数据信息处理速度,实现大数据分析环境下更高效稳定的功能。 展开更多

关键词 大数据分析 海量信息 信息处理 软件设计 系统构建

下载PDF 职称材料

基于统计感知的大数据系统计算框架 被引量：5

9

作者 魏丞昊 黄哲学 何玉林 《深圳大学学报（理工版）》 EI CAS CSCD 北大核心 2018年第5期441-443,共3页

为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总... 为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1 Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈. 展开更多

关键词 计算机系统结构 大数据 随机样本划分 逼近式集成学习 并行分布式计算 分布式处理系统

下载PDF 职称材料

不同网络环境下大数据系统的测试与分析 被引量：5

10

作者 朱叶青 牛德姣 +1 位作者 蔡涛 何耀 《江苏大学学报（自然科学版）》 EI CAS CSCD 北大核心 2016年第4期429-437,共9页

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例... 为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力. 展开更多

关键词 大数据处理系统 网络架构 HADOOP TACHYON SPARK INFINIBAND IPoIB RDMA

下载PDF 职称材料

大数据处理技术在智慧农业监控系统中的应用 被引量：5

11

作者 郑忠斌 孙繁荣 《粘接》 CAS 2020年第3期103-106,共4页

在大数据的整个发展背景下,几乎各个行业均出现了显著的变化。由于我国从古至今都是一个重要的农业大国,国家均会有意识地积累并搜集和农业相关的数据,从而服务于农业未来进一步的生产和发展建设。文章首先对农业大数据的概念加以界定,... 在大数据的整个发展背景下,几乎各个行业均出现了显著的变化。由于我国从古至今都是一个重要的农业大国,国家均会有意识地积累并搜集和农业相关的数据,从而服务于农业未来进一步的生产和发展建设。文章首先对农业大数据的概念加以界定,阐述大数据在智慧农业中的定义及其运用,在此基础上分析农业大数据具体运用于智慧农业监控系统具体运用,包括目标的确立、系统的整体性架构设计、系统的整体性功能以及数据监控的核心要素及其建构等。基于分析大数据运用于智慧农业监控系统中的有效性应用,能够深入地探讨大数据环境中智慧农业进一步发展的可行性对策,从而推动智慧农业进一步地推广与运用。 展开更多

关键词 大数据处理 智慧农业 监控系统 应用

下载PDF 职称材料

大数据处理系统中面向GPU加速DNN推理的模型共享 被引量：5

12

作者 丁光耀 陈启航 +2 位作者 徐辰 钱卫宁 周傲英 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2022年第9期1435-1441,共7页

近年来,学术和工业界广泛利用大数据处理系统来处理视频分析等领域基于深度神经网络(deep neural networks, DNN)的推理负载。在这种场景下,因大数据系统中多个并行推理任务重复加载相同且只读的DNN模型,导致系统无法充分利用GPU资源,... 近年来,学术和工业界广泛利用大数据处理系统来处理视频分析等领域基于深度神经网络(deep neural networks, DNN)的推理负载。在这种场景下,因大数据系统中多个并行推理任务重复加载相同且只读的DNN模型,导致系统无法充分利用GPU资源,成为了推理性能提升的瓶颈。针对该问题,该文提出了一个面向单GPU卡的模型共享技术,在DNN推理任务之间共享同一份模型数据。在此基础上,为了使模型共享技术作用于分布式环境下的每一块GPU,该文还设计了支持多GPU卡模型共享的分配器。将上述优化技术集成到在GPU平台上运行的Spark中,实现了一个支持大规模推理负载的分布式原型系统。实验结果表明,针对基于YOLO-v3的交通视频处理负载,相对于未采用模型共享技术的系统,模型共享技术能够提升系统吞吐量达136%。 展开更多

关键词 大数据处理系统 DNN推理 GPU 显存 模型共享

原文传递

大数据视域下计算机信息处理系统的优化设计 被引量：5

13

作者 段超 《数字通信世界》 2021年第10期71-72,88,共3页

如今互联网技术得到普及,社会各部都处于大数据分析之下,利用大数据的视角去推动社会的综合进步是一种手段。文章站在大数据的角度,利用现代化手段对计算机中信息处理进行了分析,在一定的实验基础上进行了验证、优化并分析可行性与前景... 如今互联网技术得到普及,社会各部都处于大数据分析之下,利用大数据的视角去推动社会的综合进步是一种手段。文章站在大数据的角度,利用现代化手段对计算机中信息处理进行了分析,在一定的实验基础上进行了验证、优化并分析可行性与前景,为优化计算机信息处理系统提出了一些参考意见。 展开更多

关键词 大数据 计算机 信息处理系统

下载PDF 职称材料

基于云计算的大数据处理与存储系统的设计与实现

14

作者 董威振 《移动信息》 2024年第5期289-291,共3页

随着大数据时代的到来,高效处理和存储海量数据成为云计算领域的重要挑战。针对数据处理效率较低和存储成本较高的问题,文中提出了一种基于云计算的大数据处理与存储系统。该系统由3个核心模块构成,分别是数据收集模块、数据处理模块和... 随着大数据时代的到来,高效处理和存储海量数据成为云计算领域的重要挑战。针对数据处理效率较低和存储成本较高的问题,文中提出了一种基于云计算的大数据处理与存储系统。该系统由3个核心模块构成,分别是数据收集模块、数据处理模块和数据存储模块。通过集成数据管道优化、分布式计算和先进的存储技术,该系统显著提高了数据处理速度,降低了存储成本,并增强了数据的安全性和可访问性。实验结果表明,相较于传统方法,该系统在处理大规模数据集时,不仅将处理速度提高了约40%,存储效率也提高了约30%,为大数据时代下的高效数据处理和存储提供了一种创新且实用的解决方案。 展开更多

关键词 云计算 大数据处理 数据存储系统

下载PDF 职称材料

大数据视域下计算机信息处理系统的优化设计 被引量：4

15

作者 田萍 《电子测试》 2019年第20期55-56,共2页

通过对计算机信息处理系统的技术进行分析后,了解了计算机信息处理系统需要具备的基本性能,能够更好的面对挑战。本文对大数据视域下的计算机信息处理系统优化设计展开探讨。

关键词 大数据 计算机 信息处理系统 优化设计

下载PDF 职称材料

基于人工智能的招聘面试管理系统设计 被引量：4

16

作者 杨玫 吕振华 陈微微 《微型电脑应用》 2021年第7期100-103,共4页

为了减少企业人力资源部门在人才招聘过程中的人工工作量,提出并设计了一种基于人工智能的招聘面试管理系统。该系统通过求职者在线填写简历、电子简历自动筛选、智能在线交流、场景面试、人才素质综合评估和精准录用等多个环节构建招... 为了减少企业人力资源部门在人才招聘过程中的人工工作量,提出并设计了一种基于人工智能的招聘面试管理系统。该系统通过求职者在线填写简历、电子简历自动筛选、智能在线交流、场景面试、人才素质综合评估和精准录用等多个环节构建招聘面试流程,并以此为基础生成智能简历筛选、智能交流面试和虚拟场景面试3大功能模块。该系统的研发能够极大地减轻企业人力资源部门人才招聘初选的工作负荷,具有很强的实用性。 展开更多

关键词 人工智能 BP神经网络 招聘面试 大数据处理 系统设计

下载PDF 职称材料

基于Hadoop的大数据处理系统分析与研究 被引量：3

17

作者 卢爱芬 《现代信息科技》 2020年第2期109-111,共3页

针对当前很多医院或者企业在面对庞大数据处理过程中存在能力缺乏的问题,研究提出基于Hadoop的数据分析系统,该系统能够用于医院辅助诊断以及数据比较分析,同时该系统融合多节点分布式计算技术,能够依据医院患者医检结果生成初步诊断结... 针对当前很多医院或者企业在面对庞大数据处理过程中存在能力缺乏的问题,研究提出基于Hadoop的数据分析系统,该系统能够用于医院辅助诊断以及数据比较分析,同时该系统融合多节点分布式计算技术,能够依据医院患者医检结果生成初步诊断结果,可显著改善传统医疗过程中数据信息处理效率较低的问题。 展开更多

关键词 HADOOP 大数据处理系统 大数据分析

下载PDF 职称材料

基于数据中台的园区经营监管平台的设计与实现 被引量：2

18

作者 张雯 周明升 《网络安全与数据治理》 2023年第4期78-84,共7页

针对园区经营、管理和服务水平提升的需要,为解决园区经营相关系统集成性、一体化和智能化不高的问题,提出一种基于数据中台和地理信息系统的园区经营综合监管平台,实现以园区房产为视角的园区经营全方位监控。平台通过数据同步程序获... 针对园区经营、管理和服务水平提升的需要,为解决园区经营相关系统集成性、一体化和智能化不高的问题,提出一种基于数据中台和地理信息系统的园区经营综合监管平台,实现以园区房产为视角的园区经营全方位监控。平台通过数据同步程序获取业务数据,用数据采集程序采集外部系统数据,经数据清洗程序到达主题库服务器,创建房产、客户等主题库,由数据呈现程序呈现至平台服务器群组,实现一体化园区经营监控。通过在上海自贸区的应用,实现了园区房产资源多维度和多层级的图层化呈现,对园区客户进行精准画像,通过房产租售、收入、成本等监管指标以及客户欠租、合同到期等预警模块,提升了园区经营管理和客户服务水平。 展开更多

关键词 数据中台 园区经营 系统集成 大数据处理 人工智能 地理信息系统

下载PDF 职称材料

电力系统非结构化数据处理方法研究 被引量：3

19

作者 高明 陆宏治 梁雪青 《现代信息科技》 2019年第17期9-11,14,共4页

本文首先简述了非结构化数据的背景以及电力系统非结构化数据的特点,然后阐述了对非结构化数据挖掘利用时所遇到的问题,回顾了电力系统不同应用层面非结构化数据的处理方法及优缺点。在此基础上,从非结构化数据处理中的数据提取、数据... 本文首先简述了非结构化数据的背景以及电力系统非结构化数据的特点,然后阐述了对非结构化数据挖掘利用时所遇到的问题,回顾了电力系统不同应用层面非结构化数据的处理方法及优缺点。在此基础上,从非结构化数据处理中的数据提取、数据过滤、数据转化和利用方面进行归纳和分析。最后根据电力系统战略规划,提出了未来非结构化数据处理的发展方向。 展开更多

关键词 非结构化数据 大数据处理 电力系统 聚类 智能算法

下载PDF 职称材料

大数据处理技术与系统研究 被引量：3

20

作者 严格非 《信息与电脑》 2018年第5期138-139,共2页

当前,随着信息技术的快速发展,该领域内的数据呈现出爆炸式增长的趋势,而这也意味着"大数据"时代的到来。大数据所包含的商业价值与社会价值为全球的发展带来极大的机遇,同时,也提出巨大的技术挑战。笔者主要从两个方面进行研... 当前,随着信息技术的快速发展,该领域内的数据呈现出爆炸式增长的趋势,而这也意味着"大数据"时代的到来。大数据所包含的商业价值与社会价值为全球的发展带来极大的机遇,同时,也提出巨大的技术挑战。笔者主要从两个方面进行研究,即大数据分层式大数据存储系统缓存调度策略与性能优化和大规模RDF语义数据存储管理技术与系统,以期为大数据处理技术与系统研究提供一定的参考。 展开更多

关键词 大数据处理技术 系统研究 存储系统

下载PDF 职称材料