被动成像广域空中监视系统综述 被引量：6

1

作者 张春晓 林招荣 +2 位作者 姚毅刚 李福东 张卫卫 《航天返回与遥感》 2014年第1期37-45,共9页

被动成像广域空中监视(Wide Area Airborne Surveillance,WAAS)系统因其良好的隐蔽性和动态监视的实时性、持久性及大面积覆盖,已成为情报监视侦察的重要工具,广泛应用于军事、民用领域。文章结合典型被动成像广域空中监视系统(如自动... 被动成像广域空中监视(Wide Area Airborne Surveillance,WAAS)系统因其良好的隐蔽性和动态监视的实时性、持久性及大面积覆盖,已成为情报监视侦察的重要工具,广泛应用于军事、民用领域。文章结合典型被动成像广域空中监视系统(如自动实时地面全部署侦察成像系统ARGUS-IS)的特点,从光电传感器设计、数据传输与信息处理等方面阐述被动成像WAAS的系统特点及关键技术环节;重点分析了大视场高分辨率的实现方式、海量数据传输与存储、数据智能分析等制约被动成像WAAS性能的瓶颈技术,为被动成像WAAS的研制与应用提供了参考。 展开更多

关键词 广域空中监视系统 被动成像 情报监视侦察 大视场 高分辨率 海量数据处理

下载PDF 职称材料

海量大数据定向采样有差别挖掘算法仿真

2

作者 宁滔 《现代电子技术》 北大核心 2024年第9期164-168,共5页

在大数据中,不同类别之间可能存在数据分布不均衡的情况,即某些类别的数据样本数量远远少于其他类别。这种情况下,传统的采样方法无法正确反映所有类别的特征和差异。为提升大数据信息的应用性,文中研究海量大数据定向采样有差别挖掘算... 在大数据中,不同类别之间可能存在数据分布不均衡的情况,即某些类别的数据样本数量远远少于其他类别。这种情况下,传统的采样方法无法正确反映所有类别的特征和差异。为提升大数据信息的应用性,文中研究海量大数据定向采样有差别挖掘算法。以网站统一资源定位器(URL)初始化为基础,在网络上抓取网页,采集网页的超文本标记语言(HTML)数据,提取定向数据的相关链接,并将其导入URL队列。根据网络搜索策略,实施相关的数据搜索和处理。完成数据搜索后,将自动进行下一网页的URL,继续进行海量大数据定向采样。结合模糊特征匹配与检测滤波方法实现大数据定向采样过程中的抗干扰处理。采用粗糙集算法实施挖掘,利用扩展差别矩阵对大数据决策表内的值实施约简,实现海量大数据的模式分类。实验结果显示,该算法数据采集过程中的丢包率基本控制在0.2%以下,具有较高的鲁棒性。 展开更多

关键词 海量大数据 网页抓取 定向采样 滤波处理 去冗余 粗糙集 扩展差别矩阵 决策规则

下载PDF 职称材料

强噪声海量物联网数据处理中节点选择算法研究 被引量：3

3

作者 辛焦丽 《科学技术与工程》 北大核心 2017年第17期283-287,共5页

当前节点选择算法在强噪声干扰下,通过优先级理论实现节点选择,存在安全性差、能耗高、整体性能低下的弊端,为此,提出一种新的强噪声海量物联网数据处理中节点选择算法。将数字序列中某点的值用与该点相邻的各点值的中值替换,通过中值... 当前节点选择算法在强噪声干扰下,通过优先级理论实现节点选择,存在安全性差、能耗高、整体性能低下的弊端,为此,提出一种新的强噪声海量物联网数据处理中节点选择算法。将数字序列中某点的值用与该点相邻的各点值的中值替换,通过中值滤波法对物联网中的强噪声进行去除,完成强噪声干扰去除后。通过基于后悔函数的平衡剩余能量节点选择算法对海量物联网数据处理中节点进行选择。依据误码率选择满足要求的节点作为候选节点,通过减少无效处理增强能量性能。利用后悔函数对节点相对物联网的剩余能量进行估算,依据节点相对于其他节点的剩余能量确定延迟时间,从而实现节点选择。实验结果表明,采用所提算法对海量物联网数据处理中节点进行选择,不仅安全性高,而且节能性好、整体性能高。 展开更多

关键词 强噪声 海量物联网数据 处理 节点选择

下载PDF 职称材料

云GIS架构下的电网数据并行计算及编辑技术研究

4

作者 夏伟 李志坚 +4 位作者 蔡文婷 邓兵 高永铭 陈姣 蔡喜荣 《测绘地理信息》 CSCD 2022年第6期101-105,共5页

随着电网GIS业务应用的拓展,海量空间数据量呈几何级数增长,如何系统地存储和管理地理空间数据、提高软硬件的利用率和高效地服务更多用户,成为了电网GIS实际应用的新的研究热点。以南方电网GIS平台为例,主要研究云GIS架构下的数据并行... 随着电网GIS业务应用的拓展,海量空间数据量呈几何级数增长,如何系统地存储和管理地理空间数据、提高软硬件的利用率和高效地服务更多用户,成为了电网GIS实际应用的新的研究热点。以南方电网GIS平台为例,主要研究云GIS架构下的数据并行计算及编辑的关键技术,结合云计算在大数据处理方面的优势,来解决电网GIS所面临的困境。首先概述了云GIS的架构;然后重点介绍云计算与GIS结合的关键技术;最后通过在南方电网的应用实践证明相关技术的可行性及先进性。 展开更多

关键词 云计算 云GIS 海量空间数据 并行处理框架

原文传递

一种大规模空间数据流式并行处理方法研究 被引量：9

5

作者 刘纪平 吴立新 +2 位作者 董春 张福浩 亢晓琛 《测绘科学》 CSCD 北大核心 2016年第1期89-93,75,共6页

针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内... 针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。 展开更多

关键词 流式并行方法 大规模空间数据处理 空间计算 I/O过程 地表面积

原文传递

基于海量网络数据(面向金融领域)综合处理服务平台的研究与实施

6

作者 杨桂珍 《教育教学论坛》 2017年第39期264-266,共3页

面向金融领域的海量数据综合处理服务平台融合了分布式云计算技术、SOA技术、ETL技术、作业调度技术,以SOA为基础,采用云计算的体系架构,整合多种ETL技术和不同的ETL工具,具有统一、高效、可拓展性。该服务平台支持灵活构建面向数据仓... 面向金融领域的海量数据综合处理服务平台融合了分布式云计算技术、SOA技术、ETL技术、作业调度技术,以SOA为基础,采用云计算的体系架构,整合多种ETL技术和不同的ETL工具,具有统一、高效、可拓展性。该服务平台支持灵活构建面向数据仓库、数据集市、数据集文件进行海量数据的处理、加工和交换,实现批量作业的原子化、参数化、操作简单化、流程可控化,并提供灵活、可自定义的程序接口,具有良好的可扩展性,是一个基础服务框架的服务平台。 展开更多

关键词 面向金融 海量网络数据 综合处理服务平台

下载PDF 职称材料

MapReduce并行编程模型研究综述 被引量：186

7

作者 李建江 崔健 +2 位作者 王聃 严林 黄义双 《电子学报》 EI CAS CSCD 北大核心 2011年第11期2635-2642,共8页

MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成... MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 展开更多

关键词 MAPREDUCE 并行编程模型 运行时支持库 海量数据处理

下载PDF 职称材料

基于Hadoop的高性能海量数据处理平台研究 被引量：32

8

作者 翟岩龙 罗壮 +1 位作者 杨凯 徐晟晨 《计算机科学》 CSCD 北大核心 2013年第3期100-103,共4页

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基... 海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的GPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapRe-duce框架中,可高效处理海量数据。 展开更多

关键词 CPU GPU协同计算 HADOOP 海量数据处理 高性能计算

下载PDF 职称材料

MapReduce并行编程模型研究综述 被引量：24

9

作者 杜江 张铮 +1 位作者 张杰鑫 邰铭 《计算机科学》 CSCD 北大核心 2015年第S1期537-541 564,564,共6页

MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集... MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集群中发挥出色的计算能力,且可节约成本。对国内外关于MapReduce并行编程模型的研究现状进行了综述,分析了目前国内外相关研究成果的优缺点,并对MapReduce并行编程模型的未来发展进行了展望。 展开更多

关键词 MAPREDUCE 并行编程模型 并行计算 海量数据处理

下载PDF 职称材料

云计算技术研究与应用综述 被引量：20

10

作者 李晓辉 《电子测量技术》 2011年第7期1-4,共4页

提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展... 提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意义,总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展,深入分析了云计算研究过程中的重点和难点,最后指出了云计算未来的发展趋势。 展开更多

关键词 云计算 虚拟化 海量数据处理 大规模分布式存储

下载PDF 职称材料

基于服务器集群的云监控系统设计与实现 被引量：16

11

作者 沈青 董波 肖德宝 《计算机工程与科学》 CSCD 北大核心 2012年第10期73-77,共5页

为了应对数据延时和IT资源分散状况,越来越多的公司正将服务器和应用程序从远程分支机构撤回到数据中心集中管理,这就使得数据中心的IT资源越来越多,数据中心越来越趋于大型化,管理对象不仅包括传统的小型机、服务器、数据库和各种应用... 为了应对数据延时和IT资源分散状况,越来越多的公司正将服务器和应用程序从远程分支机构撤回到数据中心集中管理,这就使得数据中心的IT资源越来越多,数据中心越来越趋于大型化,管理对象不仅包括传统的小型机、服务器、数据库和各种应用,还包括更多的存储设备、刀片服务器、虚拟机、云计算等,传统的网络管理和监控面临巨大挑战。本文阐述在复杂的网络环境下如何对服务器集群进行全面的监控和高效的管理,重点对数据中心的大规模多类型服务器监控告警技术进行研究。云监控管理系统主要包括高效的数据采集和海量数据处理两大部分,可实现对1000～10000台服务器的有效管理和全面监控,目前已实现对Windows、Linux、Unix、IBM、Solaris类型主机和mySQL、SQLserver、Oracle、A-pache、Tomcat、IIS、网站监测等应用的监控。 展开更多

关键词 服务器集群 云监控 海量数据处理

下载PDF 职称材料

海量物联网数据安全处理模型研究 被引量：15

12

作者 张桂刚 毕娅 +3 位作者 李超 张勇 曾春 邢春晓 《小型微型计算机系统》 CSCD 北大核心 2013年第9期2090-2094,共5页

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存... 物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等. 展开更多

关键词 物联网 海量数据 云存储 规则处理 数据安全

下载PDF 职称材料

面向高性能计算机的海量数据处理平台实现与评测 被引量：13

13

作者 黄訸 易晓东 +1 位作者 李姗姗 廖湘科 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期357-361,共5页

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密... 高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向. 展开更多

关键词 高性能计算机 海量数据处理 MapReduce编程模型

下载PDF 职称材料

智能变电站网络报文分析关键技术研究 被引量：12

14

作者 窦中山 魏勇 +1 位作者 王兴安 金华蓉 《电气技术》 2014年第6期96-99,共4页

本文分析了网络报文分析功能在智能变电站的重要作用,给出了现阶段智能变电站继电保护采用"直采直跳"模式下的网络报文分析系统配置及组网方案,针对智能变电站过程层网络报文分析的难点:高精度数据同步及海量数据处理及存储,... 本文分析了网络报文分析功能在智能变电站的重要作用,给出了现阶段智能变电站继电保护采用"直采直跳"模式下的网络报文分析系统配置及组网方案,针对智能变电站过程层网络报文分析的难点:高精度数据同步及海量数据处理及存储,进行了基于时钟源的自适应数据同步及基于大容量多硬盘的存储两项关键技术的研究。 展开更多

关键词 智能变电站 过程层 网络报文分析 高精度数据同步 大容量数据处理及存储

下载PDF 职称材料

基于Hadoop的海量气象水文数据并发处理模型 被引量：10

15

作者 李辉 王建文 叶明雯 《计算机应用》 CSCD 北大核心 2018年第A02期187-191,205,共6页

针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同... 针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同时,基于MapReduce编程框架完成海量气象水文数据的高效并行处理。仿真实验中,CPHDH能够有效利用Hadoop平台的分布式存储和并行处理框架实现海量降雨要素信息的高效存储和处理,相比单机运行基于遗传算法的气象观测数据区间值属性约简算法(MOIvGA)进行降水影响因子属性约简,CPHDH中的属性子集对无雨、小雨和中雨预测效率分别提高了10. 74%、6. 19%、4. 42%。 展开更多

关键词 海量气象水文数据 HADOOP 分布式文件存储系统 MAPREDUCE 并发处理

下载PDF 职称材料

电网量测数据海量终端的前置中间件技术研究 被引量：8

16

作者 郑秀杰 董彬彬 易建波 《电测与仪表》 北大核心 2020年第1期70-75,共6页

针对目前智能电网状态监测与分析中面临的WAMS、SCADA、AMI等量测系统海量、多源、高速数据处理问题,提出一种海量终端的数据前置处理中间件技术,着重解决海量数据中目标信息高效挖掘与处理器负载均衡问题。在前置数据处理中间件架构中... 针对目前智能电网状态监测与分析中面临的WAMS、SCADA、AMI等量测系统海量、多源、高速数据处理问题,提出一种海量终端的数据前置处理中间件技术,着重解决海量数据中目标信息高效挖掘与处理器负载均衡问题。在前置数据处理中间件架构中设计了基于采样的目标信息数据并行挖掘算法,同时通过基于Map-Reduce并行计算模型及轮转算法思想均衡负载,以采样挖掘方式聚合数据内联关系,设计出单机多核并行数据挖掘策略。通过广域电网中海量PMU数据进行对比测试,结果表明文中提出的中间件技术可以有效的提高挖掘速度和多处理器负载均衡度,同时极大地减轻海量数据挖掘中的内存负担。 展开更多

关键词 海量数据处理 数据挖掘 负载均衡 采样挖掘 轮转算法

下载PDF 职称材料

一种FPGA集群轻量级深度学习计算架构设计及实现 被引量：1

17

作者 刘红伟 潘灵 +3 位作者 吴明钦 韩毅辉 侯云 席国江 《电讯技术》 北大核心 2024年第1期14-21,共8页

传感器技术的发展带来了边缘、端设备功能的迅速迭代升级,也带来了战场前端的数据量成倍增长。针对边缘、端设备数据量的急剧增长和芯片计算处理能力的矛盾,结合Map/Reduce框架,提出了一种基于现场可编程门阵列(Field Programmable Gate... 传感器技术的发展带来了边缘、端设备功能的迅速迭代升级,也带来了战场前端的数据量成倍增长。针对边缘、端设备数据量的急剧增长和芯片计算处理能力的矛盾,结合Map/Reduce框架,提出了一种基于现场可编程门阵列(Field Programmable Gate Array,FPGA)计算集群资源的深度学习架构,能够实现多个深度学习算法的并行快捷部署和应用。该轻量级深度学习计算架构同时满足军事应用对“端”的智能处理能力提出的新要求,即不仅局限于数据采集和智能的应用,还必须具备分布式并行智能实时计算的能力。该FPGA集群轻量级深度学习计算框架部署不同类型算法容易,实时性高(ms级任务响应),可扩展性好,在多种类异构传感器、大场景大数据吞吐量的军事场景及森林防火等民用场景有广泛的应用前景。 展开更多

关键词 深度学习 边缘计算 端设备 海量数据 实时处理

下载PDF 职称材料

基于LSTM神经网络的海量边缘计算数据处理方法

18

作者 姚文广 陈思宁 《数字通信世界》 2024年第7期70-72,共3页

传统海量边缘计算数据处理方法直接对海量边缘计算数据实施压缩,未对海量边缘计算数据进行动态合并处理,处理效果差。因此,该文提出基于LSTM神经网络的海量边缘计算数据处理方法,该方法对海量边缘计算数据进行动态合并处理,为决策和应... 传统海量边缘计算数据处理方法直接对海量边缘计算数据实施压缩,未对海量边缘计算数据进行动态合并处理,处理效果差。因此,该文提出基于LSTM神经网络的海量边缘计算数据处理方法,该方法对海量边缘计算数据进行动态合并处理,为决策和应用提供更全面和准确的信息支持;对合并的数据进行压缩,提高处理效率;最后基于LSTM神经网络,实现海量边缘计算数据的处理,实验结果表明该研究方法处理效果更好。 展开更多

关键词 LSTM神经网络 海量边缘计算数据 海量数据 处理方法

下载PDF 职称材料

基于云计算技术的分布式网络海量数据处理系统构建 被引量：2

19

作者 杨晓岚 《无线互联科技》 2023年第2期68-70,共3页

随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索... 随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索将云计算技术应用于分布式网络海量数据处理系统的构建中,能充分发挥云计算技术与分布式网络的优势,从而提高海量数据的处理效率。 展开更多

关键词 云计算技术 分布式网络 海量数据 处理系统

下载PDF 职称材料

基于全球海域多波束测深数据构建DBM与Web服务

20

作者 刘杰 张旗 王荻 《海洋测绘》 CSCD 北大核心 2024年第2期14-17,共4页

为解决全球海域多波束测深数据查询使用不便的问题,通过数据分块实现海量数据处理,使用逐点插值算法构建数字水深模型,将晕渲图与数字水深模型组合构建可视化查询服务,实现基于浏览器查看水深数据和查询水深值等功能。对已有的全球海域... 为解决全球海域多波束测深数据查询使用不便的问题,通过数据分块实现海量数据处理,使用逐点插值算法构建数字水深模型,将晕渲图与数字水深模型组合构建可视化查询服务,实现基于浏览器查看水深数据和查询水深值等功能。对已有的全球海域多波束测深数据进行了处理,结果表明该方法对海量数据有着很好的承载能力,构建的数字水深模型能够反映测深点分布情况,Web查询服务响应迅速;同时该方法基于常用GIS软件处理数据,可操作性强,可用于海量多波束测深数据管理。 展开更多

关键词 多波束测深 海量数据处理 晕渲图制作 数字水深模型 WEB服务

下载PDF 职称材料