基于NoSQL数据库的大数据查询技术的研究与应用 被引量：28

1

作者 朱建生 汪健雄 张军锋 《中国铁道科学》 EI CAS CSCD 北大核心 2014年第1期135-141,共7页

基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用No... 基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。 展开更多

关键词 NOSQL数据库 Cassandra数据库 大数据处理 反向索引 数据查询

下载PDF 职称材料

系统辨识:新的模式、挑战及机遇 被引量：26

2

作者 王乐一 赵文虓 《自动化学报》 EI CSCD 北大核心 2013年第7期933-942,共10页

钱学森教授曾对"系统"给出一个简明的定义:"系统是指依一定秩序相互联系的一组事物".一般说来,系统辨识可以认为是利用已知先验信息和输入–输出数据来建立系统数学模型的科学.经过半个多世纪的发展,系统辨识已成... 钱学森教授曾对"系统"给出一个简明的定义:"系统是指依一定秩序相互联系的一组事物".一般说来,系统辨识可以认为是利用已知先验信息和输入–输出数据来建立系统数学模型的科学.经过半个多世纪的发展,系统辨识已成为一个定义较为明确、发展相当成熟的研究领域,在思想方法、理论基础、实际应用等诸多方面都有丰富的研究成果.进入新世纪,伴随着科学技术的突飞猛进,新学科、新研究领域不断涌现,给传统的系统辨识带来了新的挑战与机遇.因而,从这个角度说,系统辨识仍是一个年轻的、朝气蓬勃的学科.本文将讨论系统辨识在新机遇下一些具有潜力的重要方向,提出一些值得关注的热点问题,以此为楔入点,抛砖引玉,希望能引发进一步的讨论. 展开更多

关键词 系统辨识 不确定性 信息 复杂性 网络系统 大数据处理 辨识与决策的结合

下载PDF 职称材料

电网调控运行大数据存储与处理技术研究与应用分析 被引量：19

3

作者 殷少奇 《陕西电力》 2016年第11期47-50,共4页

针对电网调控运行不同业务领域的数据对实时性的不同要求,提出了一种分类存储与处理技术框架,即将数据按实时性要求的不同进行分类存储,将处理过程分为存储系统内外2种模式,运用流处理技术、批处理技术等方法,将较为隐含的数据关系变为... 针对电网调控运行不同业务领域的数据对实时性的不同要求,提出了一种分类存储与处理技术框架,即将数据按实时性要求的不同进行分类存储,将处理过程分为存储系统内外2种模式,运用流处理技术、批处理技术等方法,将较为隐含的数据关系变为相对直接的关联,在提升数据处理速度的同时大幅提高分析结果的准确度。通过电网状态智能监控、电力系统安全智能预警、广域源荷互动的优化调度等方面的应用分析表明了该技术框架的可行性。 展开更多

关键词 电网调控运行 大数据 实时性 存储与处理

下载PDF 职称材料

基于云计算技术的大数据处理系统的研究 被引量：18

4

作者 李晓飞 《长春工程学院学报（自然科学版）》 2014年第1期116-118,125,共4页

将融合思想应用于大数据处理系统中来改善单一问题,对基于云计算技术的大数据处理系统进行了研究,重点研究了多种因素交织下的网络数据处理模型对大数据处理中的影响,并提出了一种基于混合架构、融合处理、分散处理的云环境下大数据处... 将融合思想应用于大数据处理系统中来改善单一问题,对基于云计算技术的大数据处理系统进行了研究,重点研究了多种因素交织下的网络数据处理模型对大数据处理中的影响,并提出了一种基于混合架构、融合处理、分散处理的云环境下大数据处理的系统部署策略。此研究可用于下一代云平台处理系统中,能够为未来云平台处理技术提供一种可供选择的解决方案。 展开更多

关键词 融合思想 云计算 大数据处理 部署策略 融合处理

下载PDF 职称材料

分析大数据时代计算机信息处理技术 被引量：11

5

作者 于沙 《电子测试》 2015年第6X期20-21 8,8,共3页

科技革命发展至今,极大的改变了世界的模样,也使人们的生活方式发生了根本性的变化,电子计算机的普及与应用技术的不断完善,互联网应用技术的高速发展以及电子信息技术的不断进步,共同在人们的生活的各个领域中发挥着巨大的作用,基于这... 科技革命发展至今,极大的改变了世界的模样,也使人们的生活方式发生了根本性的变化,电子计算机的普及与应用技术的不断完善,互联网应用技术的高速发展以及电子信息技术的不断进步,共同在人们的生活的各个领域中发挥着巨大的作用,基于这样的强大推动力,大数据时代已然来临。本文我们将以大数据时代作为背景,对大数据时代下的计算机信息处理技术进行探讨与分析。 展开更多

关键词 大数据 计算机 信息处理

下载PDF 职称材料

基于Hive的水利普查数据仓库 被引量：9

6

作者 陈龙 万定生 顾昕辰 《计算机与现代化》 2014年第5期127-130,共4页

针对水利普查数据海量、多维的特点,研究近年来在"大数据"概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设... 针对水利普查数据海量、多维的特点,研究近年来在"大数据"概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。 展开更多

关键词 数据仓库 水利普查 模型优化 大规模数据处理

下载PDF 职称材料

面向大规模数据集的并行化Top-k Skyline查询算法 被引量：7

7

作者 杨林青 李湛 +4 位作者 牟雁超 樊里略 李红燕 王腾蛟 雷凯 《计算机科学与探索》 CSCD 北大核心 2015年第8期897-905,共9页

随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k... 随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k Skyline查询在面对大规模数据集时效率较低,并不适用于大规模数据集。为了解决这个问题,将Top-k Skyline查询与并行化处理相结合,提出了一种面向大规模数据集的并行化Top-k Skyline查询算法PTKS(parallel Top-k Skyline),通过充分利用分布式资源,将原有查询进行有效的并行化处理,同时设计了基于用户偏好的用于缩减结果数据量的筛选规则,满足用户需求。在真实数据集上进行了相关实验,并与现有方法进行了对比,结果表明PTKS在大规模数据集上的查询效率更具有优势,能很好地适用于大规模数据集。 展开更多

关键词 大规模数据集 Top—k SKYLINE 代表性信息 并行化处理 筛选规则

下载PDF 职称材料

基于LiDAR点云的等高线批量自动提取 被引量：6

8

作者 杨颖 魏国忠 鲁一慧 《测绘与空间地理信息》 2015年第11期167-169,共3页

等高线是地图上最广泛的地貌表示方法之一,目前,生产实际中,大范围区域的等高线通常使用传统的航测内业方法获得,即经过空三加密后在立体采集设备上采集,不仅费时费力,还要受到天气等多种因素的影响。利用Li DAR技术进行等高线提取,能... 等高线是地图上最广泛的地貌表示方法之一,目前,生产实际中,大范围区域的等高线通常使用传统的航测内业方法获得,即经过空三加密后在立体采集设备上采集,不仅费时费力,还要受到天气等多种因素的影响。利用Li DAR技术进行等高线提取,能大幅度提高航测成图作业的生产效率,减少生产环节,缩短生产周期,本文在EPS软件的基础上,对基于Li DAR数据的等高线提取方法进行了改进,并针对大数据量批量处理研究,实验结果证明,使用本文的方法进行大范围等高线自动提取,在保证精度质量的前提下大幅度提高了等高线制作的效率。 展开更多

关键词 LIDAR点云 等高线提取 大数据量 批量处理

下载PDF 职称材料

基于数据可视化Web管理平台功能实现 被引量：1

9

作者 彭仕飞 李百平 +2 位作者 朱晓万 江安平 甘俊 《云南水力发电》 2023年第6期105-107,共3页

介绍了金中集控水调自动化系统数据可视化Web管理平台功能实现,从整体开发思路以及各功能模块的实现,关键技术的应用,阐述了基于Web的信息发布技术在金中水调自动化系统中的应用。该功能的实现提高了水调自动化系统的可靠性、安全性和... 介绍了金中集控水调自动化系统数据可视化Web管理平台功能实现,从整体开发思路以及各功能模块的实现,关键技术的应用,阐述了基于Web的信息发布技术在金中水调自动化系统中的应用。该功能的实现提高了水调自动化系统的可靠性、安全性和友好性,经现场实践证明,该功能设计合理,适应金中集控调控的梨园、阿海、鲁地拉水电站“无人值班、少人值守”工作模式。 展开更多

关键词 WEB功能 大数据处理 实时数据监视 可视化组态编辑 二次开发

下载PDF 职称材料

基于无共享架构的海量感知数据实时处理系统 被引量：5

10

作者 赵卓峰 魏文飞 马强 《微电子学与计算机》 CSCD 北大核心 2012年第9期9-14,共6页

为了满足具有海量性、连续性及不确定性的感知数据实时处理需求,采用云计算典型的分布式无共享集群架构,文中提出一种并行化的海量感知数据实时处理模型,并给出了相应的编程接口.在此基础上设计了一种去中心化的分布式感知数据实时处理... 为了满足具有海量性、连续性及不确定性的感知数据实时处理需求,采用云计算典型的分布式无共享集群架构,文中提出一种并行化的海量感知数据实时处理模型,并给出了相应的编程接口.在此基础上设计了一种去中心化的分布式感知数据实时处理系统架构以及基于ZooKeeper的集群伸缩管理方案,从而保证了感知数据处理系统的实时性及扩展性.通过一个结合城市车辆监管实际应用的实验,验证了该系统在负载均衡的情况下,其处理性能够随着计算节点的增加而接近线性增长. 展开更多

关键词 感知数据 实时处理 云计算 智能交通

下载PDF 职称材料

VC多线程流水线在数据存储系统中的设计与实现 被引量：4

11

作者 胡晓峰 张亮红 +1 位作者 刘文怡 王红亮 《电子器件》 CAS 北大核心 2016年第4期964-967,共4页

在航天测试领域,为分析测试系统的状态和变化情况,经常需要采集、处理并存储状态数据。针对状态数据量大、分析处理复杂、存储速度慢等问题,基于Visual C++编程,采用多线程、流水线、分块存取的方式,设计数据存储系统软件,实现快速循环... 在航天测试领域,为分析测试系统的状态和变化情况,经常需要采集、处理并存储状态数据。针对状态数据量大、分析处理复杂、存储速度慢等问题,基于Visual C++编程,采用多线程、流水线、分块存取的方式,设计数据存储系统软件,实现快速循环读取数据、实时处理显示数据,并保存数据至文件,该实现方法避免了数据的丢失、程序的阻塞,并对数据进行实时、直观地分析处理。经测试,系统读取数据、处理数据以及存储数据的整体速度达400 Mbyte/s以上。 展开更多

关键词 大数据 多线程 流水线 实时处理

下载PDF 职称材料

大数据处理方法在水利工程地质中的应用 被引量：4

12

作者 龙美林 《江西水利科技》 2017年第6期409-411,共3页

在数字化技术的基础上,通过对工程地质数据进行存储、组织、管理、处理等过程,可以对工程场区的地质问题或灾害进行灾害风险性综合分析与评价,为水利工程建设的灾害防治或避险提供数据与技术支撑.本文对大数据处理方法在水利工程地质中... 在数字化技术的基础上,通过对工程地质数据进行存储、组织、管理、处理等过程,可以对工程场区的地质问题或灾害进行灾害风险性综合分析与评价,为水利工程建设的灾害防治或避险提供数据与技术支撑.本文对大数据处理方法在水利工程地质中的具体应用进行探讨研究,对水利工程防灾减灾具有重要意义. 展开更多

关键词 工程地质 大数据处理 水利工程

下载PDF 职称材料

大数据处理技术在妇产科医院信息化建设的应用 被引量：3

13

作者 张慧妍 《信息与电脑》 2018年第21期179-180,共2页

笔者为了提高妇产科医院的信息化建设水平以及对海量的历史诊疗数据进行利用的效率,对大数据处理技术在妇产科医院信息化建设的应用进行了深入研究。以某二级妇产科医院为例进行研究,首先对大数据处理技术在妇产科医院信息化建设中的作... 笔者为了提高妇产科医院的信息化建设水平以及对海量的历史诊疗数据进行利用的效率,对大数据处理技术在妇产科医院信息化建设的应用进行了深入研究。以某二级妇产科医院为例进行研究,首先对大数据处理技术在妇产科医院信息化建设中的作用进行了深入分析,然后对大数据处理技术在构建妇产科诊疗搜索引擎、妇产科临床诊疗决策系统、妇产科患者健康指标评价系统等方面的具体应用进行了研究分析,希望能为妇产科医院的信息化建设提供一定的参考。 展开更多

关键词 大数据处理技术 妇产科医院 信息化建设

下载PDF 职称材料

基于ERDAS LPS的大数据量航摄遥感影像DOM制作 被引量：3

14

作者 王海明 张荣春 陆凤 《现代测绘》 2018年第4期29-31,共3页

数字正射影像图DOM(Digital Orthophoto Map)是对航空(或航天)相片进行数字微分纠正和镶嵌,按一定图幅范围裁剪生成的数字正射影像集。它是同时具有地图几何精度和影像特征的图像。基于ERDAS LPS处理了某水电站测区大数据量航摄遥感影... 数字正射影像图DOM(Digital Orthophoto Map)是对航空(或航天)相片进行数字微分纠正和镶嵌,按一定图幅范围裁剪生成的数字正射影像集。它是同时具有地图几何精度和影像特征的图像。基于ERDAS LPS处理了某水电站测区大数据量航摄遥感影像并制作了DOM。ERDAS LPS是美国ERDAS公司开发的数字摄影测量系统,LPS核心模块涵盖了正射影像制图和镶嵌所需的全部功能。结合某水电站的大数据量、高分辨率航摄影像资料,介绍了应用LPS制作正射影像的处理流程并进行了分析,指出了制作过程中的注意事项,以期对航摄遥感影像DOM的制作和ERDAS LPS软件的使用提供一定借鉴。 展开更多

关键词 数字摄影测量系统 大数据量 数字正射影像 图像处理

下载PDF 职称材料

大数据时代的计算机信息处理技术探讨 被引量：3

15

作者 武海舰 《信息与电脑》 2017年第23期153-154,共2页

信息技术的不断发展,将人们带入了大数据的时代。大数据技术因其出色的数据收集和处理能力,给个人和社会都带来了剧烈的影响,其中有积极的一面,也有消极的一面。笔者从大数据技术出发,对计算机信息处理技术进行了分析,并从正反两个方面... 信息技术的不断发展,将人们带入了大数据的时代。大数据技术因其出色的数据收集和处理能力,给个人和社会都带来了剧烈的影响,其中有积极的一面,也有消极的一面。笔者从大数据技术出发,对计算机信息处理技术进行了分析,并从正反两个方面分析了在大数据时代,计算机信息处理技术的发展给人类社会带来的机遇和挑战。 展开更多

关键词 大数据时代 计算机 信息处理技术

下载PDF 职称材料

基于CRIO平台的车载刹车测试分析系统研发 被引量：3

16

作者 潘楠 《仪器仪表学报》 EI CAS CSCD 北大核心 2013年第S1期113-120,共8页

针对汽车刹车性能的检测是机动车安全技术检验的重要内容之一,刹车性能的好坏将直接关系到行车安全性和交通运输效率。目前市场上在售的刹车测试系统常以软硬件固化的方式由仪器供应商提供,其系统多具有设计复杂、灵活性差、易受环境影... 针对汽车刹车性能的检测是机动车安全技术检验的重要内容之一,刹车性能的好坏将直接关系到行车安全性和交通运输效率。目前市场上在售的刹车测试系统常以软硬件固化的方式由仪器供应商提供,其系统多具有设计复杂、灵活性差、易受环境影响且无法进行专业分析等缺点。基于NI-CRIO硬件平台和LabVIEW开发工具,通过集成多类型传感器、自定义辅助功能开发一套可靠性较高的便携式车载测试系统。该系统通过对采集信号进行分析处理,从而准确迅速地判断汽车刹车系统的实际工作情况。最终通过实际路试验证了该系统的有效性和可靠性。 展开更多

关键词 刹车制动 车载测试 大数据处理 时频分析

下载PDF 职称材料

一种基于指令域示波器的数控加工工艺参数优化方法 被引量：2

17

作者 周浩 向华 +1 位作者 周会成 陈国华 《机床与液压》 北大核心 2018年第15期124-129,共6页

针对当前国内外数控加工工艺参数优化只能离线操作的问题,进行了基于华中数控8型高档数控系统二次开发,完成了一套实时采集的指令域示波器模块,实现机床数据挖掘、分析、工艺参数优化等功能与数控系统的集成,完成机床加工状态心电图实... 针对当前国内外数控加工工艺参数优化只能离线操作的问题,进行了基于华中数控8型高档数控系统二次开发,完成了一套实时采集的指令域示波器模块,实现机床数据挖掘、分析、工艺参数优化等功能与数控系统的集成,完成机床加工状态心电图实时监测。通过指令域分析加工负载电流优化进给速率,可以大大提高加工效率。该方法操作方便,已经在航空航天复杂零件加工等领域得到了验证应用,加工效率提高了30%~40%。 展开更多

关键词 数控加工 指令域工艺参数优化 数据挖掘 加工心电图

下载PDF 职称材料

大数据管理分析中的分类法 被引量：1

18

作者 王玥 《信息与电脑》 2017年第12期132-133,共2页

在这个大数据时代,管理庞大的数据量已成了一个巨大的挑战。最近大数据技术和管理技术的进步使许多企业能够有效处理大数据。然而,这些技术尚未得到详细研究,对这一领域的综合调查仍然缺乏。笔者旨在通过设计分类法来分析大数据存储、... 在这个大数据时代,管理庞大的数据量已成了一个巨大的挑战。最近大数据技术和管理技术的进步使许多企业能够有效处理大数据。然而,这些技术尚未得到详细研究,对这一领域的综合调查仍然缺乏。笔者旨在通过设计分类法来分析大数据存储、预处理、处理和安全性等问题,此外,提出几个未来的研究方向。 展开更多

关键词 大数据管理 大数据处理 分类法

下载PDF 职称材料

有效大数据信息处理与过滤 被引量：1

19

作者 谢烨 陈熙哲 丁宇 《现代信息科技》 2017年第5期117-118,共2页

通过大量的实践可以发现,对大数据信息进行过滤的传统方法,由于没有对提取大数据特征具有的意义引起重视,去噪处理及过滤效果均会对仿真结果产生影响,因此,过滤性能差、精度低等问题始终存在。本文针对这一情况,提出了以支持向量机为基... 通过大量的实践可以发现,对大数据信息进行过滤的传统方法,由于没有对提取大数据特征具有的意义引起重视,去噪处理及过滤效果均会对仿真结果产生影响,因此,过滤性能差、精度低等问题始终存在。本文针对这一情况,提出了以支持向量机为基础的SVM算法,首先所明确对数据挖掘算法进行创新的理念,然后又对创新数据挖掘算法需要应用到的技术加以描述,最后通过理论与实际相结合的方法,对仿真实验的结果进行了分析,供相关人员参考。 展开更多

关键词 有效大数据 信息处理 数据过滤

下载PDF 职称材料

基于GPS技术的动态路由算法在物流配送系统中的应用 被引量：1

20

作者 包友军 朱唯 《科教导刊》 2013年第19期182-183,共2页

本文通过对传统物流配额送算法和因特网中的动态路由算法的研究,提出了基于GPS技术的动态路由算法,研发基于可视化的实时交通信息数据挖掘分析算法,最终计算出可以代表整个路况的权值,即时间最短权值,为每个站点的路由表更新提供动态的... 本文通过对传统物流配额送算法和因特网中的动态路由算法的研究,提出了基于GPS技术的动态路由算法,研发基于可视化的实时交通信息数据挖掘分析算法,最终计算出可以代表整个路况的权值,即时间最短权值,为每个站点的路由表更新提供动态的权值数据。从而确保路由表的路径为时间权值最小,最终确保整个物流配送时间最短,达到高效、合理、畅通的物流配送要求。 展开更多

关键词 动态路由 GPS交通分析系统 大数据处理 物流配送

下载PDF 职称材料