-
题名大数据环境下Hadoop分布式系统的研究与设计
被引量：10
- 1
-
-
作者
廖锋
成静静
-
机构
中国移动通信集团广东有限公司
广东省电信规划设计院
-
出处
《广东通信技术》
2013年第10期22-27,共6页
-
文摘
随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前大数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。
-
关键词
大数据
高并发
高存储
高扩展性和可用性
mpp架构
NOSQL数据库
Hadoop分布式系统分布式文件系统(HDFS)
并行数据处理模型(MapReduce)
分布式数据库(HBase
BigTable)
分布式锁服务(ZooKeeper
Chubby)
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名国家应急测绘调度系统设计
被引量：8
- 2
-
-
作者
刘磊
刘津
翟永
邢绪超
-
机构
国家基础地理信息中心
-
出处
《测绘通报》
CSCD
北大核心
2019年第9期135-138,146,共5页
-
基金
国家重点研发计划(2018YFC0807005)
-
文摘
通过分析应急测绘指挥调度的基本特点与实际需求,结合国家应急标准规范,采用基于多通道多协议的数据通信与传输技术、基于MPP架构的分布式数据库管理技术、基于UML模型化的任务规划技术,根据无人机、多功能方舱等应急装备实时回传的位置、状态和应急测绘地理信息,以及快速处理与共享系统等产生的数据成果与作业信息,设计完成了具有应急调度方案制定、指令快速下达、测绘装备动态调度与实时跟踪、测绘任务进度监控及应急任务演练等功能的应急测绘调度系统。
-
关键词
应急测绘
指挥调度
无人机
多功能方舱
数据通信
UML模型
mpp架构
-
Keywords
emergency surveying and mapping
command and dispatch
unmanned aerial vehicle
multifunctional shelter
datacommunication
UML model
mpp architecture
-
分类号
P208
[天文地球—地图制图学与地理信息工程]
-
-
题名基于Kudu的结构化数据存储分析方案设计
被引量：2
- 3
-
-
作者
鲍远松
-
机构
上海宝信软件股份有限公司
-
出处
《信息技术与标准化》
2017年第10期60-63,共4页
-
基金
上海市青年科技启明星计划"工业大数据平台的存储和计算关键技术研究"项目
项目编号:17QB1400500
-
文摘
由于受制于传统的数据仓库存储架构设计,传统结构化数据不仅时效性不高,扩展性和性能均难以优化。基于Kudu设计了结构化数据接入、存储和分析的完整存储分析方案,可有效解决结构化数据的实时高性、能存储分析问题。
-
关键词
Kudu
存储过程
数据仓库
mpp架构
-
Keywords
Kudu
storage procedure
data warehouse
mpp architecture
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名自动调优技术在智慧校园数据库的应用与优化
被引量：2
- 4
-
-
作者
田浩
-
机构
辽宁金融职业学院
-
出处
《湖南邮电职业技术学院学报》
2021年第4期26-29,共4页
-
基金
辽宁金融职业学院2021年度校级课题“基于大数据技术的决策型智慧校园的设计研究”(课题编号:LJXJ202101)。
-
文摘
文章分析了智慧校园数据平台建设过程中应用MPP架构数据库出现的主要问题,然后提出将基于机器学习的数据库自动调优技术OtterTune应用到其中,并针对MPP架构数据库负载刻画不够准确的问题,提出一种新的算法与解决思路,最后对新的算法进行了性能分析,结果显示调优效果提升。
-
关键词
智慧校园
mpp架构数据库
数据库自动调优
自动参数调优
多节点负载刻画
-
Keywords
smart campus
mpp database
automatic database tuning
automatic parameter tuning
multi-node load characterization
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
