分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用 被引量：20

1

作者 张雨 蔡鑫 +2 位作者 李爱民 刘翼 姚晓辉 《电信科学》 北大核心 2013年第11期12-16,共5页

通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储... 通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储和处理要求。 展开更多

关键词 分布式文件系统 mpp数据库 混搭架构

下载PDF 职称材料

基于Hadoop和MPP数据库混合架构的大数据集成平台

2

作者 张艳姣 任晓阳 《信息工程大学学报》 2024年第4期435-440,共6页

面对海量离散、多源异构的健康医疗大数据,传统集成平台架构存在处理数据量级小、效率低、灵活性差、对非结构化数据的存储分析困难等问题,构建基于Hadoop和MPP数据库混合架构的健康医疗大数据集成平台。综合运用两种架构的技术优势,利... 面对海量离散、多源异构的健康医疗大数据,传统集成平台架构存在处理数据量级小、效率低、灵活性差、对非结构化数据的存储分析困难等问题,构建基于Hadoop和MPP数据库混合架构的健康医疗大数据集成平台。综合运用两种架构的技术优势,利用MPP关系型架构执行处理结构化数据的复杂查询、多表关联、自助分析等逻辑加工场景,利用Hadoop分布式架构完成大规模非结构化数据的并行计算。该集成平台采用逻辑分层和物理分区的建设策略,实现了健康医疗大数据的集中采集、分类存储、有效整合,保证数据的治理质量和处理效率,为临床和科研工作提供高效的数据支撑平台。 展开更多

关键词 健康医疗大数据 Hadoop架构 mpp数据库 混合架构 集成平台

下载PDF 职称材料

企业轻量化大数据架构研究 被引量：1

3

作者 李军 《科技资讯》 2023年第15期62-65,共4页

对于很多中小型的大数据项目,应用MySQL等关系型数据库无法实现大数据的存储与计算,应用传统Hadoop大数据生态又太重,比较耗费人力、财力、服务器等资源。该文研究企业轻量化大数据架构的一种落地方案,并分析其应用场景。该文研究的轻... 对于很多中小型的大数据项目,应用MySQL等关系型数据库无法实现大数据的存储与计算,应用传统Hadoop大数据生态又太重,比较耗费人力、财力、服务器等资源。该文研究企业轻量化大数据架构的一种落地方案,并分析其应用场景。该文研究的轻量化大数据架主要针对企业应用中绝大多数结构化和半结构化大数据分析,数据量规模在1TB到10PB之间。轻量化架构采用MPP数据库(Doris)作为底层存储和计算引擎,Kafka作为数据接入缓冲通道,开发一体化轻量管理组件实现大数据开发中常用的任务调度、表管理、SQL开发、数据接入等功能。 展开更多

关键词 轻量化大数据架构 mpp数据库 数据任务调度 数据接入

下载PDF 职称材料

银行湖仓一体大数据平台的探索与实践

4

作者 义天鹏 《金融科技时代》 2024年第5期64-71,75,共9页

商业银行数据量爆炸式增长,数据平台在数据存储及处理方面遇到的挑战越来越大,采用何种技术来构建和迭代一直是业界研究的热点。湖仓一体(Lakehouse)作为新一代大数据技术架构,融合了数据湖与数据仓库的优势,形成一体化、开放式数据处... 商业银行数据量爆炸式增长,数据平台在数据存储及处理方面遇到的挑战越来越大,采用何种技术来构建和迭代一直是业界研究的热点。湖仓一体(Lakehouse)作为新一代大数据技术架构,融合了数据湖与数据仓库的优势,形成一体化、开放式数据处理平台的技术,正成为新一代大数据架构的演进方向。广西北部湾银行借鉴互联网企业数据应用的先进理念及优秀实践经验,基于大数据平台、MPP数据库、存算分离、湖仓一体、流批一体、一套数据存储多个计算引擎等先进理念和技术,规划设计了湖仓一体大数据平台,建设数据研发平台及数据服务平台,实现对行内及行外结构化数据、非结构化数据和半结构化数据的集成管理、分析挖掘,缩短数据加工路径,提升数据应用及服务响应效率,全面支撑各类数据应用场景,加速数据价值变现。 展开更多

关键词 商业银行 湖仓一体 流批一体 数据架构 大数据平台 mpp数据库 存算分离

下载PDF 职称材料

基于MPP数据库的多源异构数据分布式集成平台构建

5

作者 张军 冯向科 周剑 《信息产业报道》 2024年第3期182-184,共3页

对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运... 对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运行机制,分四个层次设计了基于 MPP 数据库的多源异构数据分布式集成平台的框架结构,并对数据规划进行了分析。为多源异构数据分布式集成的实践应用提供了方法和思路上的借鉴。 展开更多

关键词 mpp数据库 多源异构数据 分布式

下载PDF 职称材料

MPP数据库在中国移动大数据应用中的前景分析 被引量：3

6

作者 田雯 刘倩 孙红恩 《电信工程技术与标准化》 2017年第3期87-91,共5页

随着云计算、大数据应用的迅猛发展,中国移动IT系统的数据量呈现爆炸式的增长,而传统的以小型机架构为主的数据库系统在存储和分析能力等方面开始出现瓶颈,且造价高昂,因此中国移动对MPP数据库的应用需求量大幅增加。本文通过对MPP数据... 随着云计算、大数据应用的迅猛发展,中国移动IT系统的数据量呈现爆炸式的增长,而传统的以小型机架构为主的数据库系统在存储和分析能力等方面开始出现瓶颈,且造价高昂,因此中国移动对MPP数据库的应用需求量大幅增加。本文通过对MPP数据库在中国移动的现网使用情况、产品技术优劣及适用场景的分析,来探讨MPP数据库在中国移动大数据应用中的发展前景。 展开更多

关键词 大数据技术 mpp数据库 share-nothing架构应用

下载PDF 职称材料

基于列存储的大规模并行数据库应用技术 被引量：4

7

作者 吴齐跃 《中国管理信息化》 2016年第11期177-180,共4页

大数据分析已经成为当前研究和应用的热点问题,针对当前传统数据库技术对大数据进行分析时系统性能严重下降、查询效率受限的问题,综合比较列存储和MPP数据库技术的特点,重点研究了列存储与大规模并行(MPP)数据库的融合,探讨大数据实时... 大数据分析已经成为当前研究和应用的热点问题,针对当前传统数据库技术对大数据进行分析时系统性能严重下降、查询效率受限的问题,综合比较列存储和MPP数据库技术的特点,重点研究了列存储与大规模并行(MPP)数据库的融合,探讨大数据实时分析方案以提高大数据的存储效率和处理性能。 展开更多

关键词 大数据 列存储 mpp数据库

下载PDF 职称材料

MPP数据库非功能测评指标及其效率测试方法 被引量：2

8

作者 郭盈 周润松 《工业技术创新》 2018年第1期30-34,共5页

构建MPP数据库的非功能测评指标体系,探讨其效率测试方法。结合MPP数据库自身特点,将MPP数据库产品的非功能测评指标划分为安全性、兼容性、容错性、可扩展性和效率五个方面。采用TPC-H和TPC-DS基准模型,将效率测试划分为生成数据、生成... 构建MPP数据库的非功能测评指标体系,探讨其效率测试方法。结合MPP数据库自身特点,将MPP数据库产品的非功能测评指标划分为安全性、兼容性、容错性、可扩展性和效率五个方面。采用TPC-H和TPC-DS基准模型,将效率测试划分为生成数据、生成SQL测试语句和结果分析三个阶段。在中国大数据生态产业联盟对国产主流MPP数据库进行测试,表明测评指标和测试方法行之有效。为用户选型和MPP数据库厂商提升产品质量提供了测评依据和测试方法论、实践论。 展开更多

关键词 大数据 mpp数据库 测评指标 效率测试 TPC-H TPC-DS

原文传递

MPP数据库在经营分析系统中的应用探讨 被引量：1

9

作者 王昕 张金刚 《互联网天地》 2016年第3期56-60,共5页

通过对数据仓库现状进行分析,提出在经营分析系统中使用MPP数据库进行海量数据处理的思路,同时对MPP数据库的特点、主流MPP数据库产品以及一种优选的MPP数据库GP进行了重点分析,最后提出了MPP在数据仓库中的应用思路和系统部署建议。研... 通过对数据仓库现状进行分析,提出在经营分析系统中使用MPP数据库进行海量数据处理的思路,同时对MPP数据库的特点、主流MPP数据库产品以及一种优选的MPP数据库GP进行了重点分析,最后提出了MPP在数据仓库中的应用思路和系统部署建议。研究内容对于MPP数据库在业务支撑系统的落地具有一定的实用价值。 展开更多

关键词 mpp数据库 GP数据库 经营分析系统 数据仓库

原文传递

中国移动大数据建设策略研究

10

作者 赵强 刘双 +1 位作者 刘毓江 程红波 《邮电设计技术》 2015年第5期13-17,共5页

随着大数据时代的高速发展,建设面向企业内外部的大数据平台,快速实现数据资产化和决策智能化应用,成为了决定企业核心竞争力的重要因素。通过分析大数据应用现状、运营商发展大数据的优势及主流大数据技术,立足中国移动大数据建设现状... 随着大数据时代的高速发展,建设面向企业内外部的大数据平台,快速实现数据资产化和决策智能化应用,成为了决定企业核心竞争力的重要因素。通过分析大数据应用现状、运营商发展大数据的优势及主流大数据技术,立足中国移动大数据建设现状,深入研究大数据平台建设方案,以期为中国移动大数据平台建设提供参考,提高企业长期发展能力。 展开更多

关键词 大数据 互联网 mpp数据库 HADOOP 数据资产

下载PDF 职称材料

探秘MPP数据库 被引量：1

11

作者 孙淳晔 梁杨 《互联网天地》 2015年第7期73-76,共4页

大数据时代,数据库技术的发展风起云涌,海量管理能力、多类型、变化快、高可用性、低成本、高端可扩展性等需求给企业数据运营战略带来了巨大的挑战,各类新型数据库技术走入人们的视线并得到大规模应用。结合某省运营商经营分析系统研究... 大数据时代,数据库技术的发展风起云涌,海量管理能力、多类型、变化快、高可用性、低成本、高端可扩展性等需求给企业数据运营战略带来了巨大的挑战,各类新型数据库技术走入人们的视线并得到大规模应用。结合某省运营商经营分析系统研究,探秘MPP数据库建设,根据经验提出建设思路,以提供借鉴意义。 展开更多

关键词 大数据 运营 mpp数据库

原文传递

国产化MPP数据库测试指标及测试方法研究 被引量：1

12

作者 付玉涛 杨美钰 《机电产品开发与创新》 2019年第5期61-63,共3页

随着大数据的发展,对数据存储、数据查询响应时间的要求越来越高,MPP数据库(大规模并行处理数据库)成为大数据应用所需产品之一。本文针对MPP数据库提出一套从MPP数据库功能、性能、安全性、高可用性进行客观评价的测评指标及其测试方法... 随着大数据的发展,对数据存储、数据查询响应时间的要求越来越高,MPP数据库(大规模并行处理数据库)成为大数据应用所需产品之一。本文针对MPP数据库提出一套从MPP数据库功能、性能、安全性、高可用性进行客观评价的测评指标及其测试方法,为选用国产MPP数据库提供一套依据,为指导产品的研发和性能的不断改进提供指导意义。 展开更多

关键词 大数据 国产化 mpp数据库 测评指标

下载PDF 职称材料

公安云混搭架构下的数据安全增强技术研究 被引量：1

13

作者 刘冰 《警察技术》 2019年第2期33-36,共4页

主要探讨在公安云(警务云)的MPP数据库与Hadoop系统混搭架构下,MPP数据库和Hadoop系统的相关安全增强关键技术。研究MPP数据库的身份鉴别功能、三权分立功能、强制访问控制功能、安全审计及列存数据的加解密等安全功能,实现在集群环境... 主要探讨在公安云(警务云)的MPP数据库与Hadoop系统混搭架构下,MPP数据库和Hadoop系统的相关安全增强关键技术。研究MPP数据库的身份鉴别功能、三权分立功能、强制访问控制功能、安全审计及列存数据的加解密等安全功能,实现在集群环境中对不同用户访问的资源隔离功能;研究Hadoop系统的用户认证、应用授权、统一安全数据访问接口等安全管理功能。 展开更多

关键词 公安云 mpp数据库 Hadoop信息安全 存储加密

下载PDF 职称材料

自动调优技术在智慧校园数据库的应用与优化 被引量：2

14

作者 田浩 《湖南邮电职业技术学院学报》 2021年第4期26-29,共4页

文章分析了智慧校园数据平台建设过程中应用MPP架构数据库出现的主要问题,然后提出将基于机器学习的数据库自动调优技术OtterTune应用到其中,并针对MPP架构数据库负载刻画不够准确的问题,提出一种新的算法与解决思路,最后对新的算法进... 文章分析了智慧校园数据平台建设过程中应用MPP架构数据库出现的主要问题,然后提出将基于机器学习的数据库自动调优技术OtterTune应用到其中,并针对MPP架构数据库负载刻画不够准确的问题,提出一种新的算法与解决思路,最后对新的算法进行了性能分析,结果显示调优效果提升。 展开更多

关键词 智慧校园 mpp架构数据库 数据库自动调优 自动参数调优 多节点负载刻画

下载PDF 职称材料

中国-东盟海洋环境大数据服务平台设计与实现 被引量：2

15

作者 杨锦坤 宋晓 卢佳唯 《海洋信息》 2018年第2期23-29,共7页

中国-东盟海洋环境大数据信息服务平台是中国-东盟海上合作中心重要的组成部分,利用大数据、云计算、MPP并行数据库等先进技术,开展数据整合处理、数据管理、数据存储云平台等技术研究,建成内容全面、体系完整的中国-东盟海洋环境大数... 中国-东盟海洋环境大数据信息服务平台是中国-东盟海上合作中心重要的组成部分,利用大数据、云计算、MPP并行数据库等先进技术,开展数据整合处理、数据管理、数据存储云平台等技术研究,建成内容全面、体系完整的中国-东盟海洋环境大数据信息服务平台,基于互联网面向东盟地区提供海洋资料的服务共享。该平台实现了数据服务、产品服务、大数据可视化、大数据技术研究、新闻动态等门户系统功能,以及综合信息发布、系统管理等平台管理功能。 展开更多

关键词 中国-东盟 海洋环境数据 mpp并行数据库 共享服务

下载PDF 职称材料