-
题名基于逆向运算法的海量大数据安全存储方法
- 1
-
-
作者
王卓瑜
王磊
陆婷
苏亮
孙婷
-
机构
国网新源控股有限公司
华东宜兴抽水蓄能有限公司
北京中电飞华通信有限公司
-
出处
《兵工自动化》
北大核心
2024年第7期23-26,共4页
-
文摘
为解决传统大数据安全存储方法存在的加解密时间长与存储速率低的问题,提出一种基于逆向运算法的海量大数据安全存储方法。通过AES算法中查询表模块、密匙扩展模块及加解密模块的功能设计实现大数据的加密处理;设计一种用于存储加密数据的海量大数据分层存储模型,在加密数据的读取中,通过逆向运算法恢复数据,实现海量大数据的安全存储;搭建Hadoop集群测试环境测试设计方法的加密性能与存储性能。测试结果表明:该方法的加密与解密时间均低于20 s,影像数据存储速度高于580 MB/s,语音数据存储速度高于916 MB/s,能有效缩短大数据存储的加解密时间,提高多类资源的存储速度。
-
关键词
逆向运算法
分布式传感器
海量大数据
安全存储
Rabin指纹算法
-
Keywords
reverse operation method
distributed sensors
massive big data
safe storage
Rabin fingerprint algorithm
-
分类号
TP309.2
[自动化与计算机技术—计算机系统结构]
-
-
题名海量大数据定向采样有差别挖掘算法仿真
- 2
-
-
作者
宁滔
-
机构
桂林电子科技大学计算机工程学院
-
出处
《现代电子技术》
北大核心
2024年第9期164-168,共5页
-
基金
(2021—2024)广西职业教育教学改革重点项目(GXGZJG2021A035)。
-
文摘
在大数据中,不同类别之间可能存在数据分布不均衡的情况,即某些类别的数据样本数量远远少于其他类别。这种情况下,传统的采样方法无法正确反映所有类别的特征和差异。为提升大数据信息的应用性,文中研究海量大数据定向采样有差别挖掘算法。以网站统一资源定位器(URL)初始化为基础,在网络上抓取网页,采集网页的超文本标记语言(HTML)数据,提取定向数据的相关链接,并将其导入URL队列。根据网络搜索策略,实施相关的数据搜索和处理。完成数据搜索后,将自动进行下一网页的URL,继续进行海量大数据定向采样。结合模糊特征匹配与检测滤波方法实现大数据定向采样过程中的抗干扰处理。采用粗糙集算法实施挖掘,利用扩展差别矩阵对大数据决策表内的值实施约简,实现海量大数据的模式分类。实验结果显示,该算法数据采集过程中的丢包率基本控制在0.2%以下,具有较高的鲁棒性。
-
关键词
海量大数据
网页抓取
定向采样
滤波处理
去冗余
粗糙集
扩展差别矩阵
决策规则
-
Keywords
massive big data
web page crawling
directional sampling
filtering processing
redundancy removal
rough set
extended difference matrix
decision rule
-
分类号
TN919-34
[电子电信—通信与信息系统]
TP311
[电子电信—信息与通信工程]
-
-
题名基于云计算的海量大数据存储系统设计和实现
被引量：1
- 3
-
-
作者
孙惠芬
-
机构
江苏联合职业技术学院镇江分院
-
出处
《信息与电脑》
2022年第23期147-149,共3页
-
文摘
云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。
-
关键词
云计算技术
海量大数据
存储系统
Hadoop技术
云存储
-
Keywords
cloud computing technology
massive big data
storage system
Hadoop technology
cloud storage
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于云环境下的海量大数据存储系统的设计
被引量：1
- 4
-
-
作者
裴衣非
王艳艳
李海荣
-
机构
内蒙古科技大学工程训练中心
-
出处
《电子测试》
2018年第19期54-55,共2页
-
基金
内蒙古科技大学重点教改项目资助(JY2016003)
-
文摘
利用云存储项目建立有效的数据存储解决方案具有非常重要的意义和价值。从搭建平台、设计流程以及负载模块处理三方面对云环境下海量大数据存储系统展开了深度分析和研究。
-
关键词
云环境
海量大数据
存储系统
设计
-
Keywords
the cloud environment
massive big data
storage systems
design
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
-
题名海量稀疏大数据混合特征个性化推荐算法仿真
- 5
-
-
作者
赵营颖
曹莉
-
机构
河南中医药大学信息技术学院
-
出处
《计算机仿真》
北大核心
2023年第12期563-567,共5页
-
基金
2023年度河南省高校人文社会科学研究一般项目(2023-ZZJH-092)
河南中医药大学2021年教育教学改革研究与实践立项项目(2021JX96)。
-
文摘
在大规模集群稀疏数据中使用混合特征技术处理海量大数据,可以显著优化推荐算法的可扩展性。于是设计了量稀疏大数据混合特征个性化推荐算法。利用逻辑运算方法处理稀疏数据,获取数据之间的关联性系,并及时填补缺失数据。针对大数据具有的数值和属性两种混合特征,通过计算相异性测度,建立混合特征聚类目标函数,实现数据聚类。基于聚类结果,从登陆、注册、检索浏览习惯等方面采集用户行为特征信息。采用显著数据分区检测方法融合用户信息,建立用户偏好挖掘模型,以行为偏好为基础,计算用户对内容的评分情况,将所有项目按照评分值排序,生成推荐列表。仿真结果表明,研究方法的同类大数据聚类准确度更高,平均绝对误差低于0.04,验证了上述方法的推荐结果可满足用户需求。
-
关键词
海量稀疏大数据
混合特征
个性化推荐
特征聚类
行为偏好
-
Keywords
massive sparse big data
Mixed characteristics
Personalized recommendation
Feature clustering
Behavior preference
-
分类号
TP325
[自动化与计算机技术—计算机系统结构]
-
