基于Web网络大数据分类系统的设计与实现 被引量：9

1

作者 范敏 刘军 《电子设计工程》 2018年第8期106-109,共4页

在Web网络中的数据信息量十分复杂,传统的计算机系统只是采用软件或者计算机的硬件设施来对Web网络中的复杂信息数据进行分类,那么在这一过程中所需要耗费的时间过多,浪费的计算机资源也过多,对复杂的信息网络数据处理较为困难,计算机... 在Web网络中的数据信息量十分复杂,传统的计算机系统只是采用软件或者计算机的硬件设施来对Web网络中的复杂信息数据进行分类,那么在这一过程中所需要耗费的时间过多,浪费的计算机资源也过多,对复杂的信息网络数据处理较为困难,计算机的配置也需要更高要求,因此不能及时的满足对数据进行及时处理的要求。基于对Web网络大数据进行分类,从而采用了新型的软件硬件结合的处理方式对数据进行分类,通过对Web网络中的大数据分类系统进行设计,分析了其中的结构以及相关内容,从而表明了所采用的设计系统对Web网络大数据进行详细的分析,在此过程中不仅节约了分析的时间,更使得分析数据更加精准,相比之下此种系统具备了更加优质的分类性能。 展开更多

关键词 WEB网络 大数据分类 系统设计 实现

下载PDF 职称材料

基于概率统计的大数据分类方法 被引量：7

2

作者 杨晓波 《内蒙古师范大学学报（自然科学汉文版）》 CAS 北大核心 2017年第2期174-177,共4页

提出一种基于概率统计的大数据分类优化方法.首先构建大数据分类的二项-泊松模型,在无穷维向量空间对分类目标函数进行概率密度估计,在数据聚类中心的几何邻域构建置信区间,采用置信度特征求解大数据分类的二项-泊松微分方程,然后以方... 提出一种基于概率统计的大数据分类优化方法.首先构建大数据分类的二项-泊松模型,在无穷维向量空间对分类目标函数进行概率密度估计,在数据聚类中心的几何邻域构建置信区间,采用置信度特征求解大数据分类的二项-泊松微分方程,然后以方程的稳定解作为聚类中心特征值,在Bernoulli空间通过概率统计实现对大数据的准确分类. 展开更多

关键词 大数据分类 概率统计 泛函 微分方程

下载PDF 职称材料

基于大数据模型的电网风电场群总功率预测 被引量：4

3

作者 魏梦飒 陆增洁 +1 位作者 徐建清 李强 《电子设计工程》 2019年第23期64-67,72,共5页

为有效掌握电网风电场群的泛化能力,实现高精度、高效率的电网输配电,设计基于大数据模型的电网风电场群总功率预测模型。利用大数据建模条件,对电网风电场群的波动效果进行分类,并建立具有普遍性的一般波动属性条件,完成基于大数据模... 为有效掌握电网风电场群的泛化能力,实现高精度、高效率的电网输配电,设计基于大数据模型的电网风电场群总功率预测模型。利用大数据建模条件,对电网风电场群的波动效果进行分类,并建立具有普遍性的一般波动属性条件,完成基于大数据模型的电网风电场群波动特性分析。利用上述分析结果,搭建标准的神经预测网络,并对风电场群总功率的汇聚层级别进行划分,再整合所有理论依据对预测规律进行总结,完成新型理论模型搭建,实现基于大数据模型的电网风电场群总功率预测。对比实验结果表明,与传统模型相比,应用新型总功率预测模型后,电网配电精度的平均值达到55%以上,单向输电效率最大值接近97%,电网风电场群的泛化能力得到良好控制。 展开更多

关键词 大数据模型 电网风电场 功率预测 波动分类 属性条件 神经网络 汇聚层级 预测规律

下载PDF 职称材料

基于非平稳割点的大数据分类样例选择 被引量：3

4

作者 王熙照 邢胜 赵士欣 《模式识别与人工智能》 EI CSCD 北大核心 2016年第9期780-789,共10页

针对传统样例选择方法压缩大数据集时,存在计算复杂度较高、时间消耗较大的问题,文中提出基于非平稳割点的样例选择方法.依据在区间端点得到凸函数的极值这一基本性质,通过标记非平衡割点度量一个样例为端点的程度,然后选取端点程度较... 针对传统样例选择方法压缩大数据集时,存在计算复杂度较高、时间消耗较大的问题,文中提出基于非平稳割点的样例选择方法.依据在区间端点得到凸函数的极值这一基本性质,通过标记非平衡割点度量一个样例为端点的程度,然后选取端点程度较高的样例,从而避免样例之间距离的计算.该方法旨在不影响分类精度的前提下,达到压缩数据集、提高计算效率的目的.实验表明,文中方法对于类别不平衡度较高的数据集压缩效果明显,同时表现出较强的抗噪性. 展开更多

关键词 大数据分类 样例选择 非平稳割点 决策树

下载PDF 职称材料

一种变基宽径向基神经网络的大数据集分类方法 被引量：2

5

作者 王兵 《微电子学与计算机》 CSCD 北大核心 2015年第6期112-115,共4页

为了提高径向基神经网络模型的分类精度和缩短收敛时间,提出了一种变基宽神经网络模型的构建算法,这种方法是在减聚类算法和K-means算法确定聚类中心的基础上,选择样本与聚类中心距离的最大值作为σ,基宽σ的值随着聚类中心的优化而不... 为了提高径向基神经网络模型的分类精度和缩短收敛时间,提出了一种变基宽神经网络模型的构建算法,这种方法是在减聚类算法和K-means算法确定聚类中心的基础上,选择样本与聚类中心距离的最大值作为σ,基宽σ的值随着聚类中心的优化而不断自适应地更新.采用该方法同多支持向量机的RBF模型聚类算法以及高斯函数RBF神经网络模型中定基宽算法对乳腺癌(breast cancer)、葡萄酒(wine)、元音(vowel)三个大数据集分类,从分类准确度和收敛时间两方面作对比.实验结果表明,该方法能提高大数据样本集的分类精度和收敛速度. 展开更多

关键词 变基宽 径向基神经网络 大数据集 分类

下载PDF 职称材料

基于Hadoop的网站入侵检测与分析系统设计 被引量：2

6

作者 张晓明 王玉鑫 +2 位作者 王广 张戈彤 武瑞江 《实验室研究与探索》 CAS 北大核心 2016年第4期125-128,143,共5页

基于大规模数据的入侵检测分析具有重要的研究意义和实用性。针对现有系统的仿真和离线分析不足,设计和实现一套真实的网站入侵检测综合分析系统,能够将入侵检测系统和大数据分析系统结合起来。通过网络构建和软件设计,可以完成真实网... 基于大规模数据的入侵检测分析具有重要的研究意义和实用性。针对现有系统的仿真和离线分析不足,设计和实现一套真实的网站入侵检测综合分析系统,能够将入侵检测系统和大数据分析系统结合起来。通过网络构建和软件设计,可以完成真实网站的入侵检测、数据存储、数据清洗和数据挖掘等功能。通过定时和主动两种方式,系统将入侵检测数据传输到数据库中,然后导入到Hadoop系统中。设计了人机交互软件,能够完成Hadoop系统和Mahout技术的大数据分析。实验结果表明,该系统能够快速完成随机森林模型的构建和测试,获得了满意的检测效果。 展开更多

关键词 入侵检测 HADOOP 大数据 Mahout 分类 随机森林

下载PDF 职称材料

一种面对大数据集的改进基于支持向量机的算法性能分析 被引量：2

7

作者 江志晃 《自动化技术与应用》 2020年第2期27-29,44,共4页

为了提高面对大规模数据集时,支持向量机模型的运算效率,本文构建的新模型SSVM-FCM算法。该算法精度可以达到95%以上,并且不会受到子簇数量的影响。本算法可以达到较高分类精度与良好的鲁棒性,引入吸收规则后还可以获得更高的计算精度。

关键词 支持向量机 大数据集 效率 分类精度

下载PDF 职称材料

基于概率数学模型的大数据分类研究 被引量：1

8

作者 陈丽 《内蒙古师范大学学报（自然科学汉文版）》 CAS 北大核心 2016年第6期765-768,共4页

提出一种基于概率数学模型的大数据分类方法.首先采用非线性双曲微分方程构建数据统计分析模型,给出数据分类的稳定凸函数,并采用最佳有理逼近方法构建检验统计量,得到数据分类的概率分布密度函数;然后采用Sigma检验得到数据分类的判据... 提出一种基于概率数学模型的大数据分类方法.首先采用非线性双曲微分方程构建数据统计分析模型,给出数据分类的稳定凸函数,并采用最佳有理逼近方法构建检验统计量,得到数据分类的概率分布密度函数;然后采用Sigma检验得到数据分类的判据和概率分析置信区间与拒绝区间,证明数学模型的稳定性和渐进收敛性;最后通过仿真实验进行数据分析,结果表明,该模型的数据分类准确率高,平均误分率低,收敛性好. 展开更多

关键词 大数据分类 概率数学模型 Sigma检验 收敛性 置信区间

下载PDF 职称材料

基于微分方程的环保大数据分类技术研究 被引量：1

9

作者 殷珊 《环境科学与管理》 CAS 2018年第6期122-125,共4页

环保工程需要引用大量数据,将其进行有效分类对环保工程的推进有重要意义,传统方法借助线性方程分类环保数据,分类过程繁琐,工作效率低,准确性不佳。为解决此问题,基于微分方程的角度研究了环保大数据分类技术,建立分类模型,阐述模型工... 环保工程需要引用大量数据,将其进行有效分类对环保工程的推进有重要意义,传统方法借助线性方程分类环保数据,分类过程繁琐,工作效率低,准确性不佳。为解决此问题,基于微分方程的角度研究了环保大数据分类技术,建立分类模型,阐述模型工作过程,通过实验检验给出技术的可行性。实验结果证明,研究的环保大数据分类技术在短时间内能够完成大量的环保数据分类,且分类准确性极高,能够有效减少工作人员的压力,对环保工程的进一步开展有重要意义。 展开更多

关键词 微分方程 环保大数据 分类技术 环境保护问题

下载PDF 职称材料

船联网中大数据加密的混合密码体制研究 被引量：1

10

作者 白俊峰 《舰船科学技术》 北大核心 2018年第6X期163-165,共3页

为增强船舶数据的传输安全性,降低混合密钥被破解事件的发生几率,设计基于船联网的大数据加密混合密码体制。通过整体框架结构搭建、业务功能模块搭建2个步骤,完成船联网环境的搭建。通过大数据加密KEM/DEM框架的搭建、混合密码公钥算... 为增强船舶数据的传输安全性,降低混合密钥被破解事件的发生几率,设计基于船联网的大数据加密混合密码体制。通过整体框架结构搭建、业务功能模块搭建2个步骤,完成船联网环境的搭建。通过大数据加密KEM/DEM框架的搭建、混合密码公钥算法的确立、密码体制分类方法的确立3个步骤,完成新型大数据加密混合密码体制的建立。设计对比实验结果表明,应用该新型大数据加密混合密码体制后,船舶间通信数据可进行安全传输,且混合密钥被破解事件的发生几率近似于0。 展开更多

关键词 船联网 大数据加密 混合密码体制 分类方法

下载PDF 职称材料

基于原型抽象和分类价值量的决策树算法 被引量：1

11

作者 周亮 晏立 《计算机应用研究》 CSCD 北大核心 2010年第8期2899-2901,共3页

为了克服现有决策树分类算法在大数据集上的有效性和可伸缩性的局限,提出一种新的基于粗糙集理论的决策树算法。首先提出基于代表性实例的原型抽象方法,该方法从原始数据集中抽取代表性实例组成抽象原型,可缩减实例数目和无关属性,从而... 为了克服现有决策树分类算法在大数据集上的有效性和可伸缩性的局限,提出一种新的基于粗糙集理论的决策树算法。首先提出基于代表性实例的原型抽象方法,该方法从原始数据集中抽取代表性实例组成抽象原型,可缩减实例数目和无关属性,从而使算法可以处理大数据集;然后提出属性分类价值量概念,并作为选择属性的启发式测度,该测度描述了属性对分类的贡献价值量的多少,侧重考虑了属性之间以及实例与分类之间的关系。实验表明,新算法比其他算法生成的决策树规模要小,准确率也有显著提高,在大数据集上尤为明显。 展开更多

关键词 决策树 粗糙集 大数据集 代表性实例 原型抽象 属性分类价值量

下载PDF 职称材料

基于改进Tri-Training算法的大数据保险业客户分类研究

12

作者 林志鸿 《韶关学院学报》 2018年第3期24-27,共4页

保险行业正处于比较快速的发展阶段,为了能够盈利,构建良好的客户关系是非常关键的,可利用改进TriTraining算法对大数据保险业客户进行分类.首先确定保险业客户细分的指标;其次分析改进Tri-Training分类算法的基本理论;再次设计基于改进... 保险行业正处于比较快速的发展阶段,为了能够盈利,构建良好的客户关系是非常关键的,可利用改进TriTraining算法对大数据保险业客户进行分类.首先确定保险业客户细分的指标;其次分析改进Tri-Training分类算法的基本理论;再次设计基于改进Tri-Training算法的大数据保险业客户分类流程;最后进行大数据保险业客户的分类实例研究,研究结果表明改进Tri-Training算法能够有效地提升保险业客户分类的精度. 展开更多

关键词 保险业 大数据 客户分类 改进Tri-Training算法

下载PDF 职称材料

基于共轭梯度对数分解的大数据分类模型

13

作者 黄弋钊 周杰 《科技通报》 北大核心 2015年第12期242-244,共3页

提出一种基于共轭梯度对数分解的大数据分类数学仿真模型。构建基于K-means算法的数据分类目标数据生成模型,采用共轭梯度对数分解方法对大数据集进行规范化处理,构建数据融合适应度矩阵,基于Lagrange定理,全局搜索性寻找聚类中心的最... 提出一种基于共轭梯度对数分解的大数据分类数学仿真模型。构建基于K-means算法的数据分类目标数据生成模型,采用共轭梯度对数分解方法对大数据集进行规范化处理,构建数据融合适应度矩阵,基于Lagrange定理,全局搜索性寻找聚类中心的最佳值求得聚类目标函数,确定边界隶属度特征的一个初始值,实现对大数据分类模型优化设计。仿真实验表明,采用该分类模型,数据分类寻优性能较好,各类数据的特征分类准确,收敛性较高。 展开更多

关键词 大数据 分类模型 对数分解

下载PDF 职称材料

基于大规模数据的支撑矢量机的训练和分类 被引量：7

14

作者 汪西莉 刘芳 焦李成 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2002年第1期123-127,共5页

支撑矢量机是一种基于统计学习理论的、新颖且有强的泛化性能的学习方法 ,可看作是一种训练多项式神经网络或径向基函数分类器的新方法 .支撑矢量机可用于模式识别、回归估计、求解线性算子方程等 .介绍了支撑矢量机的分类机理 ,并针对... 支撑矢量机是一种基于统计学习理论的、新颖且有强的泛化性能的学习方法 ,可看作是一种训练多项式神经网络或径向基函数分类器的新方法 .支撑矢量机可用于模式识别、回归估计、求解线性算子方程等 .介绍了支撑矢量机的分类机理 ,并针对大规模数据讨论其训练和分类中存在的问题及典型的解决方法 . 展开更多

关键词 支撑矢量机 大规模数据 训练算法 分类速度

下载PDF 职称材料

一种有效的大规模数据的分类方法 被引量：7

15

作者 张艳宁 赵荣椿 梁怡 《电子学报》 EI CAS CSCD 北大核心 2002年第10期1533-1535,共3页

本文提出了一种基于自组织特征映射神经网络 (SOM)和支撑矢量机 (SVM)相结合的复杂模式的大规模数据的分类方法 .该方法首先利用自组织特征映射神经网络对待识目标进行聚类 ,然后应用支撑矢量机方法对其进行分类识别 .通过对复杂异或 (X... 本文提出了一种基于自组织特征映射神经网络 (SOM)和支撑矢量机 (SVM)相结合的复杂模式的大规模数据的分类方法 .该方法首先利用自组织特征映射神经网络对待识目标进行聚类 ,然后应用支撑矢量机方法对其进行分类识别 .通过对复杂异或 (XOR)分类问题 ,以及实际的Iris和Appendicitis数据分类问题等的分类实验 ,且与仅用支撑矢量机的分类方法比较 ,结果表明 ,本文提出的方法对复杂模式的大规模数据的分类识别问题具有较好的效果 ,且训练时间大幅度减小 . 展开更多

关键词 自组织特征映射神经网络 支撑矢量机 大规模数据 模式分类 SOM SVM

下载PDF 职称材料

大型数据中心供配电系统设计 被引量：8

16

作者 黄凯 《现代建筑电气》 2019年第11期20-24,共5页

介绍了数据中心的分级,结合某大型数据中心设计实例,分析了大型数据中心负荷分类,阐述了大型数据中心的配电系统设计,说明了采用高压油机和高频不间断电源(UPS)主机的必要性。

关键词 大型数据中心 负荷分类 供配电系统 高压油机 不间断电源

下载PDF 职称材料

面向大规模数据的高效超图神经网络

17

作者 吉书仪 魏宇轩 +1 位作者 戴琼海 高跃 《中国科学：信息科学》 CSCD 北大核心 2024年第4期853-871,共19页

高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图... 高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图神经网络被广泛应用于面向高阶关联的表示学习.然而,现有的超图神经网络均基于直推学习范式,虽然在小规模超图数据集上取得了不错的效果,但难以应用到大规模数据上,限制了其应用范围.本文首先分析了现有超图神经网络方法在大规模数据上应用的挑战,然后针对该问题提出了面向大规模数据的高效超图神经网络方法(efficient hypergraph neural network,EHGNN).针对现有方法空间、时间复杂度过高的问题,EHGNN分别设计了超图采样模块和基于单阶段超图卷积的计算加速模块,同时降低了超图神经网络的空间开销和时间开销,使得超图神经网络适用于大规模超图数据,显著增强了可扩展性.在4个真实超图数据集上的实验结果验证了EHGNN的有效性和高效性. 展开更多

关键词 超图计算 超图神经网络 高阶关联 大规模数据 节点分类

原文传递

SVM样本约简算法研究综述

18

作者 张代俐 汪廷华 朱兴淋 《计算机科学》 CSCD 北大核心 2024年第7期59-70,共12页

支持向量机(Support Vector Machine, SVM)是基于统计学习理论和结构风险最小化原则发展起来的一种有监督的机器学习算法,它有效克服了局部最小和维数灾难等问题,具有良好的泛化性能,并被广泛应用于模式识别和人工智能领域。但SVM的学... 支持向量机(Support Vector Machine, SVM)是基于统计学习理论和结构风险最小化原则发展起来的一种有监督的机器学习算法,它有效克服了局部最小和维数灾难等问题,具有良好的泛化性能,并被广泛应用于模式识别和人工智能领域。但SVM的学习效率随着训练样本数量的增加而显著降低,对于大规模训练集,采用标准优化方法的传统SVM面临着内存需求过大、执行速度慢,有时甚至无法执行的问题。为了缓解SVM在大规模训练集上存储需求高、训练时间长等问题,学者们提出了SVM样本约简算法。文中首先介绍了SVM理论基础,然后从基于聚类、几何分析、主动学习、增量学习和随机抽样5个方面系统综述了SVM样本约简算法的研究现状,讨论了各种SVM样本约简算法的优缺点,最后总结全文并展望未来。 展开更多

关键词 支持向量机 大规模数据集 样本约简 机器学习 分类

下载PDF 职称材料

基于分层聚类及重采样的大规模数据分类 被引量：5

19

作者 张永 浮盼盼 张玉婷 《计算机应用》 CSCD 北大核心 2013年第10期2801-2803,共3页

针对大规模数据的分类问题,将监督学习与无监督学习结合起来,提出了一种基于分层聚类和重采样技术的支持向量机(SVM)分类方法。该方法首先利用无监督学习算法中的k-means聚类分析技术将数据集划分成不同的子集,然后对各个子集进行逐类聚... 针对大规模数据的分类问题,将监督学习与无监督学习结合起来,提出了一种基于分层聚类和重采样技术的支持向量机(SVM)分类方法。该方法首先利用无监督学习算法中的k-means聚类分析技术将数据集划分成不同的子集,然后对各个子集进行逐类聚类,分别选出各类中心邻域内的样本点,构成最终的训练集,最后利用支持向量机对所选择的最具代表样本点进行训练建模。实验表明,所提方法可以大幅度降低支持向量机的学习代价,其分类精度比随机欠采样更优,而且可以达到采用完整数据集训练所得的结果。 展开更多

关键词 海量数据 分类 聚类 重采样 支持向量机

下载PDF 职称材料

电网大数据量表设计优化技术及应用 被引量：1

20

作者 陈刚 郑浩泉 吴淑伟 《计算机系统应用》 2015年第1期221-226,共6页

阐述了在数据库设计阶段实施大数据量表设计优化工作的必要性.介绍了电网大数据量表的概念及产生原因,并针对因大数据量表而引发的数据库性能问题,提出了大数据量表设计优化相关的关键技术.在设备状态检修系统的数据库设计阶段,以设备... 阐述了在数据库设计阶段实施大数据量表设计优化工作的必要性.介绍了电网大数据量表的概念及产生原因,并针对因大数据量表而引发的数据库性能问题,提出了大数据量表设计优化相关的关键技术.在设备状态检修系统的数据库设计阶段,以设备状态评价功能为例进行实践应用.仿真实验表明对大数据量表实施设计优化后系统性能得到了显著提升.为后续系统稳定运行提供保障,也为类似的大数据量表设计优化应用提供了参考. 展开更多

关键词 大数据量表 设计优化 状态评价 基于反范式的表设计 基于表分类的存储设计

下载PDF 职称材料