期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到127篇文章
< 1 2 … 7 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
大数据流式计算:关键技术及系统实例 被引量：311
1
作者 孙大为 张广艳 郑纬民 《软件学报》 EI CSCD 北大核心 2014年第4期839-862,共24页
大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域... 大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战. 展开更多
关键词 大数据计算 流式计算 流式大数据 内存计算 系统实例
下载PDF
电力大数据平台研究与设计 被引量：54
2
作者 朱朝阳 王继业 邓春宇 《电力信息与通信技术》 2015年第6期1-7,共7页
电力大数据平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台,从数据采集、存储、预处理、计算、分析、可视化等多个层面为数据分析人员、大数据应用开发人员提供服务。文章分析了电力大数据平台应用需求,详细设计了... 电力大数据平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台,从数据采集、存储、预处理、计算、分析、可视化等多个层面为数据分析人员、大数据应用开发人员提供服务。文章分析了电力大数据平台应用需求,详细设计了电力大数据平台的应用架构、技术架构和数据架构,并对电力大数据平台的多源异构数据融合技术、异构数据并行处理技术、基于工作流的任务调度技术等关键技术进行了研究,最后针对电力大数据平台下一步的研究思路、重点和方向提出了建议。 展开更多
关键词 电力大数据平台 分布式计算 流计算 内存计算 任务调度
下载PDF
大规模用电数据流的快速聚类和异常检测技术 被引量：51
3
作者 王桂兰 周国亮 +1 位作者 赵洪山 米增强 《电力系统自动化》 EI CSCD 北大核心 2016年第24期27-33,共7页
对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为... 对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为在纵向时间和横向空间上表现出的聚类特性,即同类用户具有相似用电模式和同一用户历史数据具有相似性,设计并实现了流式DBSCAN聚类算法,以实现对大规模用电数据流的快速异常检测。设计并搭建了支持大规模数据流处理的实验环境,证明了算法的有效性。 展开更多
关键词 数据流 聚类 异常检测 流式计算 用电行为
下载PDF
智能电网时序大数据实时处理系统 被引量：29
4
作者 王远 陶烨 +2 位作者 蒋英明 陈波 陈立宇 《计算机应用》 CSCD 北大核心 2015年第A02期88-92,共5页
针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据... 针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据的高速、可靠采集;基于流计算技术,实现了各类时序数据的高速预处理;设计了面向时序数据的混合存储模型,综合应用键值模型与关系模型,实现了时序数据的可靠存储和高效访问。通过模拟某省用电信息采集应用场景,验证了系统性能:单节点数据采集能力超过1 000万/秒,查询可达到秒级甚至微秒级响应。 展开更多
关键词 大数据 时序 智能电网 实时处理 流计算 键值模型 关系模型
下载PDF
基于云计算架构的水文大数据云平台建设 被引量：28
5
作者 邱超 王威 《人民长江》 北大核心 2018年第5期31-35,共5页
随着信息技术的应用发展,水文行业在水情采集、分析、业务处理等方面产生的数据量急剧膨胀,突发性汛灾情的频发使得各水文领域应用系统对调用数据的时效性和并发性要求越发严苛,现代高效的水文数据中心的建设需求随之变得更加迫切。大... 随着信息技术的应用发展,水文行业在水情采集、分析、业务处理等方面产生的数据量急剧膨胀,突发性汛灾情的频发使得各水文领域应用系统对调用数据的时效性和并发性要求越发严苛,现代高效的水文数据中心的建设需求随之变得更加迫切。大数据技术与云计算技术在海量异构数据的高效存储、处理、数据挖掘等方面具有天然优势,在气象、国土等行业已落地应用,但水文行业目前尚未有大数据和云计算技术的应用先例。综合水文大数据的特点和目前浙江省水文中心私有云建设现状,创造性提出基于云计算与大数据技术的混合云水文数据中心架构设计,以满足海量水文数据高效分布式采集、融合与分发,同时为水文数据的挖掘分析提供操作平台。 展开更多
关键词 水文大数据 水文数据中心 云计算 流式计算 元数据 浙江省
下载PDF
大数据流式计算系统研究综述 被引量：27
6
作者 李圣 黄永忠 陈海勇 《信息工程大学学报》 2016年第1期88-92,共5页
互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难以满足流式大数据处理对于计算实时性的要求,因此,更为高效的流式计算系统得到了越来越广泛的应用。首先... 互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难以满足流式大数据处理对于计算实时性的要求,因此,更为高效的流式计算系统得到了越来越广泛的应用。首先介绍了流式大数据的相关概念和特征,并对几类典型的流式计算系统实例进行了介绍和比较,分析了它们的系统架构、性能特点以及主要应用场景。最后总结并展望了大数据分析处理技术的发展前景。 展开更多
关键词 大数据 流式计算 任务拓扑 系统架构
下载PDF
大数据流式计算框架Storm的任务迁移策略 被引量：25
7
作者 鲁亮 于炯 +3 位作者 卞琛 刘月超 廖彬 李慧娟 《计算机研究与发展》 EI CSCD 北大核心 2018年第1期71-92,共22页
Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约... Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小. 展开更多
关键词 大数据 流式计算 STORM 通信开销 任务迁移
下载PDF
典型大数据计算框架分析 被引量：21
8
作者 赵晟 姜进磊 《中兴通讯技术》 2016年第2期14-18,共5页
认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、... 认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出(IO)等方面对现有的主流大数据计算框架进行了分析与总结,指出了未来的发展方向和研究热点。 展开更多
关键词 大数据分类 大数据计算 批量计算 流计算 计算框架
下载PDF
大数据流式计算:应用特征和技术挑战 被引量：20
9
作者 孙大为 《大数据》 2015年第3期99-105,共7页
在大数据时代,数据的时效性日益突出,数据的流式特征更加明显,越来越多的应用场景需要部署在流式计算平台中。大数据流式计算作为大数据计算的一种形态,其重要性也不断提升。针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了... 在大数据时代,数据的时效性日益突出,数据的流式特征更加明显,越来越多的应用场景需要部署在流式计算平台中。大数据流式计算作为大数据计算的一种形态,其重要性也不断提升。针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统构建的原则性策略。结合当前比较典型的流式计算平台,重点研究了当前大数据流式计算在在线环境下的资源调度和节点依赖环境下的容错策略等方面的技术挑战。 展开更多
关键词 大数据 流式计算 应用特征 在线调度 系统容错
下载PDF
Spark Streaming框架下的气象自动站数据实时处理系统 被引量：16
10
作者 赵文芳 刘旭林 《计算机应用》 CSCD 北大核心 2018年第1期38-43,55,共7页
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据... 针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了该系统具有低延迟和高吞吐量的优势,运行状况良好,负载均衡。实验结果表明,Spark Streaming用于气象自动站的实时业务处理,数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应,完全能满足自动站数据的应用需求,有效地支撑天气预报业务。 展开更多
关键词 气象自动站 SPARK streamING 流计算 气象数据处理 FLUME
下载PDF
基于流网络的Flink平台弹性资源调度策略 被引量：15
11
作者 李梓杨 于炯 +4 位作者 卞琛 张译天 蒲勇霖 王跃飞 鲁亮 《通信学报》 EI CSCD 北大核心 2019年第8期85-101,共17页
为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度... 为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移。实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间。由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力。 展开更多
关键词 流式计算 资源调度 弹性集群 负载迁移 Flink
下载PDF
电力设备监测数据的流式计算与动态可视化展示 被引量：15
12
作者 李莉 朱永利 宋亚奇 《电力建设》 北大核心 2017年第5期91-97,共7页
电力设备监测数据的实时分析和可视化展示是智能电网建设的重要内容。以Hadoop为代表的传统数据处理模型不能满足业务时延要求。提出基于阿里云流计算(Stream Compute)的电力设备监测数据流式计算与动态可视化展示方法,并应用Stream Com... 电力设备监测数据的实时分析和可视化展示是智能电网建设的重要内容。以Hadoop为代表的传统数据处理模型不能满足业务时延要求。提出基于阿里云流计算(Stream Compute)的电力设备监测数据流式计算与动态可视化展示方法,并应用Stream Compute的上下游服务搭建了用于电力设备监测数据的时频分析和可视化展示的应用系统。试验测试表明,所搭建的系统整体的处理延迟被控制在s级,能够满足电力设备在线监测及实时数据展示的性能要求。 展开更多
关键词 在线监测 大数据 流计算 数据可视化 阿里云
原文传递
Storm环境下基于权重的任务调度算法 被引量：15
13
作者 鲁亮 于炯 +3 位作者 卞琛 英昌甜 师康利 蒲勇霖 《计算机应用》 CSCD 北大核心 2018年第3期699-706,共8页
大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务... 大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。 展开更多
关键词 大数据 流式计算 STORM 权重 任务调度 负栽均衡 通信开销
下载PDF
从系统角度审视大数据计算 被引量：12
14
作者 郑纬民 《大数据》 2015年第1期10-19,共10页
大数据计算是实现大数据"巨大价值"的必要手段,而计算系统是大数据计算的有效载体。试着从系统角度审视大数据计算,透过大数据的体量巨大、速度极快、模态多样、真伪难辨等宏观特征,针对批量计算、流式计算、大图计算等计算形... 大数据计算是实现大数据"巨大价值"的必要手段,而计算系统是大数据计算的有效载体。试着从系统角度审视大数据计算,透过大数据的体量巨大、速度极快、模态多样、真伪难辨等宏观特征,针对批量计算、流式计算、大图计算等计算形式,分别探讨大数据计算的典型特征,论述了这些特征给大数据计算系统的设计与实现带来的技术挑战,进而梳理了为了应对这些挑战所取得的研究成果,最后从系统角度指出未来大数据计算可能的一些研究方向。 展开更多
关键词 大数据计算 批量计算 流式计算 大图计算 系统实例
下载PDF
基于流式计算的空间科学卫星数据实时处理 被引量：13
15
作者 孙小涓 石涛 +3 位作者 胡玉新 佟继周 李冰 宋峣 《计算机应用》 CSCD 北大核心 2019年第6期1563-1568,共6页
针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基... 针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。 展开更多
关键词 流式计算 数据流 STORM 空间科学卫星 数据处理
下载PDF
在GPU上实现地形渲染的自适应算法 被引量：13
16
作者 王旭 杨新 王志铭 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2010年第10期1741-1749,1755,共10页
为了满足飞行状态实时监控系统对地形渲染快速逼真的要求,提出一种基于GPU的交互式地形自适应渲染算法.该算法中每帧渲染包含2遍GPU处理过程:第1遍采用流计算的方式,利用固定网格映射方法生成粗糙地形采样网格,在此基础上,根据地形表面... 为了满足飞行状态实时监控系统对地形渲染快速逼真的要求,提出一种基于GPU的交互式地形自适应渲染算法.该算法中每帧渲染包含2遍GPU处理过程:第1遍采用流计算的方式,利用固定网格映射方法生成粗糙地形采样网格,在此基础上,根据地形表面复杂度计算粗糙采样网格中每个三角形的细化深度;第2遍进行地形的渲染,根据第1遍计算出来的每个面片的细化等级,选择初始化阶段预存储在GPU缓存中的不同细化等级的网格模板,对粗糙采样网格进行自适应细分,为了消除T型连接的问题,在顶点着色器中包含了一个网格模板的匹配处理过程.最后采用高程数据配合卫星照片的方式,生成具有高度仿真的三维虚拟地貌.基于文中算法实现的实时监控系统在支线飞机的飞行试验中取得了较好的效果. 展开更多
关键词 GPU 流计算 固定网格投射 自适应细分 细化模板 实时渲染
下载PDF
基于云架构的交通感知数据集成处理平台 被引量：12
17
作者 赵卓峰 丁维龙 韩燕波 《计算机研究与发展》 EI CSCD 北大核心 2016年第6期1332-1341,共10页
海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数... 海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数据处理应用的开发存在较高的复杂性并且易于造成大量重复的数据跨节点传输而影响应用性能.针对此问题,通过分析交通感知数据及其处理需求特征,提出一种基于可跨应用共享的时空数据对象的交通感知数据处理模型,通过引入时空数据对象这一新的概念抽象并提供易并行划分的时空数据对象组织及共享支持,实现分布计算中对时空型交通感知数据的优化管理.在此基础上,设计并实现了交通感知数据集成处理平台.通过实际应用和基于真实交通数据的实验测试表明:该平台相对于传统的交通感知数据处理方法及系统在性能及扩展性等方面均具有一定的优势. 展开更多
关键词 云架构 交通感知数据 时空数据对象 实时MapReduce 流计算
下载PDF
GPU异构系统中的存储层次和负载均衡策略研究 被引量：11
18
作者 马安国 成玉 +1 位作者 唐遇星 邢座程 《国防科技大学学报》 EI CAS CSCD 北大核心 2009年第5期38-43,共6页
GPU体系结构的革新和相应开发平台的发展使得GPU广泛地应用于科学计算领域。通过深入地分析GPU体系结构和存储层次的优缺点以及GPU上的关键性能特征,阐明了GPU体系结构、编程模型和存储层次之间的关系。针对GPU异构系统上的应用映射提... GPU体系结构的革新和相应开发平台的发展使得GPU广泛地应用于科学计算领域。通过深入地分析GPU体系结构和存储层次的优缺点以及GPU上的关键性能特征,阐明了GPU体系结构、编程模型和存储层次之间的关系。针对GPU异构系统上的应用映射提出三种基本负载均衡优化策略:预取、流化、任务划分。试验结果揭示了不同的优化因子与优化效率之间的具体关联。 展开更多
关键词 GPGPU 存储层次 负载均衡策略 流计算 任务划分
下载PDF
电力大数据高速存储及检索关键技术研究与应用 被引量：10
19
作者 杨德胜 陈江江 张明 《电子测试》 2014年第2期62-63,61,共3页
针对电力数据体量大、种类庞杂、横跨专业多等特点而引起的系统访问响应不及时的现状,本课题以生产、运营、营销、管理等各环节业务需求为研究对象,通过分析产生系统性能问题的原因,以大规模数据存储、大规模数据检索、即时处理等技术... 针对电力数据体量大、种类庞杂、横跨专业多等特点而引起的系统访问响应不及时的现状,本课题以生产、运营、营销、管理等各环节业务需求为研究对象,通过分析产生系统性能问题的原因,以大规模数据存储、大规模数据检索、即时处理等技术为基础,从电力大数据的访问特征、大数据高速存储、检索以及流计算即时处理等层面,研究面向电力大数据特征的高速存储体系结构、索引体系结构以及流计算即时处理技术,实现电力大数据处理的原型系统并进行验证,补充和完善技术研究成果,提升公司业务系统性能。 展开更多
关键词 电力大数据 数据存储 数据检索 流计算
下载PDF
基于数据流和点对点网络的分布式推荐算法 被引量：10
20
作者 丛义昊 于艳华 《计算机工程与应用》 CSCD 北大核心 2019年第1期64-69,148,共7页
推荐算法是数据挖掘中应用最广泛的算法之一,目前的推荐算法主要是针对静态数据的,缺乏对动态数据的适应性,基于数据流的推荐算法是解决这一问题的方法。针对目前在分布式平台中采用参数服务器控制模型训练存在的滞后梯度和掉队者问题,... 推荐算法是数据挖掘中应用最广泛的算法之一,目前的推荐算法主要是针对静态数据的,缺乏对动态数据的适应性,基于数据流的推荐算法是解决这一问题的方法。针对目前在分布式平台中采用参数服务器控制模型训练存在的滞后梯度和掉队者问题,提出了一种新的使用点对点参数交换网络代替参数服务器的方法,并在训练过程中引入遗忘策略和异常评分检测能力。在新的分布式流计算框架Flink上进行设计实现,并在经典的MovieLens-1m数据集上进行了实验。实验结果表明,该算法能够在保证推荐准确率的同时,降低一半通讯开销。 展开更多
关键词 在线矩阵分解 流计算 分布式协同过滤 点对点网络
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 7 下一页 到第 页
使用帮助 返回顶部