期刊文献+
共找到131篇文章
< 1 2 7 >
每页显示 20 50 100
基于先进FDSOI SRAM的存内计算架构实现快速与低功耗的CNN处理
1
作者 杨展悌 蒋维 +2 位作者 王国庆 张骥 罗军 《微纳电子与智能制造》 2021年第1期159-173,共15页
提出了一种新的存内计算架构,用于实现快速与低功耗的卷积神经网络处理。其中主要特点包括:(1)有别于忆阻器与电阻式记忆存储器等架构,文中的计算与储存单位,采用静态随机存取存储器比特单元,如此可以随着工艺的持续微缩而降低面积与功... 提出了一种新的存内计算架构,用于实现快速与低功耗的卷积神经网络处理。其中主要特点包括:(1)有别于忆阻器与电阻式记忆存储器等架构,文中的计算与储存单位,采用静态随机存取存储器比特单元,如此可以随着工艺的持续微缩而降低面积与功耗。(2)采用先进全耗尽绝缘体上硅工艺,除了享有工艺微缩带来的高速外,全耗尽绝缘体上硅在维持模式下的极低功耗具有明显优势,同时全耗尽绝缘体上硅的良好均匀性也可以减少计算误差。(3)整个架构都是以数字电路完成,不但实现简单,也避免采用在功耗面积速度上都处于瓶颈的模数转换器等电路,也无需考虑各位线上的加法造成的累加误差。基于静态随机存取存储器比特单元,首先提出一种可以在1个时钟周期内完成的纯数字的乘积累加架构,之后基于澳芯公司目前的22 nm全耗尽绝缘体上硅工艺,进行仿真,得到下列结果:(1)每个存储计算的比特单元,具有极佳的漏电,特别在0.4 V的维持状态下,加上特有的反向偏压(+/-2.0 V),功耗可低至同类工艺的75%。(2)从N×N输入矩阵进入存储权重的静态随机存取存储器矩阵内,得到二者的点积结果,速度可达2.5 Ghz以上。并且此结构可以被复制,平行实现该卷积神经网络层所有特征图需要的乘积累加计算,文中的例子,可以提供每秒4.375万亿次的计算能力。(3)完成一层卷积神经网络的计算储存结构,包括周边的位移加法电路,以文中的例子,面积仅需要120×120μm2。由以上结果,此架构非常适合人工智能的边缘计算应用。 展开更多
关键词 存内计算 卷积神经网络 静态随机存取存储器比特单元 全耗尽绝缘体上硅 乘积累加 边缘计算
下载PDF
Field-effect at electrical contacts to two-dimensional materials
2
作者 Yao Guo Yan Sun +13 位作者 Alvin Tang Ching-Hua Wang Yanqing Zhao Mengmeng Bai Shuting Xu Zheqi Xu Tao Tang Sheng Wang Chenguang Qiu Kang Xu Xubiao Peng Junfeng Han Eric Pop Yang Chai 《Nano Research》 SCIE EI CSCD 2021年第12期4894-4900,共7页
The inferior electrical contact to two-dimensional(2D)materials is a critical challenge for their application in post-silicon very large-scale integrated circuits.Electrical contacts were generally related to their re... The inferior electrical contact to two-dimensional(2D)materials is a critical challenge for their application in post-silicon very large-scale integrated circuits.Electrical contacts were generally related to their resistive effect,quantified as contact resistance.With a systematic investigation,this work demonstrates a capacitive metal-insulator-semiconductor(MIS)field-effect at the electrical contacts to 2D materials:The field-effect depletes or accumulates charge carriers,redistributes the voltage potential,and gives rise to abnormal current saturation and nonlinearity.On one hand,the current saturation hinders the devices’driving ability,which can be eliminated with carefully engineered contact configurations.On the other hand,by introducing the nonlinearity to monolithic analog artificial neural network circuits,the circuits’perception ability can be significantly enhanced,as evidenced using a coronavirus disease 2019(COVID-19)critical illness prediction model.This work provides a comprehension of the field-effect at the electrical contacts to 2D materials,which is fundamental to the design,simulation,and fabrication of electronics based on 2D materials. 展开更多
关键词 FIELD-EFFECT electrical contact two-dimensional materials NONLINEARITY in-memory-computing
原文传递
神经元计算机在无人机集群中的应用设计
3
作者 尤益辉 吴文豪 《智能物联技术》 2024年第2期146-151,共6页
人工智能计算对低功耗高算力的需求与日俱增,神经形态的新型计算范式出现极大地满足了低功耗、高算力、高实时的数据处理需求。结合神经元计算机的特点和无人机集群的应用需求,首次提出一种基于神经元计算机的无人机集群系统应用设计方... 人工智能计算对低功耗高算力的需求与日俱增,神经形态的新型计算范式出现极大地满足了低功耗、高算力、高实时的数据处理需求。结合神经元计算机的特点和无人机集群的应用需求,首次提出一种基于神经元计算机的无人机集群系统应用设计方案,并从系统设计、算法设计、系统实现等方面进行分析。 展开更多
关键词 无人机集群 神经元计算机 存算一体化芯片 脉冲神经网络(SNN)
下载PDF
基于Distance-2算法的并行Jacobian矩阵计算及其在耦合问题中的应用
4
作者 刘礼勋 张汉 +4 位作者 彭心茹 窦沁榕 邬颖杰 郭炯 李富 《原子能科学技术》 EI CAS CSCD 北大核心 2024年第6期1201-1209,共9页
并行Newton-Krylov方法是求解大规模多物理耦合问题的有效方法,如何高效自动计算Jacobian矩阵是一大难点。利用有限差分方法,可避免推导Jacobian矩阵的表达式,实现矩阵的自动计算。现有工作表明,在串行环境下利用矩阵的稀疏性和图着色算... 并行Newton-Krylov方法是求解大规模多物理耦合问题的有效方法,如何高效自动计算Jacobian矩阵是一大难点。利用有限差分方法,可避免推导Jacobian矩阵的表达式,实现矩阵的自动计算。现有工作表明,在串行环境下利用矩阵的稀疏性和图着色算法,Jacobian矩阵的计算效率可提高至少1个量级。但在并行环境下,串行着色算法失效,需采用相应的并行着色算法。本研究将图论领域的Distance-2算法应用于Jacobian矩阵的并行着色。通过求解一个简化多物理耦合问题检验了该并行算法的正确性和计算效率。测试结果表明,该并行算法得到的Jacobian矩阵完全正确;着色数随着并行核数的增加略微有所增加,100个进程下并行效率为56%;基于该算法求解多物理耦合问题,其计算时间和Krylov迭代次数较JFNK减少了约1/2。 展开更多
关键词 Newton-Krylov方法 稀疏Jacobian矩阵 图着色 有限差分 分布式并行计算
下载PDF
无人机机载图像处理芯片技术展望
5
作者 尤益辉 贺敏辉 +1 位作者 刘宗芳 李忠贤 《智能物联技术》 2023年第4期1-5,共5页
无人机机载图像处理芯片直接影响着无人机的任务执行能力。本文对无人机图像处理应用发展现状、国内外图像处理芯片技术发展进行了综述。针对无人机图像处理芯片低功耗、高算力、低延迟、高在线数据处理的需求,本文提出了存算一体化芯... 无人机机载图像处理芯片直接影响着无人机的任务执行能力。本文对无人机图像处理应用发展现状、国内外图像处理芯片技术发展进行了综述。针对无人机图像处理芯片低功耗、高算力、低延迟、高在线数据处理的需求,本文提出了存算一体化芯片的技术路线,重点阐释了存算一体化芯片原理、架构,并对主流机载图像处理模块和基于存算一体化芯片的模块进行了性能对比,表明存算一体化芯片具有低功耗等优势。 展开更多
关键词 无人机 目标检测 存算一体化芯片 图像处理
下载PDF
晶圆级集成技术研究进展
6
作者 赵国强 赵毅 《功能材料与器件学报》 CAS 2023年第1期12-21,共10页
随着物联网时代的来临,传统的传感器芯片与存算芯片相分离的架构已难以满足实际场景的需求。3D集成技术能够缩短传感器芯片与存算芯片间的物理距离,实现功能扩展,提升系统能效。晶圆级集成由于对准精度高和互连密度大,一直是学界和产业... 随着物联网时代的来临,传统的传感器芯片与存算芯片相分离的架构已难以满足实际场景的需求。3D集成技术能够缩短传感器芯片与存算芯片间的物理距离,实现功能扩展,提升系统能效。晶圆级集成由于对准精度高和互连密度大,一直是学界和产业界的研究热点。文章对晶圆级集成技术中的两种主流工艺,包括硅通孔和混合键合工艺,进行了系统性介绍;并结合国内外多个研究机构的最新进展,对其发展方向进行了展望,以实现适用于感存算一体化芯片的晶圆级集成工艺。 展开更多
关键词 晶圆级集成 3D集成 硅通孔(TSV) 混合键合(HB) 感存算一体化
原文传递
介于消息传递界面和并行应用之间的通信库系统功能分析 被引量:1
7
作者 熊玉庆 《微电子学与计算机》 CSCD 北大核心 2006年第z1期165-166,170,共3页
介于消息传递界面和并行应用之间的通信库系统对开发高性能的可靠、易维护的大型并行应用提供了支持。文章以BLACS和OilCL为例,从进程抽象命名,基于源的消息选择,非阻塞通信和集体通信等方面分析了介于消息传递系统和并行应用之间的通... 介于消息传递界面和并行应用之间的通信库系统对开发高性能的可靠、易维护的大型并行应用提供了支持。文章以BLACS和OilCL为例,从进程抽象命名,基于源的消息选择,非阻塞通信和集体通信等方面分析了介于消息传递系统和并行应用之间的通信库系统功能。 展开更多
关键词 分布存储并行计算 消息传递界面 MPI PVM 通信库 并行应用
下载PDF
基于MapReduce模型的Hopfield神经网络联想记忆算法
8
作者 曾俊 《计算机应用与软件》 CSCD 北大核心 2013年第8期267-270,共4页
Hopfield神经网络以良好的联想记忆功能、容错性而得到广泛的应用。然而,云计算平台下,面对海量数据时它并不能在单机上存储高维度模式以及获得良好的性能。另外,传统的联想记忆网络数据分布存储,使得MapReduce结构可以很好地解决并行... Hopfield神经网络以良好的联想记忆功能、容错性而得到广泛的应用。然而,云计算平台下,面对海量数据时它并不能在单机上存储高维度模式以及获得良好的性能。另外,传统的联想记忆网络数据分布存储,使得MapReduce结构可以很好地解决并行化和分布性的问题。根据以上原理,提出一种MRHAM(MapReduce-based Hopfield Network for Association Memory)算法,对传统的Hopfield联想记忆算法采用MapReduce架构实现大规模并行化处理。通过实验验证在大规模数据量下获得比传统Hopfield联想记忆算法更好的性能,对于海量数据的基于内容存储、联想记忆有重要意义。 展开更多
关键词 MAPREDUCE HOPFIELD 联想记忆 云平台 大规模数据
下载PDF
大数据流式计算:关键技术及系统实例 被引量:312
9
作者 孙大为 张广艳 郑纬民 《软件学报》 EI CSCD 北大核心 2014年第4期839-862,共24页
大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域... 大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战. 展开更多
关键词 大数据计算 流式计算 流式大数据 内存计算 系统实例
下载PDF
电力大数据面临的机遇与挑战 被引量:69
10
作者 闫龙川 李雅西 +1 位作者 李斌臣 赵子岩 《电力信息化》 2013年第4期1-4,共4页
电力行业信息化和工业化融合发展促使电力数据迅速增长和不断融合,电力大数据时代已经到来。电力大数据源自电力行业,与智能电网、智慧城市紧密相连,是未来电力发展的重要资源。面临电力大数据的机遇与挑战,研究多数据融合、数据模型、... 电力行业信息化和工业化融合发展促使电力数据迅速增长和不断融合,电力大数据时代已经到来。电力大数据源自电力行业,与智能电网、智慧城市紧密相连,是未来电力发展的重要资源。面临电力大数据的机遇与挑战,研究多数据融合、数据模型、数据可视化、内存计算、分布式计算等关键技术,促进电力大数据在电力生产和企业经营管理中的应用,对更好地服务节能减排、服务经济社会发展、服务资源节约型和环境友好型企业建设意义重大。 展开更多
关键词 大数据 智能电网 智慧城市 内存计算 分布式计算
下载PDF
电力大数据平台研究与设计 被引量:54
11
作者 朱朝阳 王继业 邓春宇 《电力信息与通信技术》 2015年第6期1-7,共7页
电力大数据平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台,从数据采集、存储、预处理、计算、分析、可视化等多个层面为数据分析人员、大数据应用开发人员提供服务。文章分析了电力大数据平台应用需求,详细设计了... 电力大数据平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台,从数据采集、存储、预处理、计算、分析、可视化等多个层面为数据分析人员、大数据应用开发人员提供服务。文章分析了电力大数据平台应用需求,详细设计了电力大数据平台的应用架构、技术架构和数据架构,并对电力大数据平台的多源异构数据融合技术、异构数据并行处理技术、基于工作流的任务调度技术等关键技术进行了研究,最后针对电力大数据平台下一步的研究思路、重点和方向提出了建议。 展开更多
关键词 电力大数据平台 分布式计算 流计算 内存计算 任务调度
下载PDF
地质调查大数据研究的主要问题分析 被引量:50
12
作者 严光生 薛群威 +3 位作者 肖克炎 陈建平 缪谨励 余海龙 《地质通报》 CAS CSCD 北大核心 2015年第7期1273-1279,共7页
地质调查大数据包含地质调查工作中产生的多来源、多模态地质数据,以及公共服务与支撑管理产生的数据。一些与数据和计算有关的地质问题,限于当时的信息技术条件,没有得到很好的解决,解决这类地质问题及信息数据共享问题是地质调查大数... 地质调查大数据包含地质调查工作中产生的多来源、多模态地质数据,以及公共服务与支撑管理产生的数据。一些与数据和计算有关的地质问题,限于当时的信息技术条件,没有得到很好的解决,解决这类地质问题及信息数据共享问题是地质调查大数据处理技术的基本目标。在地质调查大数据处理技术中,应当积极开展多类型地质数据采集器、新型非易失性存储技术、分布式计算、内存计算技术产品开发与应用,然后集中开展、深度分析与挖掘、可视分析技术产品开发与应用,最终形成地质调查大数据处理技术体系与产品线,以产品应用推动资源共享,提升地质调查信息化服务品质。 展开更多
关键词 地质调查 大数据 地质数据采集器 分布式计算 内存计算 深度挖掘
下载PDF
电力大数据全景实时分析关键技术 被引量:37
13
作者 周国亮 吕凛杰 王桂兰 《电信科学》 北大核心 2016年第4期159-168,共10页
针对智能电网建设过程中收集的电力大数据,基于电力系统全景实时数据分析的需求,探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期... 针对智能电网建设过程中收集的电力大数据,基于电力系统全景实时数据分析的需求,探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期管理及能源实时平衡调度等问题的挑战及解决思路,基于大规模实时多源细节数据和设备全景数据的计算,有助于提高系统分析的精度和准确度,保证电网安全运行;探讨了内存计算、实时流式大数据处理、大规模并行计算及列存储等技术在电力大数据实时分析中的应用;结合主流开源大数据处理技术,设计了电力大数据分析平台的分层体系架构,为电力系统的高效运行提供保证。 展开更多
关键词 电力大数据 全景实时数据 内存计算 数据流 大规模并行
下载PDF
内存计算技术研究综述 被引量:32
14
作者 罗乐 刘轶 钱德沛 《软件学报》 EI CSCD 北大核心 2016年第8期2147-2167,共21页
在大数据时代,如何高效地处理海量数据以满足性能需求,是一个需要解决的重要问题.内存计算充分利用大容量内存进行数据处理,减少甚至避免I/O操作,因而极大地提高了海量数据处理的性能,同时也面临一系列有待解决的问题.首先,在分析内存... 在大数据时代,如何高效地处理海量数据以满足性能需求,是一个需要解决的重要问题.内存计算充分利用大容量内存进行数据处理,减少甚至避免I/O操作,因而极大地提高了海量数据处理的性能,同时也面临一系列有待解决的问题.首先,在分析内存计算技术特点的基础上对其进行了分类,并分别介绍了各类技术及系统的原理、研究现状及热点问题;其次,对内存计算的典型应用进行了分析;最后,从总体层面和应用层面对内存计算面临的挑战予以分析,并且对其发展前景做了展望. 展开更多
关键词 内存计算 新型混合内存 分布式集群 图计算 大数据处理
下载PDF
电力大数据环境下大数据中心架构体系设计 被引量:31
15
作者 王玮 刘荫 +2 位作者 于展鹏 苏琦 周伟 《电力信息与通信技术》 2016年第1期1-6,共6页
国家电网公司经过SG186工程、SG-ERP建设,已经建成了结构化、非结构化、海量历史/准实时、电网空间4类数据中心平台,积累了丰富的数据资源,有效地支撑了企业数据共享融合和分析决策。但是,随着数据量的增大和数据价值挖掘需求的增长,需... 国家电网公司经过SG186工程、SG-ERP建设,已经建成了结构化、非结构化、海量历史/准实时、电网空间4类数据中心平台,积累了丰富的数据资源,有效地支撑了企业数据共享融合和分析决策。但是,随着数据量的增大和数据价值挖掘需求的增长,需要在数据存储横向扩展、数据实时处理、数据融合与深度挖掘方面进一步加强。文章介绍了公司大数据中心总体技术架构和软硬件体系,并对数据接入与预处理、数据集成与存储、数据计算与处理、数据挖掘与分析、数据安全与管理等关键技术进行了研究,为公司大数据中心的建设提供了解决方法和进一步研究思路。 展开更多
关键词 大数据 数据接入 数据挖掘 内存计算
下载PDF
大数据环境下并行计算模型的研究进展 被引量:20
16
作者 潘巍 李战怀 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2014年第5期43-54,共12页
在大数据时代,制约并行计算发展的掣肘正在发生改变,为分布式并行计算带来了前所未有的机遇和挑战.回顾了并行计算的发展和大数据环境下的新变化;结合硬件环境、计算模式、以及应用需求等对于并行计算模型研究的影响,综述了面向批处理... 在大数据时代,制约并行计算发展的掣肘正在发生改变,为分布式并行计算带来了前所未有的机遇和挑战.回顾了并行计算的发展和大数据环境下的新变化;结合硬件环境、计算模式、以及应用需求等对于并行计算模型研究的影响,综述了面向批处理、面向流处理、面向图数据以及面向内存等几类并行计算模型的相关研究;展望了其发展趋势. 展开更多
关键词 大数据 计算模型 并行计算 内存计算
下载PDF
高性能GIS研究进展及评述 被引量:15
17
作者 左尧 王少华 +1 位作者 钟耳顺 蔡文文 《地球信息科学学报》 CSCD 北大核心 2017年第4期437-446,共10页
互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更... 互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。 展开更多
关键词 高性能GIS 高性能GIS算法 并行GIS计算 内存计算 众核计算 GIS云计算
原文传递
基于Spark的高校图书馆文献推荐方案及实证研究 被引量:17
18
作者 何胜 熊太纯 +2 位作者 柳益君 叶飞跃 潘瑜 《图书情报工作》 CSSCI 北大核心 2017年第23期129-137,共9页
[目的/意义]以高校图书馆馆藏图书数据库和各类论文数据库等海量的文献资源为基础,设计推荐方案并基于Spark技术开展实证研究,力图优化图书馆文献推荐效果和提高系统计算性能。[方法 /过程]首先分析大数据背景下高校图书馆文献推荐的需... [目的/意义]以高校图书馆馆藏图书数据库和各类论文数据库等海量的文献资源为基础,设计推荐方案并基于Spark技术开展实证研究,力图优化图书馆文献推荐效果和提高系统计算性能。[方法 /过程]首先分析大数据背景下高校图书馆文献推荐的需求,接着针对存在的文献查找缺失、文献浏览迷航和文献分析低效的现状,提出一种以文献"混合关联"为主要内容的图书馆文献推荐方案及实现算法,并应用Spark内存计算技术设计实证案例,最后对实证结果进行讨论并与同类算法比较。[结果 /结论]基于Spark的文献"混合关联"方案能有效满足用户需求,提高文献推荐性能和效率,促进当前图书馆大数据应用的落地。 展开更多
关键词 图书馆文献推荐 混合关联 大数据 内存计算 SPARK
原文传递
秒级响应电网在线分析软件平台 被引量:16
19
作者 周二专 冯东豪 +1 位作者 严剑峰 周孝信 《电网技术》 EI CSCD 北大核心 2020年第9期3474-3480,共7页
介绍一个新的电网实时在线分析系统软件平台,以支持下一代秒级响应在线分析系统的研发。文章介绍了在线分析系统响应速度提升的总体思路,在线分析软件平台技术路线、实施方案和平台的通用功能模块。基于该在线分析软件平台的拓展,研发... 介绍一个新的电网实时在线分析系统软件平台,以支持下一代秒级响应在线分析系统的研发。文章介绍了在线分析系统响应速度提升的总体思路,在线分析软件平台技术路线、实施方案和平台的通用功能模块。基于该在线分析软件平台的拓展,研发了一套新在线分析系统。该系统已经在湖南省调部署并在线示范运行。初步测试数据表明,新在线分析系统可以达到秒级的响应速度。 展开更多
关键词 电网在线分析 DSA 数字孪生 内存计算 并行计算 复杂事件处理 机器学习 神经网络模型
下载PDF
Spark环境下的并行模糊C均值聚类算法 被引量:11
20
作者 王桂兰 周国亮 +1 位作者 萨初日拉 朱永利 《计算机应用》 CSCD 北大核心 2016年第2期342-347,共6页
针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向... 针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。 展开更多
关键词 SPARK 模糊C均值 矩阵运算 内存计算
下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部