MapReduce大数据处理平台与算法研究进展 被引量：96

1

作者 宋杰 孙宗哲 +2 位作者 毛克明 鲍玉斌 于戈 《软件学报》 EI CSCD 北大核心 2017年第3期514-543,共30页

综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象其共性;随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据... 综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象其共性;随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法,将这些算法按照MapReduce实现方式分类,分析影响算法性能的因素;最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和问题,以供研究人员参考.具体包括优化外存算法的磁盘I/O、优化外存算法的局部性以及设计增量式迭代算法.现有的大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,所提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间. 展开更多

关键词 大数据 MAPREDUCE 外存算法 大数据处理 算法性能优化

下载PDF 职称材料

浅析新能源汽车动力电池统一标准化运营 被引量：8

2

作者 李绍圆 《中国标准化》 2021年第24期138-140,共3页

许多国家都提出了传统燃油汽车退出市场的时间表,新能源汽车取代传统燃油汽车是必然趋势。与传统充电方式相比,动力电池更换方式具有快捷方便的优点,具有广阔的发展前景。统一标准化的动力电池的设计和推广是动力电池替代模式广泛使用... 许多国家都提出了传统燃油汽车退出市场的时间表,新能源汽车取代传统燃油汽车是必然趋势。与传统充电方式相比,动力电池更换方式具有快捷方便的优点,具有广阔的发展前景。统一标准化的动力电池的设计和推广是动力电池替代模式广泛使用的首要条件。本文论述了动力电池统一标准化模式下的运行理念。同时介绍了该模式下的操作,如动力电池的储存、物流分配和维护等。相信通过不断的研究和探索,动力电池标准化将被提上新能源汽车产业的发展日程。 展开更多

关键词 新能源汽车 动力电池标准化 动力电池更换 大数据 核心算法

下载PDF 职称材料

贪心核加速动态规划算法求解折扣{0-1}背包问题 被引量：4

3

作者 史文旭 杨洋 鲍胜利 《计算机应用》 CSCD 北大核心 2019年第7期1912-1917,共6页

针对现有动态规划算法求解折扣{0-1}背包问题(D{0-1}KP)缓慢的问题,基于动态规划思想并结合新型贪心修复优化算法(NGROA)与核算法,通过缩小问题规模加速问题求解来提出一种贪心核加速动态规划(GCADP)算法。首先利用NGROA对问题进行贪心... 针对现有动态规划算法求解折扣{0-1}背包问题(D{0-1}KP)缓慢的问题,基于动态规划思想并结合新型贪心修复优化算法(NGROA)与核算法,通过缩小问题规模加速问题求解来提出一种贪心核加速动态规划(GCADP)算法。首先利用NGROA对问题进行贪心求解,得到非完整项;然后通过计算得到模糊核区间的半径和模糊核区间范围;最后对于模糊核区间内的物品及同一项集内的物品利用基础动态规划(BDP)算法求解。实验结果表明:GCADP算法适用于求解D{0-1}KP,且在求解速度上相比BDP算法平均提升了76.24%,相比FirEGA算法平均提升了75.07%。 展开更多

关键词 折扣{0-1}背包问题 贪心核加速动态规划算法 新型贪心修复优化算法 核算法 基础动态规划

下载PDF 职称材料

工业机器人视觉分拣系统应用设计 被引量：1

4

作者 熊超有 邓溧 +1 位作者 薛富元 罗康 《科技创新与应用》 2023年第23期46-49,共4页

在智能物料生产线上,怎样实现不同产品的自动分拣。该文以ABB机器人和S7-1200系列PLC为控制核心,以机器视觉为基础设计出工业机器人视觉分拣系统,结合触摸屏、视觉检测和传感器检测等技术,实现产品分拣过程全自动化,大幅降低人力成本,... 在智能物料生产线上,怎样实现不同产品的自动分拣。该文以ABB机器人和S7-1200系列PLC为控制核心,以机器视觉为基础设计出工业机器人视觉分拣系统,结合触摸屏、视觉检测和传感器检测等技术,实现产品分拣过程全自动化,大幅降低人力成本,提高生产效率。首先,分析工业机器人分拣系统的总体设计和系统控制流程,再介绍其硬件组成和关键核心算法,通过核心算法能快速对不同物体以及物体所在的不同位置进行自动分拣。最后通过实验运行验证,该控制系统整体运行良好,分拣误判断率低于0.5%,达到预期效果。 展开更多

关键词 工业机器人 S7-1200 PLC 视觉检测 自动分拣 核心算法

下载PDF 职称材料

大型网格模型多分辨率的外存构建与交互绘制 被引量：3

5

作者 张亚萍 熊华 +1 位作者 姜晓红 石教英 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2008年第9期1126-1131,共6页

结合多分辨率、网格排布和基于视点的绘制技术,提出一种外存多分辨率构建和绘制算法.采用适应性八叉树对模型的包围盒进行划分,自顶向下构建模型的多分辨率层次结构,较好地保持了原模型的细节分布;并对多分辨率结构中每个节点所包含的... 结合多分辨率、网格排布和基于视点的绘制技术,提出一种外存多分辨率构建和绘制算法.采用适应性八叉树对模型的包围盒进行划分,自顶向下构建模型的多分辨率层次结构,较好地保持了原模型的细节分布;并对多分辨率结构中每个节点所包含的三角形片段进行网格排布优化,降低了缓存的平均失效率;在实时绘制时,采用基于视点的细节层次选择策略进行模型的细化;最后通过引入数据预取机制来隐藏磁盘I/O延时,进一步提高绘制性能.实验结果表明,该算法在绘制速度与细节保留上均优于同类MRMM算法. 展开更多

关键词 外存算法 大型网格模型 多分辨率表示 网格排布 基于视点的绘制

下载PDF 职称材料

改进顶点聚类方法的并行核外模型简化算法 被引量：5

6

作者 魏子衿 肖丽 《计算机工程与应用》 CSCD 北大核心 2018年第13期181-190,215,共11页

面向大型网格模型的简化问题,提出了一种基于顶点聚类方法采用多数据流策略的并行核外模型简化算法。算法首先将传统顶点聚类简化算法中的代表点计算方法改进为顶点筛选方法,进而设计了一种适用于分布式计算环境的数据外存储策略,最后... 面向大型网格模型的简化问题,提出了一种基于顶点聚类方法采用多数据流策略的并行核外模型简化算法。算法首先将传统顶点聚类简化算法中的代表点计算方法改进为顶点筛选方法,进而设计了一种适用于分布式计算环境的数据外存储策略,最后采用多数据流的思想改进单元筛选与顶点筛选两个方法的执行过程,从而形成完整的并行核外模型简化算法。实验结果表明,该算法有效避免了基于区域分解的并行算法对模型结构的破坏,提高了模型简化的质量;相比于多种现有的并行算法,该算法极大程度优化了并行资源的负载分配问题,具备更为理想的加速比和并行效率。 展开更多

关键词 大型网格模型 网格简化 核外算法 顶点聚类 多数据流 并行计算

下载PDF 职称材料

一种使用八叉树的半空间MLFMA区域分解算法 被引量：3

7

作者 翟畅 林中朝 +1 位作者 赵勋旺 张玉 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2021年第6期144-150,共7页

为了在有限资源的情况下快速准确地分析半空间电大目标的电磁散射特性,提出一种使用八叉树结构的并行半空间多层快速多极子区域分解算法。通过利用多层快速多极子算法在空间中形成的八叉树结构,自适应地对未知量进行分组来实现区域的划... 为了在有限资源的情况下快速准确地分析半空间电大目标的电磁散射特性,提出一种使用八叉树结构的并行半空间多层快速多极子区域分解算法。通过利用多层快速多极子算法在空间中形成的八叉树结构,自适应地对未知量进行分组来实现区域的划分,从而避免了在区域之间创建虚拟交界面,降低了模型的处理工作量。为保证区域间电流的连续性,在边界处严格计算1/4阻抗,使结果更加精确。对于半空间环境,引入复镜像源来计算半空间近相互作用,并且引入实镜像源来计算半空间远相互作用。通过与商业软件FEKO整体解对比分析,证明了算法的可靠性和精确性。采用核外算法将转移因子等复用数据存储在硬盘中,并与整体解资源消耗进行对比,证明这种算法能有效地减少内存消耗。最后,给出一个千波长半空间舰船区域分解算例,证明所提出的算法能够在有限的计算资源情况下仿真电大尺寸模型。 展开更多

关键词 区域分解 并行计算 多层快速多极子 半空间问题 八叉树策略 核外算法

下载PDF 职称材料

数字化技术在碾压式土石坝施工应用的功能分析 被引量：4

8

作者 邓俊晔 胡继峰 +1 位作者 黄国良 尚晓威 《水利水电技术》 CSCD 北大核心 2016年第S1期10-14,19,共6页

数字化大坝施工是数字化技术在碾压式土石坝施工上的一个积极的尝试,即:利用GPS系统、振动传感器结合数据库技术对大坝的施工质量进行监控。但是在这个系统应用的过程中,由于系统架构、数据存储及核心算法的不完善,故系统功能无法满足... 数字化大坝施工是数字化技术在碾压式土石坝施工上的一个积极的尝试,即:利用GPS系统、振动传感器结合数据库技术对大坝的施工质量进行监控。但是在这个系统应用的过程中,由于系统架构、数据存储及核心算法的不完善,故系统功能无法满足相应的要求。本文从系统应具备的功能分析入手,引入有限元的概念,提出了一种全新的系统架构、数据结构及相关的核心算法,尝试为数字化大坝施工提供一个更为符合实际需求的功能设置及全新的用户体验。 展开更多

关键词 数字化技术 碾压式土石坝 功能分析 系统架构 核心算法

下载PDF 职称材料

基于连续HLOD的大规模场景快速绘制算法 被引量：4

9

作者 高宇 邓宝松 +1 位作者 陈鹏 吴玲达 《小型微型计算机系统》 CSCD 北大核心 2007年第7期1267-1271,共5页

大规模场景的快速绘制是虚拟现实技术重要的研究课题之一.为了加速场景的绘制,一般采用层次细节模型和可见性裁剪方法,但是现有算法在处理大规模场景时存在着局限性.本文提出了一种新的大规模场景快速绘制算法,该算法在场景层次划分的... 大规模场景的快速绘制是虚拟现实技术重要的研究课题之一.为了加速场景的绘制,一般采用层次细节模型和可见性裁剪方法,但是现有算法在处理大规模场景时存在着局限性.本文提出了一种新的大规模场景快速绘制算法,该算法在场景层次划分的基础上,利用拓扑结构可变的网格简化方法为场景层次计算连续的分层层次细节模型(HLOD);然后在实时绘制阶段,对场景分层层次细节模型进行视点相关的全局和局部细化,并结合快速有效的视域裁剪,从而大大加速了场景绘制速度.实验结果表明该算法是简单有效的,并且算法还可以进一步扩展到外存方式. 展开更多

关键词 分层层次细节模型 视域裁剪 视点相关细化 外存算法

下载PDF 职称材料

大规模外存场景的交互绘制 被引量：4

10

作者 高宇 魏迎梅 吴玲达 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2007年第6期792-797,共6页

在场景分割的基础上,提出一种连续分层层次细节模型组织场景,并对视点空间进行划分,为每个视点单元计算恰好满足单元内任意视点屏幕像素误差的场景图节点列表,称为cell-front;然后利用cell-front对外存模型的存储进行重新设计.在绘制时... 在场景分割的基础上,提出一种连续分层层次细节模型组织场景,并对视点空间进行划分,为每个视点单元计算恰好满足单元内任意视点屏幕像素误差的场景图节点列表,称为cell-front;然后利用cell-front对外存模型的存储进行重新设计.在绘制时采用多线程技术,绘制线程对当前cell-front进行可见性剔除和视点相关的选择绘制;预取线程采用一种基于视点单元的预取策略,利用视点单元之间cell-front的变化控制预取数据的调度.该算法能够在保证场景绘制质量的前提下,在普通的PC机上实现大规模外存场景的实时交互显示. 展开更多

关键词 交互绘制 大规模场景 连续分层层次细节模型 可见性剔除 外存算法

下载PDF 职称材料

SMS4在第3代数据加密标准算法中的应用研究 被引量：2

11

作者 沈才樑 吴吉义 +1 位作者 汪迎松 陶建林 《电信科学》 北大核心 2012年第1期122-126,共5页

自1999年国务院颁布《商用密码管理条例》以来,3GPP规范的f8加密算法的内核算法KASUMI已不能在中国作为商业化使用,造成中国3G手机在国外漫游受限和国外3G手机在国内漫游受限。本文根据"国内使用专用算法、国际使用标准算法"... 自1999年国务院颁布《商用密码管理条例》以来,3GPP规范的f8加密算法的内核算法KASUMI已不能在中国作为商业化使用,造成中国3G手机在国外漫游受限和国外3G手机在国内漫游受限。本文根据"国内使用专用算法、国际使用标准算法"解决思路,讨论了利用国内商用密码算法SMS4作为f8算法的内核算法的可行性,并通过实验来测试内核算法为SMS4的新f8算法产生的位序列的随机性能,实验结果表明提出的新算法具有较好的性能,可以应用于3G的通信加密。 展开更多

关键词 3G 内核算法 f8算法 SMS4算法

下载PDF 职称材料

医用耗材医保支付规则信息化算法探究——以上海某三甲医院为例 被引量：1

12

作者 张毅 刘明 +2 位作者 李僔逸 王晓影 金文忠 《中国医疗保险》 2022年第11期95-98,共4页

上海医疗保障局制定了相对复杂的医用耗材支付规则,而医疗机构目前大多采用人工判定来设置医用耗材的医保支付规则。随着医保监管精细化要求越来越高,人工判定方式已不适应医疗机构的管理需求。本文通过研究医用耗材目录与医保支付规则... 上海医疗保障局制定了相对复杂的医用耗材支付规则,而医疗机构目前大多采用人工判定来设置医用耗材的医保支付规则。随着医保监管精细化要求越来越高,人工判定方式已不适应医疗机构的管理需求。本文通过研究医用耗材目录与医保支付规则之间的联系,建立数据库,设计逻辑判定规则,探索适合进行信息化开发的核心算法,为建立医用耗材医保支付规则智能审核系统提供设计基础。 展开更多

关键词 医用耗材 医保支付规则 核心算法

下载PDF 职称材料

智慧停车的视频分析技术应用 被引量：2

13

作者 童巍 《现代建筑电气》 2014年第7期36-38,50,共4页

阐述了将传统停车与视频分析技术充分结合的智慧停车管理系统。介绍了视频分析技术的核心算法。智慧停车管理系统提升了车辆的入口、出口通行效率,减少了车主找车的时间,优化了停车库的空气环境。

关键词 视频分析 智慧停车 通行效率 核心算法

下载PDF 职称材料

QuickWalk：一个大规模场景交互漫游系统 被引量：1

14

作者 高宇 邓宝松 +1 位作者 李苏军 吴玲达 《小型微型计算机系统》 CSCD 北大核心 2008年第1期175-179,共5页

随着三维扫描与建模技术的飞速发展,三维场景的数据量急剧增大,无法一次性载入内存,而且难以进行交互绘制.研究开发了一个大规模外存场景的交互漫游系统Quick Walk,该系统集成了视点相关的层次细节技术、可见性剔除和场景数据的内外存调... 随着三维扫描与建模技术的飞速发展,三维场景的数据量急剧增大,无法一次性载入内存,而且难以进行交互绘制.研究开发了一个大规模外存场景的交互漫游系统Quick Walk,该系统集成了视点相关的层次细节技术、可见性剔除和场景数据的内外存调度,能够有效地减少运行时刻的内存需要,使CPU、GPU和I/O三者的效率得到充分发挥.实验表明,在保证场景绘制质量的前提下,该系统能够在目前普通的PC上实现大规模外存场景的实时显示和交互操纵. 展开更多

关键词 大规模场景 交互漫游 分层层次细节模型 外存算法

下载PDF 职称材料

核加速萤火虫算法求解有界背包问题 被引量：1

15

作者 任静敏 潘大志 《数学的实践与认识》 北大核心 2020年第11期172-182,共11页

针对有界背包问题,本文提出一种结合核算法的改进萤火虫算法.首先采用核算法对问题规模进行缩减,为了使算法更适于不同规模的有界背包问题,根据规模对核半径进行自适应控制,对缩减后的剩余物品利用基于Levy飞行的萤火虫算法进行位置更新... 针对有界背包问题,本文提出一种结合核算法的改进萤火虫算法.首先采用核算法对问题规模进行缩减,为了使算法更适于不同规模的有界背包问题,根据规模对核半径进行自适应控制,对缩减后的剩余物品利用基于Levy飞行的萤火虫算法进行位置更新,并对更新后的最优个体进行变异操作以此增加种群多样性.通过仿真实验表明新改进算法能有效求解有界背包问题. 展开更多

关键词 萤火虫算法 有界背包问题 核算法 变异操作 Levy飞行

原文传递

打砖块游戏的算法分析 被引量：1

16

作者 王维 赵高 《电脑编程技巧与维护》 2011年第16期9-10,共2页

打砖块游戏是一款很经典的小游戏,普及广泛。主要分析该游戏的核心算法,并用Java语言实现。

关键词 打砖块游戏 核心算法 JAVA

下载PDF 职称材料

商业数据挖掘中的核心算法

17

作者 王瑞鑫 刘万春 《北京工业大学学报》 CAS CSCD 北大核心 2004年第4期510-514,共5页

为了使企业的管理层能够根据市场需求进行数据挖掘,并基于挖掘出来的规则做出决策,在数据仓库、粗糙集方法等理论的基础上提出了一种核心算法,应用于商业数据挖掘.核心算法从信息表开始,通过属性泛化、求核心属性、属性归约,最终得到由... 为了使企业的管理层能够根据市场需求进行数据挖掘,并基于挖掘出来的规则做出决策,在数据仓库、粗糙集方法等理论的基础上提出了一种核心算法,应用于商业数据挖掘.核心算法从信息表开始,通过属性泛化、求核心属性、属性归约,最终得到由正确率表示的规则.在求核心属性的部分对粗糙集理论中求核心集的方法进行了改进,并给出了相应的证明.核心算法利用SQL语言的功能强大、容易开发、运行稳定等特点,通过SQL语言编程来实现.核心算法具有针对性强、可操作性强等优点. 展开更多

关键词 核心算法 数据挖掘 粗糙集 数据仓库

下载PDF 职称材料

农机设备零部件维修决策的研究 被引量：1

18

作者 孙宇 《农机化研究》 北大核心 2020年第12期210-214,共5页

以提高农机设备零部件维修决策执行的准确性与高效性为目标,对其维修策略进行研究。从农机设备各零部件维修方式多样性角度入手,全面理解农机设备故障表现特性与维修机理,准确分析维修决策的各影响因素,设定维修决策核心算法,构建农机... 以提高农机设备零部件维修决策执行的准确性与高效性为目标,对其维修策略进行研究。从农机设备各零部件维修方式多样性角度入手,全面理解农机设备故障表现特性与维修机理,准确分析维修决策的各影响因素,设定维修决策核心算法,构建农机维修决策模型,并进行决策仿真试验。试验结果表明:在特定的参数条件下,设备的运行时间与检修周期存在逐渐缩短的负相关关系。同时,归纳出复杂结构零部件的维修决策识别与处理方法,仿真试验有效。该研究融入维修管理决策思维,为深层次挖掘设备各部件使用寿命与运作效率间的内在关系提供一定思路,对于实现农机设备最佳维修策略布置与规划有很好的借鉴价值。 展开更多

关键词 农机设备 维修决策 核心算法 决策模型 运作效率

下载PDF 职称材料

虚拟共享存储系统中核外计算的实现

19

作者 李春江 杨学军 《计算机工程与科学》 CSCD 2000年第4期97-99,102,共4页

本文提出了在虚拟共享存储系统中实现核外计算的方法 ,对如何把核外计算与共享存储编程环境相结合进行了详细的讨论 ,提出了核外化页面表的概念 ,给出了相应的数据结构描述 ;同时 ,举例说明这种实现方法的优越性 ,并提出了实现过程中的... 本文提出了在虚拟共享存储系统中实现核外计算的方法 ,对如何把核外计算与共享存储编程环境相结合进行了详细的讨论 ,提出了核外化页面表的概念 ,给出了相应的数据结构描述 ;同时 ,举例说明这种实现方法的优越性 ,并提出了实现过程中的一些优化方法。。 展开更多

关键词 虚拟共享存储系统 核外计算 核外算法

下载PDF 职称材料

光滑粒子动力学核心算法与软件开发中的关键问题

20

作者 刘谋斌 邵家儒 《计算机辅助工程》 2011年第1期148-154,共7页

针对光滑粒子动力学(Smoothed Particle Hydrodynamics,SPH)软件开发中诸多关键性问题未得到解决、开发进程相对滞后的问题,从SPH的精度、粒子近似离散格式、粒子分布和大小、变形的自适应、时间积分步长的自适应及边界算法和耦合算法... 针对光滑粒子动力学(Smoothed Particle Hydrodynamics,SPH)软件开发中诸多关键性问题未得到解决、开发进程相对滞后的问题,从SPH的精度、粒子近似离散格式、粒子分布和大小、变形的自适应、时间积分步长的自适应及边界算法和耦合算法等方面,分析核心算法以及SPH软件开发中的关键问题,如高性能计算与SPH方法的并行实现、前处理与粒子生成、后处理与可视化等.根据不同问题提出几种可行的解决方案,为SPH软件开发提供参考. 展开更多

关键词 光滑粒子动力学 核心算法 软件开发

下载PDF 职称材料