-
题名并行计算框架的内存优化算法研究
被引量：1
- 1
-
-
作者
杨帆
高国静
张怡锋
-
机构
广东省中医院珠海医院信息科
清远市中医院信息科
-
出处
《信息技术》
2020年第8期132-135,140,共5页
-
文摘
传统的大数据内存分配算法存在运行速度慢、分配不均匀的问题,为此,提出一种新的并行计算框架的内存优化算法。通过利用无监督贪婪模式逐层训练方法进行训练学习并建立并行框架,采用分布式存储的方法对数据进行承载,最大程度提升运算性能。同时,对较小内存Task做分化处理,保证算法的执行效率,并且会避免不必要的溢出操作。实验结果证明,相比于传统算法,所提算法的内存分配情况更合理、运行速度快,内存分配效果更好。
-
关键词
大数据
数据库管理系统
分布式独立内存
分配算法
-
Keywords
big data
database management system
distributed independent memory
allocation algorithm
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名大数据网络分布式独立内存分配算法研究
- 2
-
-
作者
李浩光
-
机构
广东工程职业技术学院
-
出处
《科技通报》
2021年第4期37-41,共5页
-
文摘
传统的大数据内存分配算法因数据承载方式混乱等原因而存在运行速度慢、分配不均匀的问题,为此,研究一种新的大数据网络分布式独立内存分配算法。通过多层限制玻尓兹曼机堆叠形成数据库管理系统,并构建大数据网络分布式内存框架;然后利用无监督贪婪模式逐层训练方法构建并行框架,采用分布式存储的方法实现数据承载。同时,对较小内存Task做分化处理,小内存Task实际申请到的内存为本文算法直接给予其申请内存的一半或空闲内存的最小数值,大内存Task则是在源码所利用的公平分配算法内对所有的Task能够适用内存的最小保障,以此避免不必要的溢出操作。实验发现:该算法的内存分配情况更合理、运行速度快,内存分配效果明显优于传统系统。
-
关键词
大数据
数据库管理
分布式独立内存
内存分配
-
Keywords
big data
database management
distributed independent memory
memory allocation
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
