期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
Kubernetes异构资源细粒度调度策略的设计与实现 被引量:5
1
作者 刘志彬 黄秋兰 +3 位作者 胡庆宝 程耀东 胡誉 田浩来 《计算机工程》 CAS CSCD 北大核心 2023年第2期31-36,45,共7页
在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源... 在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。 展开更多
关键词 云计算 Kubernetes调度 异构资源 资源调度 CPU/GPU集群
下载PDF
LHAASO地面簇射粒子阵列在线实时分布式数据处理 被引量:6
2
作者 卢晓旭 顾旻皓 +1 位作者 朱科军 李飞 《核技术》 CAS CSCD 北大核心 2020年第4期76-84,共9页
高海拔宇宙线观测站(Large High Altitude Air Shower Observatory,LHAASO)是"十二五"批复立项的国家重大科技基础设施,是我国海拔最高的大科学基础设施之一,核心目标是探索高能宇宙线。作为LHAASO的重要组成,地面簇射粒子阵... 高海拔宇宙线观测站(Large High Altitude Air Shower Observatory,LHAASO)是"十二五"批复立项的国家重大科技基础设施,是我国海拔最高的大科学基础设施之一,核心目标是探索高能宇宙线。作为LHAASO的重要组成,地面簇射粒子阵列(square KiloMeter detector Array,KM2A)建成探测阵列面积高达1 km^2。不同于大多高能物理实验,KM2A共约6 500路通道,总输入约546 MB·s^(-1),没有硬件触发功能,因此,需要软件完成触发与数据处理。采用基于标准以太网和TCP/IP协议的数据传输方案,接收包括所有探测器单元同一时间的全部组包数据,利用配置的触发算法对数据包进行在线处理与计算,将具有物理意义的数据提取、打包,组成不同的有物理标签的事例,并按照配置的输出规则将这些事例送出至不同的接收方,实现了实时分布式算法调度与数据处理。软件可以实时触发筛选,降低数据量,减轻传输与存储的负担。软件已在4 410 m海拔实验现场的数据中心投入使用,至今为止一直运行良好。 展开更多
关键词 分布式软件 数据获取系统 在线实时数据处理 软件触发
原文传递
面向同步辐射光源图像的可并行智能压缩方法 被引量:3
3
作者 符世园 张敏行 +2 位作者 高宇 汪璐 程耀东 《计算机工程》 CAS CSCD 北大核心 2023年第1期234-241,249,共9页
在建的高能同步辐射光源预计会产生海量原始数据,其中硬X射线实验线站产生的图像数据占比最高且具有高分辨率和高帧率的特点,亟需有效的无损压缩方法缓解存储和传输压力,然而现有通用无损压缩方法对该类图像压缩效果不佳,基于深度学习... 在建的高能同步辐射光源预计会产生海量原始数据,其中硬X射线实验线站产生的图像数据占比最高且具有高分辨率和高帧率的特点,亟需有效的无损压缩方法缓解存储和传输压力,然而现有通用无损压缩方法对该类图像压缩效果不佳,基于深度学习的无损压缩方法又耗时较长。结合同步辐射光源图像的特点,提出一种在保证图像压缩比前提下的可并行智能无损图像压缩方法。通过参数自适应的可逆分区量化方法,大幅缩小图像经过时间差分后的像素值分布范围,能够节省20%以上的存储空间。将以CNN为基础架构的时空学习网络C-Zip作为概率预测器,同时以数据集为单位过拟合训练模型进一步优化图像压缩比。针对压缩过程中耗时较长的算术编码过程,利用概率距离量化代替算术编码,结合深度学习进行无损编码,增加编码过程的并行度。实验结果表明,该方法的图像压缩比相比于PNG、FLIF等传统图像无损压缩方法提升了0.23~0.58,对于同步辐射光源图像具有更好的压缩效果。 展开更多
关键词 无损压缩 同步辐射光源图像 深度学习 可逆量化 概率距离
下载PDF
面向高能物理分级存储的文件访问热度预测 被引量:4
4
作者 程振京 汪璐 +3 位作者 程耀东 陈刚 胡庆宝 李海波 《计算机工程》 CAS CSCD 北大核心 2021年第2期126-132,共7页
高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低。提出一种借助长短期记忆网络预测文件未... 高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低。提出一种借助长短期记忆网络预测文件未来访问热度的方法,包括网络结构设计、训练和预测算法等。该方法通过划分动态时间窗口构造文件访问特征的时序序列,预测不同数据的访问趋势。在LHAASO高能物理实验数据集上的实验结果表明,与SVM、MLP等算法相比,该方法预测准确率提升了30%左右,具有更强的适用性。 展开更多
关键词 分级存储 文件访问特征 时序数据 长短期记忆网络 文件访问热度
下载PDF
LHAASO模拟作业从X86到ARM计算集群的移植
5
作者 程垚松 毕玉江 +1 位作者 郭超奇 闫晓飞 《数据与计算发展前沿》 CSCD 2024年第3期83-91,共9页
【目的】随着高能物理实验的推进与先进探测器的研发,产生的科学大数据显著增加,通过对这些数据的分析和模拟,可以发现宇宙运行规律并进一步探索宇宙的起源。【应用背景】科学数据的爆炸式增长对计算资源的规模和性能提出了更多的需求... 【目的】随着高能物理实验的推进与先进探测器的研发,产生的科学大数据显著增加,通过对这些数据的分析和模拟,可以发现宇宙运行规律并进一步探索宇宙的起源。【应用背景】科学数据的爆炸式增长对计算资源的规模和性能提出了更多的需求。例如,高海拔宇宙线观测站(LHAASO)自2020年实验开始运行以来,其宇宙线事例模拟作业一直在Intel X86集群上运行,但由于CPU资源有限,仅生产了第一阶段计划数据的一部分。【方法】基于对计算资源的需求和国际局势的变化,利用中国广东省东莞市的ARM架构计算集群,探索了异构计算服务设备在高能物理领域的应用。【结果】本文构建了一个完整的支持高能物理离线数据处理的应用程序生态环境。将基于平方公里阵列(KM2A)、水切伦科夫探测器阵列(WCDA)和广角切伦科夫望远镜阵列(WFCTA)实验的离线软件移植到ARM机器上运行,制定跨异地站点和异构计算集群的数据传输和作业调度策略,并评估了模拟作业在Intel X86和ARM集群中的性能和功耗差异。【结论】该环境中,移植的LHAASO模拟作业在ARM计算集群可以正确运行;虽然基于Intel X86架构的CPU单核性能优于ARM CPU,但是对于多核架构的整个服务器来说,ARM服务器性能更好。 展开更多
关键词 科学大数据 数据处理 异构计算 ARM架构
下载PDF
海面溢油激光探测系统接收装置的研究
6
作者 吴培良 王智伟 +2 位作者 孔德明 马勤勇 崔永强 《计量学报》 CSCD 北大核心 2024年第9期1281-1290,共10页
提出一款适用于海面溢油激光探测系统的接收装置,通过对该装置中的平行光管、光学天线以及积分球等光学部件进行研究,分析了激光在装置中的能量传输变换等系列问题。然后,以不同油膜厚度对应的激光反射信号强度作为仿真参数,在不同海况... 提出一款适用于海面溢油激光探测系统的接收装置,通过对该装置中的平行光管、光学天线以及积分球等光学部件进行研究,分析了激光在装置中的能量传输变换等系列问题。然后,以不同油膜厚度对应的激光反射信号强度作为仿真参数,在不同海况下验证了接收装置的有效性。结果表明,同一油膜厚度下,经过接收装置的激光强度远小于未经过接收装置的激光强度,此外,在平静海面或风速为0.3、0.5和0.8 m/s的微浪海面下,使用经过接收装置后的激光强度可以有效反演海面油膜厚度。 展开更多
关键词 几何量计量 海面溢油 激光探测系统 激光接收装置 油膜厚度
下载PDF
基于随机森林的高能物理数据放置策略 被引量:1
7
作者 程振京 程耀东 +3 位作者 陈刚 汪璐 李海波 胡庆宝 《计算机工程与应用》 CSCD 北大核心 2020年第21期60-64,共5页
随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境... 随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。 展开更多
关键词 随机森林 分布式存储系统 异构存储 存储池 数据放置策略 访问场景
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部