栅格地理数据并行格式转换引擎 被引量：1

1

作者 张帅 李满春 +2 位作者 陈振杰 黄涛 姜晓慧 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第5期9-14,共6页

如今大规模地理数据正在社会各个部门和组织中迅速积累,但是由于部门利益和历史沿袭等原因,大规模地理数据共享仍然极具挑战,相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之一,传统单机地理数据格式转换技术,一方面受限... 如今大规模地理数据正在社会各个部门和组织中迅速积累,但是由于部门利益和历史沿袭等原因,大规模地理数据共享仍然极具挑战,相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之一,传统单机地理数据格式转换技术,一方面受限于磁盘读写及带宽瓶颈,另一方面面对日趋庞大的数据规模,已很难满足实际应用需求。因此提出一种针对栅格地理数据的并行格式转换引擎,采用高性能计算集群环境支持大规模栅格地理数据转换共享,大幅降低了大规模栅格地理数据转换过程的时间成本。栅格地理数据并行格式转换引擎采用基于公共接口的设计理念,框架灵活、具有良好的扩展性,支持地理数据格式的读写自定义以及新数据格式添加,能够实现接入数据格式间的任意两两转换。为验证引擎框架及其处理效率,在Lustre并行集群环境下以格网数据交换格式(国家地理空间数据交换格式)向常见栅格地理格式的转换为示例进行了测试实验。结果表明,栅格地理数据并行格式转换引擎能够在8个节点Lustre集群中达到7.54的良好并行加速比。 展开更多

关键词 栅格数据格式转换 并行计算 高性能计算 地理计算 lustre并行文件系统

下载PDF 职称材料

面向搜索引擎的分布式文件系统性能分析 被引量：12

2

作者 董守斌 赵铁柱 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第4期7-14,共8页

搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开... 搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考. 展开更多

关键词 搜索引擎 分布式文件系统 HDFS文件系统 lustre文件系统 性能分析 性能优化

下载PDF 职称材料

可扩展的分布式元数据管理系统设计 被引量：6

3

作者 黄秋兰 程耀东 +1 位作者 杜然 陈刚 《计算机工程》 CAS CSCD 北大核心 2015年第5期26-32,37,共8页

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据... 为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。 展开更多

关键词 元数据管理 动态 可扩展 元数据分布 Ceph文件系统 Gluster文件系统 lustre文件系统

下载PDF 职称材料

基于Lustre的大规模文件系统拥塞控制算法的研究 被引量：4

4

作者 张钰森 吴庆波 谭郁松 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期189-193,共5页

在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥... 在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥塞原因提出了一种大规模存储下的拥塞控制算法——状态感知拥塞控制算法.对比拥塞控制前后Lustre文件系统的测试结果可以发现,该算法极大地提高了Lustre文件系统在大规模存储情况下的性能,提高了Lustre文件系统的扩展性. 展开更多

关键词 lustre文件系统 大规模存储 状态感知拥塞控制

下载PDF 职称材料

面向Lustre集群存储的应用日志分析及系统自动优化框架 被引量：1

5

作者 程稳 李焱 +5 位作者 曾令仿 王芳 唐士程 杨力平 冯丹 曾文君 《计算机工程与科学》 CSCD 北大核心 2022年第4期594-604,共11页

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战... 在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。 展开更多

关键词 lustre文件系统 日志分析 系统优化 服务质量 资源管理

下载PDF 职称材料

一种改进的基于缓存池机制的小文件I/O策略 被引量：2

6

作者 聂瑞华 谢文君 梁军 《计算机工程与应用》 CSCD 北大核心 2016年第16期210-215,共6页

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写... Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法(LRU)更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。 展开更多

关键词 lustre文件系统 全相联映射 近期最少使用算法(LRU) I/O性能

下载PDF 职称材料

面向Lustre集群存储的错误日志分析及系统优化

7

作者 程稳 李焱 +5 位作者 曾令仿 王芳 唐士程 杨力平 冯丹 曾文君 《计算机科学》 CSCD 北大核心 2022年第10期1-9,共9页

集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的... 集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的不断融入,使得集群存储系统日益庞杂,集群存储系统自身引发的错误层出不穷,给各类研发人员带来了困扰与挑战。针对以上问题,提出了面向Lustre集群存储的错误日志分析及系统优化策略,通过收集连续1 673天的错误日志,研究了近2.26 GB的Lustre错误日志,分析了多个版本Lustre错误的特点与问题,揭示了集群存储系统各方面的不足与错误,研究了不同Lustre版本错误的影响因素,总结了Lustre集群在实际生产环境中的常见错误,并给出了相应的解决方案。对Lustre系统研发有了许多新的见解,并总结了14个发现,最后通过采集333天的新增错误记录对14个发现进行了相关验证,给出了一些系统错误优化实例。相关测试表明,优化实例可以显著减少错误数量,提高系统的可用性和稳定性,研究结果和建议对集群存储系统本身的发展以及集群存储系统的运行和维护都有一定的参考价值。 展开更多

关键词 lustre文件系统 日志分析 系统优化 错误 可靠性

下载PDF 职称材料

NEMO模式系统基于“天河一号”的存储性能分析与优化 被引量：1

8

作者 朱小谦 孙超 +2 位作者 孟祥飞 张保 冯景华 《计算机应用》 CSCD 北大核心 2012年第5期1411-1414,共4页

在"天河一号"超级计算机上测试NEMO模式系统,针对NEMO模式在进行大量进程并发存储时所导致的整体应用性能下降问题,提出了并发进程分组输出优化方法。通过将大量并发存储的进程进行合理分组并排队输出,以解决大量进程同时读... 在"天河一号"超级计算机上测试NEMO模式系统,针对NEMO模式在进行大量进程并发存储时所导致的整体应用性能下降问题,提出了并发进程分组输出优化方法。通过将大量并发存储的进程进行合理分组并排队输出,以解决大量进程同时读写文件时对存储资源的竞争所导致的存储效率下降问题。测试表明,在使用分组输出优化方法后,NEMO模式GYRE012算例的存储性能最高可提升33%以上,总体时间性能最高可提升28%以上。 展开更多

关键词 “天河一号” 并发进程分组输出 NEMO模式系统 GYRE012算例 lustre文件系统

下载PDF 职称材料

高性能计算平台的IO性能测试与分析 被引量：7

9

作者 李亮 聂瑞华 《计算机与现代化》 2011年第6期160-164,共5页

在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件... 在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。 展开更多

关键词 高性能计算 并行IO性能 并行文件系统 IO性能测试 lustre文件系统

下载PDF 职称材料

面向并行文件系统的性能评估及相对预测模型 被引量：7

10

作者 赵铁柱 董守斌 +1 位作者 Verdi MARCH Simon SEE 《软件学报》 EI CSCD 北大核心 2011年第9期2206-2221,共16页

基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相... 基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相关性，为了挖掘并利用这种相关性信息，提出了一种相对性能预测模（RPPModel）来预测不同性能因子条件下的性能．为了验证RPPModel的有效性，设计了大量实验用例．结果表明，预测结果的平均相对误差能够控制在170／o---28％的范围内，易于使用且具有较好的预测准确度． 展开更多

关键词 并行文件系统 性能评估 性能模型 lustre文件系统

下载PDF 职称材料

面向大规模集群的并行I/O用户层配置优化策略 被引量：5

11

作者 田鸿运 武林平 +3 位作者 董勇 景翠萍 罗红兵 莫则尧 《国防科技大学学报》 EI CAS CSCD 北大核心 2020年第2期23-30,共8页

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性... 影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。 展开更多

关键词 并行I/O优化策略 lustre文件系统 大规模集群 传输数据量 条带数

下载PDF 职称材料