期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到104篇文章
< 1 2 … 6 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
海量遥感数据的高性能地学计算应用与发展分析 被引量：14
1
作者 杨海平 沈占锋 +1 位作者 骆剑承 吴炜 《地球信息科学学报》 CSCD 北大核心 2013年第1期128-136,共9页
航空及航天遥感器的快速发展,使得多源、多时空分辨率的遥感数据成TB级增长,对海量遥感数据的高性能计算与处理提出了更高的要求。据此,当前的遥感应用已经吸收了新型硬件架构计算、集群计算和分布式计算等高性能计算领域的最新技术。... 航空及航天遥感器的快速发展,使得多源、多时空分辨率的遥感数据成TB级增长,对海量遥感数据的高性能计算与处理提出了更高的要求。据此,当前的遥感应用已经吸收了新型硬件架构计算、集群计算和分布式计算等高性能计算领域的最新技术。本文针对高性能计算处理海量遥感数据的效率问题,分别从分布式并行遥感文件系统和高性能遥感地学计算模式两个方面来论述该问题的研究进展;在此基础上,列举了当前具有代表性的集群和分布式遥感计算平台/系统,并结合具体实验工作,详细阐述了遥感高性能计算平台gDos-IPM(Geospatial Data Operation System-Image Processing Machine)的设计思路;最后总结了高性能遥感地学计算的发展趋势。 展开更多
关键词 并行文件系统 多核 图形处理器 集群 分布式计算
原文传递
并行I/O技术研究 被引量：8
2
作者 刘敏 王意洁 《计算机应用研究》 CSCD 北大核心 2003年第8期29-31,共3页
从分析提高I/O性能的途径开始,对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨,最后介绍了几个著名的并行文件系统。
关键词 并行I/O 并行文件系统 高性能计算
下载PDF
并行文件系统中适度贪婪的Cache预取一体化算法 被引量：6
3
作者 卢凯 金士尧 卢锡城 《计算机学报》 EI CSCD 北大核心 1999年第11期1172-1177,共6页
传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法．在并行科学计算应用的Ｉ／Ｏ访问模式下，简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ 命中率．该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａ... 传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法．在并行科学计算应用的Ｉ／Ｏ访问模式下，简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ 命中率．该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａｃｈｅ 和预取一体化算法（ＰＧＩ）．该算法充分利用了并行文件系统环境的特点，采用了适度贪婪的动态滑窗技术，可以有效地消除预取时的抖动，降低系统处理开销；并同时采用了Ｃａｃｈｅ 和预取一体化的淘汰损失估计算法，使淘汰的损失降到最低点，在整体上提供了较短的Ｉ／Ｏ 展开更多
关键词 并行文件系统 预取 CACHE 操作系统 算法
下载PDF
并行文件系统研究综述 被引量：5
4
作者 霍严梅 杨可新 +1 位作者 胡亮 鞠九滨 《小型微型计算机系统》 CSCD 北大核心 2008年第9期1631-1636,共6页
对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的... 对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作. 展开更多
关键词 并行文件系统 体系结构 数据存储 数据缓冲和预取 一致性策略 容错
下载PDF
高性能计算平台的IO性能测试与分析 被引量：7
5
作者 李亮 聂瑞华 《计算机与现代化》 2011年第6期160-164,共5页
在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件... 在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。 展开更多
关键词 高性能计算 并行IO性能 并行文件系统 IO性能测试 LUSTRE文件系统
下载PDF
面向并行文件系统的性能评估及相对预测模型 被引量：7
6
作者 赵铁柱 董守斌 +1 位作者 Verdi MARCH Simon SEE 《软件学报》 EI CSCD 北大核心 2011年第9期2206-2221,共16页
基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相... 基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相关性，为了挖掘并利用这种相关性信息，提出了一种相对性能预测模（RPPModel）来预测不同性能因子条件下的性能．为了验证RPPModel的有效性，设计了大量实验用例．结果表明，预测结果的平均相对误差能够控制在170／o---28％的范围内，易于使用且具有较好的预测准确度． 展开更多
关键词 并行文件系统 性能评估 性能模型 LUSTRE文件系统
下载PDF
并行文件系统集中式元数据管理高可用系统设计 被引量：6
7
作者 庞丽萍 何飞跃 +1 位作者 岳建辉 徐婕 《计算机工程与科学》 CSCD 2004年第11期87-88,97,共3页
本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户... 本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户是完全透明的。最后,本文阐述了各个模块的实现,并对该系统进行了可靠性分析。 展开更多
关键词 并行文件系统 元数据管理 内核模块 高可用系统 服务器 冗余 客户端 故障屏蔽 功能 可靠性
下载PDF
并行文件系统的设计 被引量：4
8
作者 李群 谢立 孙种秀 《计算机科学》 CSCD 北大核心 1996年第4期35-39,共5页
随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘... 随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统, 展开更多
关键词 并行文件系统 设计 操作系统
下载PDF
优化系统配置提高GeoEast系统运行效率 被引量：6
9
作者 陈继红 赵书华 +1 位作者 祝宽海 王仕检 《物探装备》 2010年第4期219-222,共4页
本文介绍了GeoEast处理解释一体化应用软件的使用技巧:如何配置和优化复杂的PC-Cluster集群环境,通过配置系统的硬、软件,合理使用共享盘、临时数据和并行文件系统,从而达到提高GeoEast大型应用软件系统运行效率的目的。
关键词 GeoEast软件系统 优化系统配置 共享盘 文件系统 并行文件系统
下载PDF
GPFS文件系统的安装配置与维护 被引量：6
10
作者 张新诺 王彬 《计算机技术与发展》 2018年第5期174-178,共5页
GPFS是一款成熟的并行文件系统,该系统具有稳定性好、扩展性高、数据读写速度快等特点,广泛应用于AIX和Linux操作系统的服务器集群中。虽然GPFS文件系统稳定性高,但GPFS文件系统是依托在操作系统和存储介质中的软件,当操作系统或存储介... GPFS是一款成熟的并行文件系统,该系统具有稳定性好、扩展性高、数据读写速度快等特点,广泛应用于AIX和Linux操作系统的服务器集群中。虽然GPFS文件系统稳定性高,但GPFS文件系统是依托在操作系统和存储介质中的软件,当操作系统或存储介质发生故障时,也会造成GPFS文件系统无法正常使用。在处理GPFS文件系统故障时,需要使用相关命令并配合不同的参数对文件系统的相关内容进行配置和创建。文中的主要目的是为了说明GPFS文件系统相关命令及命令中各项参数的作用和使用方式,能够使维护人员更好地了解和维护GPFS文件系统。同时,也对文件系统在Linux平台中出现问题时如何有效使用GPFS命令解决故障,如何有效保护数据安全和数据完整性,及如何恢复文件系统的正常运行等方面进行探讨。 展开更多
关键词 并行文件系统 GPFS NSD 重建文件系统
下载PDF
面向算力网络的跨域数据管理方法
11
作者 鲁蔚征 戴奇志 张策 《大数据》 2024年第2期94-108,共15页
跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源... 跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源作为一种补充,应对高IOPS应用;通过容器绑定技术,将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示,该方案能够满足常见高性能计算应用需求。 展开更多
关键词 算力网络 并行文件系统 数据管理 异构存储资源
下载PDF
高校大型高性能计算平台建设模式探讨 被引量：6
12
作者 盛乐标 周庆林 +1 位作者 游伟倩 张予倩 《实验室科学》 2019年第6期158-161,共4页
随着高性能计算资源需求的不断增长,大型高性能计算集群的建设越来越多,但大型高性能计算集群建设不同于传统的数据中心建设。由于高性能计算集群的高密度属性,其在机房设计、运营管理等方面都与传统的数据中心有着很大不同。结合南京... 随着高性能计算资源需求的不断增长,大型高性能计算集群的建设越来越多,但大型高性能计算集群建设不同于传统的数据中心建设。由于高性能计算集群的高密度属性,其在机房设计、运营管理等方面都与传统的数据中心有着很大不同。结合南京大学两套大规模计算集群的建设经验,对集群建设过程中涉及的主要问题进行了总结,其中包括机房选择、软硬件选型等方面的问题,并在运营管理等方面进行探讨,为进一步提高国内高校大型高性能计算平台的建设提供一些参考。 展开更多
关键词 高性能计算 集群 并行文件系统
下载PDF
高可用并行文件系统的分布式元数据管理 被引量：3
13
作者 李胜利 唐维 +2 位作者 石柯 程斌 蒙廷友 《应用科学学报》 CAS CSCD 北大核心 2005年第3期297-299,共3页
提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.
关键词 并行文件系统 分布式 高可用 元数据管理 HANDY 管理方式 可扩展性 数据服务
下载PDF
并行文件系统简介及主流产品对比 被引量：3
14
作者 肖伟 赵以爽 《邮电设计技术》 2012年第7期31-36,共6页
对并行文件的主要功能及作用进行了描述,并对各类并行文件系统的技术原理进行了分析;通过对不同产品的元数据管理及锁管理的实现机制的分析,给出了相应技术指标的比较,同时分析不同机制下的优缺点,并结合中国联通BSS系统的特性,给出了... 对并行文件的主要功能及作用进行了描述,并对各类并行文件系统的技术原理进行了分析;通过对不同产品的元数据管理及锁管理的实现机制的分析,给出了相应技术指标的比较,同时分析不同机制下的优缺点,并结合中国联通BSS系统的特性,给出了各类共享文件系统的适用场景。 展开更多
关键词 本地文件系统 网络文件系统 并行文件系统 元数据管理 锁管理
下载PDF
基于代理的并行文件系统元数据优化与实现 被引量：5
15
作者 易建亮 陈志广 +1 位作者 肖侬 卢宇彤 《计算机研究与发展》 EI CSCD 北大核心 2018年第2期438-446,共9页
在高性能计算环境中,并行文件系统面临百万量级的客户端,这些客户端往往在同一时间段内发出大量并发I/O请求,使元数据服务器承载巨大的压力.另一方面,这些客户端发出的并发读写请求往往指向同一目录,导致很难将元数据负载调度到多个服... 在高性能计算环境中,并行文件系统面临百万量级的客户端,这些客户端往往在同一时间段内发出大量并发I/O请求,使元数据服务器承载巨大的压力.另一方面,这些客户端发出的并发读写请求往往指向同一目录,导致很难将元数据负载调度到多个服务器上.为此,提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy),并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件,可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上,降低元数据服务器的负载;2)高性能计算程序的并发I/O往往指向同一目录,而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上,无法实现针对同一目录元数据操作的负载均衡,通过代理将针对同一目录的元数据操作调度到多个元数据服务器上,实现细粒度的负载均衡. 展开更多
关键词 代理服务器 高并发 高性能计算 并行文件系统 负载均衡
下载PDF
并行文件系统下数据迁移功能的实现 被引量：5
16
作者 张玺 《北京信息科技大学学报（自然科学版）》 2012年第5期77-80,共4页
针对大量气象数据从磁盘到磁带数据迁移问题,分析数据迁移工作特点及功能需求,采用并行文件系统与存储管理软件相结合的方法,建立了数据迁移模型,开发了数据迁移接口脚本,实现了数据的自动迁移功能,为用户提供海量存储空间,方便用户直... 针对大量气象数据从磁盘到磁带数据迁移问题,分析数据迁移工作特点及功能需求,采用并行文件系统与存储管理软件相结合的方法,建立了数据迁移模型,开发了数据迁移接口脚本,实现了数据的自动迁移功能,为用户提供海量存储空间,方便用户直接检索。 展开更多
关键词 并行文件系统 存储管理软件 数据迁移 迁移接口脚本
下载PDF
并行科学计算应用的动态I/O模式分析 被引量：5
17
作者 卢凯 金士尧 《国防科技大学学报》 EI CAS CSCD 1999年第4期75-78,共4页
设计高性能并行文件系统的关键前提是对 Ｉ／ Ｏ 访问模式的分析和研究。并行文件系统的界面、组织结构、ｃａｃｈｅ 预取算法等都与具体应用的 Ｉ／ Ｏ 模式紧密相关。目前，大多数对 Ｉ／ Ｏ 模式的分析局限于其静态模式，而动态 ... 设计高性能并行文件系统的关键前提是对 Ｉ／ Ｏ 访问模式的分析和研究。并行文件系统的界面、组织结构、ｃａｃｈｅ 预取算法等都与具体应用的 Ｉ／ Ｏ 模式紧密相关。目前，大多数对 Ｉ／ Ｏ 模式的分析局限于其静态模式，而动态 Ｉ／ Ｏ 模式对并行文件系统的设计至关重要。本文通过分析并行科学计算应用的动态 Ｉ／ Ｏ 访问模式，总结出科学计算应用在访问数据量、时间间隔、访问顺序性等空间、时间上的一般访问特性，并在此基础上提出设计面向并行科学计算应用的并行文件系统应考虑的因素。 展开更多
关键词 并行科学计算 I/O模式 并行文件系统 计算机
下载PDF
基于机器学习的并行文件系统性能预测 被引量：5
18
作者 赵铁柱 董守斌 +2 位作者 董守斌 Verdi March Simon See 《计算机研究与发展》 EI CSCD 北大核心 2011年第7期1202-1215,共14页
并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统... 并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%～32.1%之间,具有较好预准确度. 展开更多
关键词 并行文件系统 性能评估 性能预测 性能模型 机器学习
下载PDF
基于分布式共享存储系统的并行文件子系统DPFS 被引量：4
19
作者 章隆兵 陈意云 +1 位作者 章锋 陈国良 《计算机研究与发展》 EI CSCD 北大核心 2002年第3期360-366,共7页
为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量... 为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。 展开更多
关键词 分布式共享存储系统 文件映射接口 DPFS 并行文件子系统 工作站网络
下载PDF
Lustre并行文件系统在地震数据处理中的应用 被引量：5
20
作者 杜吉国 孙孝萍 +2 位作者 陈继红 柴军丽 高绘生 《物探装备》 2013年第5期294-299,共6页
随着石油勘探技术的发展,传统网络文件系统(NFS)的I/O性能严重制约了海量地震数据处理的效率,基于对象存储的Lustre并行文件系统可以解决NFS文件系统在可扩展性、可用性和性能上的问题。本文简要介绍了Lustre并行文件系统的架构及其优势... 随着石油勘探技术的发展,传统网络文件系统(NFS)的I/O性能严重制约了海量地震数据处理的效率,基于对象存储的Lustre并行文件系统可以解决NFS文件系统在可扩展性、可用性和性能上的问题。本文简要介绍了Lustre并行文件系统的架构及其优势,以及在GeoEast地震数据处理系统中的应用。实际应用证明Lustre并行文件系统能有效降低GeoEast处理系统的I/O瓶颈。 展开更多
关键词 地震数据处理 并行文件系统 LUSTRE NFS GeoEast
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 6 下一页 到第 页
使用帮助 返回顶部