基于OpenStack的云存储系统的大文件存储方案 被引量：10

1

作者 邵珠兴 陈彩 《计算机工程与设计》 北大核心 2015年第2期396-400,405,共6页

为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略... 为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。 展开更多

关键词 OPENSTACK Swift云存储 大文件 存储方案

下载PDF 职称材料

进度显示的大文件上传组件的设计与实现 被引量：5

2

作者 白鹤 吕红亮 王劲林 《计算机工程与应用》 CSCD 北大核心 2009年第5期91-94,共4页

文件上传是互联网的一个基本应用,HTTP协议中RFC1867实现的操作存在可控性差、大文件传输易超时等不足。基于UGiA-PHP-UPLOADER架构,提出了一种支持进度显示的大文件高效上传的方法。它在服务器端通过自定义高端端口接收上传内容,遵循... 文件上传是互联网的一个基本应用,HTTP协议中RFC1867实现的操作存在可控性差、大文件传输易超时等不足。基于UGiA-PHP-UPLOADER架构,提出了一种支持进度显示的大文件高效上传的方法。它在服务器端通过自定义高端端口接收上传内容,遵循协议解析并生成状态文件,并基于哈希映射算法对临时文件分配存储;客户端使用XMLHTTP技术异步请求服务端数据指导进度条。 展开更多

关键词 XMLHTTP 文件上传 进度显示 大文件 哈希表

下载PDF 职称材料

广域网大数据传输方案的实现 被引量：2

3

作者 欧阳侃夫 呼和 《计算机应用》 CSCD 北大核心 2014年第A01期35-37,共3页

针对石油专题数据单体文件数据量大的特点,在数据备份过程中,需考虑大文件传输、传输速度以及传输中断后续传的问题。通过分析大文件传输要点及数据传输方式,提出了一种广域网大文件传输解决方案。发送端将单个文件分块,分块数据采用用... 针对石油专题数据单体文件数据量大的特点,在数据备份过程中,需考虑大文件传输、传输速度以及传输中断后续传的问题。通过分析大文件传输要点及数据传输方式,提出了一种广域网大文件传输解决方案。发送端将单个文件分块,分块数据采用用户数据报协议(UDP)传输并在应用层模拟传输控制协议(TCP)的"三次握手"过程,接收端组合分块数据,最后形成完整文件。测试结果表明,该方案能实现企业内部广域网内单体海量数据文件的传输并保证较高的传输速度。 展开更多

关键词 数据传输 大文件 断点续传 传输控制协议 用户数据报协议

下载PDF 职称材料

用C#实现大文件切割与合并

4

作者 斯琴高娃 《软件》 2012年第7期14-17,共4页

我们经常需要将大文件切割成若干小文件来携带或传输,然后在另一台计算机上再度合并。本文介绍了文件切割与合并的原理,以及自动产生.exe合并程序和自动删除合并程序等技巧,并提供了关键部分的C#源代码。

关键词 C#源代码 大文件 切割 合并

下载PDF 职称材料

基于ASP.NET的文件上传和下载模块实现的研究

5

作者 谢生锋 《电脑知识与技术（过刊）》 2012年第8X期5617-5619,共3页

文件上传和下载是Web程序开发中常用的功能,有着广泛的应用。该文分析了ASP.NET中几种常用的文件上传和下载技术,由于利用ASP.NET内置的上传组件来完成大文件的上传有限制,重点阐述了大文件的上传和下载技术,并给出了解决方案,这样保证... 文件上传和下载是Web程序开发中常用的功能,有着广泛的应用。该文分析了ASP.NET中几种常用的文件上传和下载技术,由于利用ASP.NET内置的上传组件来完成大文件的上传有限制,重点阐述了大文件的上传和下载技术,并给出了解决方案,这样保证了在电影视频网站中的正常应用。 展开更多

关键词 上传 下载 大文件 ASP.NET 分块

下载PDF 职称材料

基于UMAC的精密数控系统大文件加载功能

6

作者 孙雪华 刘建群 刘聪 《机械工程与自动化》 2017年第6期152-154,共3页

由于精密加工精度较高,生成的数据点多,加工程序量大,因此精密数控系统往往要面对超大容量代码加载问题。UMAC提供给用户的程序缓冲区是有限的,对于这种超大容量的加工程序,无法一次性全部加载到一个运动程序缓冲区中去。针对这个问题,... 由于精密加工精度较高,生成的数据点多,加工程序量大,因此精密数控系统往往要面对超大容量代码加载问题。UMAC提供给用户的程序缓冲区是有限的,对于这种超大容量的加工程序,无法一次性全部加载到一个运动程序缓冲区中去。针对这个问题,提出了运用基于UMAC的二进制旋转缓冲区功能,巧妙地设计运动程序的下载和执行,保证程序能够正确下载和连续执行,使加工过程能够连续、有序、稳定地进行。 展开更多

关键词 UMAC 大文件 精密数控系统

下载PDF 职称材料

基于HTML5大文件断点续传的实现方案 被引量：18

7

作者 王莉敏 梁正和 段全锋 《计算机与现代化》 2016年第3期91-95,共5页

在Web应用中,文件上传是一个常用的功能,而目前的文件上传方式在处理大文件上传方面不尽人意,常常因为文件过大或者网络中断导致上传失败,不得不重新上传。随着HTML5相关技术的发展,出现了一系列对文件操作的API,如File List、Blob、Fil... 在Web应用中,文件上传是一个常用的功能,而目前的文件上传方式在处理大文件上传方面不尽人意,常常因为文件过大或者网络中断导致上传失败,不得不重新上传。随着HTML5相关技术的发展,出现了一系列对文件操作的API,如File List、Blob、File、FileReader等接口,使得Web端能够使用Java Script对本地文件进行分片操作进而实现文件断点续传功能。本文在此基础上解决了服务器端文件合并过程中用户等待超时问题以及如何保证合并文件正确性的问题。 展开更多

关键词 大文件上传 HTML5 file API 断点续传 文件合并

下载PDF 职称材料

基于Ansible的电力云平台自动部署系统设计 被引量：14

8

作者 黄巨涛 杨永娇 +2 位作者 刘梓健 周开东 高尚 《电子设计工程》 2020年第3期43-46,51,共5页

针对电力行业信息系统在数据库和中间件国产化后的运维需求,文中基于Ansible工具设计电力云平台的自动化部署系统。系统在设计过程中继承了Ansible工具的基础运维功能,同时针对该工具在大文件传输时效率的低下设计了基于内容分块算法的... 针对电力行业信息系统在数据库和中间件国产化后的运维需求,文中基于Ansible工具设计电力云平台的自动化部署系统。系统在设计过程中继承了Ansible工具的基础运维功能,同时针对该工具在大文件传输时效率的低下设计了基于内容分块算法的文件传输服务。系统经过测试在大文件传输效率上有20%性能的提升,可以实现运维指令的批量化执行与落地,弥补了电力行业信息系统国产化后自动运维工具的空缺。 展开更多

关键词 自动化运维 Ansible 大文件传输 电力信息系统

下载PDF 职称材料

基于改进慢启动算法的大文件快速传输 被引量：7

9

作者 邓彬 成卫青 《计算机应用研究》 CSCD 北大核心 2020年第3期860-863,共4页

针对传统TCP在当前网络环境下传输大文件性能较低的问题,对TCP传输协议中的慢启动算法部分进行了相应的研究与优化。根据标准慢启动算法存在的问题并结合高速网络以及大文件传输的性能特点,提出了一个具有网络状态感知能力的慢启动改进... 针对传统TCP在当前网络环境下传输大文件性能较低的问题,对TCP传输协议中的慢启动算法部分进行了相应的研究与优化。根据标准慢启动算法存在的问题并结合高速网络以及大文件传输的性能特点,提出了一个具有网络状态感知能力的慢启动改进算法。改进算法主要优化了TCP拥塞窗口的增长策略,它实时地监测文件在传输过程中TCP报文段的往返时间(round-trip time,RTT),并根据RTT的变化情况采用不同的窗口增长方式更新拥塞窗口;将改进算法部署在Linux网络模块中并分别在模拟网络环境和实际网络中进行测试。实验结果显示,改进算法能使发送窗口一直保持在一个较高的水平,实际数据传输速率和吞吐量均有了明显的提高。 展开更多

关键词 传输协议 拥塞控制 大文件传输 性能评估

下载PDF 职称材料

基于Flash流媒体服务器的北大视频资源库的设计与实现 被引量：7

10

作者 杨公义 《软件》 2016年第8期5-10,共6页

自主研发视频资源库更易于和校内第三方系统集成。北大采用Flash流媒体服务器研发了视频资源库,功能模块包括用户管理,院系管理,课程管理,视频管理。摄像机的直播流能通过分布式转码自动存入北大视频资源库。后期经过非线性编辑的教学... 自主研发视频资源库更易于和校内第三方系统集成。北大采用Flash流媒体服务器研发了视频资源库,功能模块包括用户管理,院系管理,课程管理,视频管理。摄像机的直播流能通过分布式转码自动存入北大视频资源库。后期经过非线性编辑的教学录像能通过自主研发的大文件上传控件从前台以web方式存入北大视频资源库。通过流权限控制保证了只有经过授权的摄像机才能向服务器端发送视频流,只有经过授权的第三方系统才能引用流媒体服务器的视频资源。北大视频资源库为校内七大系统提供RTMP协议的视频流支持、元数据管理和内容发布。 展开更多

关键词 视频资源库 流媒体服务器 大文件上传控件 流权限控制

下载PDF 职称材料

P2P技术在大文件共享中的应用研究 被引量：4

11

作者 马素刚 《实验技术与管理》 CAS 北大核心 2016年第3期147-150,153,共5页

为解决实验教学中出现的局域网内大文件快速分发问题,提出了一种基于P2P技术的传输方案。分析了P2P的工作原理、网络分类、网络特点以及BitTorrent工作过程等,设计了一个典型实验网络拓扑,并搭建了真实网络进行了验证。利用MYBT软件搭建... 为解决实验教学中出现的局域网内大文件快速分发问题,提出了一种基于P2P技术的传输方案。分析了P2P的工作原理、网络分类、网络特点以及BitTorrent工作过程等,设计了一个典型实验网络拓扑,并搭建了真实网络进行了验证。利用MYBT软件搭建了P2P服务器,在种子节点和下载节点数量变化情况下,对约4GB的文件进行分发,统计了平均下载时间。实验结果表明,相对于FTP等集中式传输而言,基于P2P技术的文件共享系统节省了大量时间,很好地实现了局域网内大文件的快速分发。 展开更多

关键词 P2P 客户/服务器模式 大文件共享 BITTORRENT 种子

下载PDF 职称材料

基于自适应分片的大文件快速上传 被引量：3

12

作者 周煜莹 崔岩松 +1 位作者 王丹志 陈科良 《计算机系统应用》 2022年第7期143-148,共6页

随着互联网技术的不断发展,通过网络Web进行文件的上传拥有越来越多的应用需求.其中,在大容量文件的上传中,常常因资源过大导致带宽资源紧张、浏览器崩溃或加载超时等问题,大大降低了用户体验.针对大文件上传的众多限制问题,本文设计并... 随着互联网技术的不断发展,通过网络Web进行文件的上传拥有越来越多的应用需求.其中,在大容量文件的上传中,常常因资源过大导致带宽资源紧张、浏览器崩溃或加载超时等问题,大大降低了用户体验.针对大文件上传的众多限制问题,本文设计并实现了基于Node.js的大文件上传系统,采用自适应分片结合并发上传的方法,有效地缩短了大文件上传时间.同时结合element-ui框架,利用进度条实时展示上传进度,具备良好的交互性能. 展开更多

关键词 自适应分片 并发 大文件上传 Node.js

下载PDF 职称材料

基于.Net的Web应用系统中大文件传输方案的研究 被引量：3

13

作者 刘苡 吴刚 《微型电脑应用》 2012年第7期27-30,共4页

大文件上传是Web应用系统中常见的问题。目前,基于Web的大文件上传问题有多种解决方案,各有其适用范围,也存在一定局限性。针对基于.Net的Web应用系统对大文件传输的特定需求,通过实验的方法,分析了多种解决方案的优缺点,归纳与总结出... 大文件上传是Web应用系统中常见的问题。目前,基于Web的大文件上传问题有多种解决方案,各有其适用范围,也存在一定局限性。针对基于.Net的Web应用系统对大文件传输的特定需求,通过实验的方法,分析了多种解决方案的优缺点,归纳与总结出各种解决方案的适用范围。 展开更多

关键词 大文件传输 B/S .NET

下载PDF 职称材料

基于RAMCloud的大文件存储方法的研究与实现 被引量：3

14

作者 刘钢标 张延园 +2 位作者 林奕 樊鑫 邢新疆 《计算机应用》 CSCD 北大核心 2017年第A01期45-48,共4页

内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大... 内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大文件的直接存取操作。针对上述问题,提出了一个基于文件分割和合并的解决方案,在此基础之上,设计和实现了一个大文件管理模块,并将此模块集成到RAMCloud中。通过实验对改进后的系统进行了性能测试,实验结果表明,该系统能够有效地支持大文件的存取,且与HDFS相比,读写速度均有着明显的性能优势。在后续工作中,考虑将此系统集成到HDFS中当作分布式缓存管理系统来使用,从而达到提高HDFS性能的目的。 展开更多

关键词 大文件存储 RAMCloud 分布式存储系统 访问延迟

下载PDF 职称材料

加密网络环境下多节点文件同步系统的实践与研究 被引量：2

15

作者 马今 《网络空间安全》 2017年第12期75-78,101,共5页

为了实现公司各地节点之间的工作文档和数据文件的同步,公司实现了一个文件同步系统。论文介绍了该文件同步系统的运行环境和应用需求,探讨了加密网络对系统需求、设计方案的影响,进而采用大文件传输工具箱作为基础工具,实现了文件同步... 为了实现公司各地节点之间的工作文档和数据文件的同步,公司实现了一个文件同步系统。论文介绍了该文件同步系统的运行环境和应用需求,探讨了加密网络对系统需求、设计方案的影响,进而采用大文件传输工具箱作为基础工具,实现了文件同步系统。同时,论文探讨了文件同步系统取得的成效。结果表明:加密网络环境下多节点文件同步系统能够满足企业的应用要求。 展开更多

关键词 文件同步 加密网络 大文件传输

下载PDF 职称材料

实验室机房大文件快速分发技术应用研究 被引量：2

16

作者 谭志虎 胡迪青 管军 《实验技术与管理》 CAS 北大核心 2017年第10期129-132,共4页

分析了实验室机房局域网环境下文件共享的解决方案,结合文件同步复制技术,给出了一种能在实验室机房环境快速部署、免费、方便、易用的P2P大文件数据分发方案,实验测试表明该方案可实现局域网大文件的高效、快速推送。

关键词 实验室机房 大文件传输 局域网 文件同步复制 对等网络

下载PDF 职称材料

基于ASP.NET的课程资源网站的设计与实现 被引量：2

17

作者 常婉纶 刘辉 《微型机与应用》 2015年第11期25-27,30,共4页

基于ASP.NET建立的课程资源网站,集共享、管理和展示功能于一体。介绍了网站具备的主要功能模块和开发运行环境,描述了文档自动转换及在线阅读、定制资源类别导航栏、大文件上传的具体实现过程。

关键词 课程资源网站 在线阅读 定制资源类别 大文件上传

下载PDF 职称材料

用VB实现基于Windows通信机制的大文件点对点传输 被引量：1

18

作者 周化祥 胡志刚 《湖南工业大学学报》 2008年第4期53-56,共4页

从点对点技术介绍入手,阐述并比较分析了常见的点对点网络传输的技术方法;在分析了大文件数据在Windows通信机制下的处理过程的基础上,用VB语言设计并实现了基于Windows通信机制的大文件点对点传输控制方法,构建了服务器端和客户端的程... 从点对点技术介绍入手,阐述并比较分析了常见的点对点网络传输的技术方法;在分析了大文件数据在Windows通信机制下的处理过程的基础上,用VB语言设计并实现了基于Windows通信机制的大文件点对点传输控制方法,构建了服务器端和客户端的程序,有效地避免接收客户端的资源被通信程序大量占用。 展开更多

关键词 点对点技术 大文件传输 Windows通信机制

下载PDF 职称材料

生物数据分析平台中的大文件多线程传输方案 被引量：1

19

作者 史若曦 马俊才 +1 位作者 田园静 张荐辕 《计算机系统应用》 2021年第9期317-321,共5页

随着云计算技术的飞速发展,越来越多的数据相关服务需要通过云平台来实现.国家科学微生物数据中心目前已建立了以云计算为基础的生物信息分析的数据平台,为了解决平台用户进行文件上传时可能面临的效率、安全、稳定等一系列问题,本文在... 随着云计算技术的飞速发展,越来越多的数据相关服务需要通过云平台来实现.国家科学微生物数据中心目前已建立了以云计算为基础的生物信息分析的数据平台,为了解决平台用户进行文件上传时可能面临的效率、安全、稳定等一系列问题,本文在分片上传、断点续传等技术的基础上,提出一种根据带宽时延积选择并发线程数的传输方案,解决了受意外中断时文件需要全部重新上传的问题,提升了多线程上传时的带宽资源利用效率,提高了大文件的传输效率. 展开更多

关键词 大文件传输 多线程 分片上传 带宽时延积

下载PDF 职称材料

基于B/S架构的采集工程资料信息管理系统的设计与实现 被引量：1

20

作者 武虹 宁华华 +2 位作者 杨宝龙 齐硕 杨逸萌 《科研信息化技术与应用》 2019年第2期3-9,共7页

采集工程[1]实施9年多来,已采集近500位老科学家的学术成长资料,包含大量实物资料、口述资料和录音录像资料。然而所有科学家资料均以线下形式进行收集、整理,随着采集资料数量越来越庞大,逐渐暴漏以下问题:(1)数据分散在硬盘等介质中,... 采集工程[1]实施9年多来,已采集近500位老科学家的学术成长资料,包含大量实物资料、口述资料和录音录像资料。然而所有科学家资料均以线下形式进行收集、整理,随着采集资料数量越来越庞大,逐渐暴漏以下问题:(1)数据分散在硬盘等介质中,缺乏统一存储;(2)资料信息缺乏统一管理,数据质量难以保证;(3)无法对收集来的数据加以利用。因此需要建设科学家采集资料数据管理系统,以对科学家采集资料数据进行统一管理和共享利用。本文主要介绍基于B/S架构[2]的采集工程资料信息管理系统的设计和实现方法,包括系统需求分析、系统设计、实现技术等,并对系统中的关键问题如大文件上传、对象数据批量导入、单表操作抽象处理等进行详细阐述。应用表明,系统界面简洁逻辑清晰且易操作,可大大提高工作效率。 展开更多

关键词 B/S架构 资料信息管理系统 大文件上传 对象数据

原文传递