海量数据同步的处理技巧与实战被引量：2

下载PDF

导出

摘要数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长。针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步。

作者李强

机构地区中电金信软件有限公司

出处《电脑编程技巧与维护》 2021年第6期103-107,共5页 Computer Programming Skills & Maintenance

关键词海量数据大文件数据同步文件同步多线程

分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

参考文献2

1张捷,封俊红,朱晓姝.云计算环境下海量数据挖掘的优化方法研究[J].玉林师范学院学报,2017,38(5):146-151. 被引量：6
2王永贵,李鸿绪,宋晓.MapReduce模型下的并行线性时间选择算法研究[J].计算机工程与设计,2014,35(4):1242-1246. 被引量：2

二级参考文献17

1耿晓中,张冬梅.数据挖掘综述[J].长春师范学院学报（自然科学版）,2006,25(3):24-27. 被引量：13
2Zhi Yi TAN,Yong HE.Linear Time Algorithms for Parallel Machine Scheduling[J].Acta Mathematica Sinica,English Series,2007,23(1):137-146. 被引量：2
3张云,冯博琴,麻首强,刘连梦.蚁群-遗传融合的文本聚类算法[J].西安交通大学学报,2007,41(10):1146-1150. 被引量：15
4栾亚建,黄翀民,龚高晟,赵铁柱.Hadoop平台的性能优化研究[J].计算机工程,2010,36(14):262-263. 被引量：51
5霍纬纲,邵秀丽.一种基于多目标进化算法的模糊关联分类方法[J].计算机研究与发展,2011,48(4):567-575. 被引量：13
6张波良,周水庚,关佶红.MapReduce框架下的Skyline计算[J].计算机科学与探索,2011,5(5):385-397. 被引量：17
7潘巍,李战怀,伍赛,陈群.基于消息传递机制的MapReduce图算法研究[J].计算机学报,2011,34(10):1768-1784. 被引量：45
8丁琳琳,信俊昌,王国仁,黄山.基于Map-Reduce的海量数据高效Skyline查询处理[J].计算机学报,2011,34(10):1785-1796. 被引量：44
9李建江,崔健,王聃,严林,黄义双.MapReduce并行编程模型研究综述[J].电子学报,2011,39(11):2635-2642. 被引量：186
10覃雄派,王会举,杜小勇,王珊.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45. 被引量：386

共引文献6

1郑瑛.分布式并行编程模型MapReduce及其应用研究[J].西南民族大学学报（自然科学版）,2017,43(2):161-166. 被引量：2
2郭扬.云计算技术下海量数据挖掘的实现机制[J].信息通信,2019,0(8):146-147. 被引量：3
3杨洋.浅谈4G环境下数据挖掘在通信网络优化中的运用[J].科学与信息化,2019,0(27):53-53.
4程杰.基于SECI模型的网络数据挖掘系统优化设计[J].信息与电脑,2019,31(24):44-45. 被引量：1
5何欣.基于云计算技术下海量数据挖掘的实现研究[J].现代信息科技,2020,4(9):91-93. 被引量：3
6杨小龙.云计算视域下数据挖掘算法探讨[J].信息记录材料,2024,25(1):23-25. 被引量：1

同被引文献7

1张亚军,赵军喜,丁昊.空间数据版本管理的体系结构研究[J].测绘科学,2011,36(6):155-157. 被引量：5
2王鹏,从波,李国杰,匡海燕,刘静静.基于ActiveMQ消息总线的性能测试方法[J].测试技术学报,2019,33(2):147-152. 被引量：4
3张恒铭.基于SpringBoot+MyBatis框架的高校人事信息发布系统设计与实现[J].电脑知识与技术,2020,16(18):68-70. 被引量：13
4伍华锋,王小刚,候劲,唐小林.Redis集群系统的优化研究与实现[J].四川轻化工大学学报（自然科学版）,2020,33(6):39-45. 被引量：7
5郭德卿,徐国强,李娜.基于Kettle数据传输与同步方法的研究[J].汽车实用技术,2021,46(8):55-57. 被引量：2
6丁洁.工商银行IT研发自动化升级探索——核心批量架构转型与测试提升[J].中国金融电脑,2021(7):66-71. 被引量：1
7侯永铭,姚远源,雷安琪,张磊.基于时间序列分析的银行作业执行用时预测的应用研究[J].中国金融电脑,2021(11):71-75. 被引量：1

引证文献2

1张海岩,赵杨.一种单向多节点海量数据同步机制的研究[J].电脑编程技巧与维护,2021(12):81-82.
2唐硕,单晓岚,蒋海峰.金融系统批量作业运行历史用时数据分析及意义研究[J].金融科技时代,2022,30(7):65-69. 被引量：1

二级引证文献1

1唐硕,安一,刁家杰,单晓岚.金融系统异常处理自动化方法研究与应用[J].中国金融电脑,2024(1):71-74.

1朱玲.商业银行应用大数据优化经营管理策略研究[J].中国科技投资,2021(12):88-89.
2徐可(整理).热线互动[J].条码与信息系统,2020,0(1):46-46.
3王凯琪,兰全祥.Java中单例设计模式的分析及应用[J].信息技术与信息化,2021(5):112-114. 被引量：3
4张志霖.基于平衡记分卡的商业银行绩效评价体系研究[J].中国集体经济,2021(19):67-68. 被引量：2
5丁维杰,于江,陈斌,王永鑫,步向阳,葛忠.腹腔镜针对复杂性胆囊及胆总管结石术中的临床决策及处理技巧[J].肝胆胰外科杂志,2021,33(5):269-273. 被引量：5
6程宇,夏侯康,邵奇一,徐国宁,詹智勇.自动排班系统设计及阶段性成效[J].机电工程技术,2021,50(5):129-133.

电脑编程技巧与维护

2021年第6期

浏览历史

内容加载中请稍等...

海量数据同步的处理技巧与实战被引量：2

参考文献2

二级参考文献17

共引文献6

同被引文献7

引证文献2

二级引证文献1

相关作者

相关机构

相关主题

浏览历史

海量数据同步的处理技巧与实战 被引量：2

参考文献2

二级参考文献17

共引文献6

同被引文献7

引证文献2

二级引证文献1

相关作者

相关机构

相关主题

浏览历史

海量数据同步的处理技巧与实战被引量：2