Spark大数据技术在电信行业中的应用探究

The application of hadoop big data technology in the telecommunications industry

下载PDF

导出

摘要针对某电信公司的需求:建设网络基础,优化网络管理、企业管理,数据商业化,设计并搭建大数据平台。利用HDFS(分布式文件系统)存储数据,Spark计算引擎在内存计算中数据处理速度快,Yarn(通用资源管理系统)对Spark进行调度。对于电信运营商关心的数据检索速度进行测试和分析,验证大数据技术可以将数据检索时间控制在毫秒级,为电信行业利用海量流量数据信息进行企业优化管理、精准营销与市场拓展提供必要的数据支撑。

作者孙秀婕葛欣竹唐征 SUN Xiujie;GE Xinzhu;TANG Zheng

机构地区迪爱斯信息技术股份有限公司

出处《电信快报》 2023年第6期16-20,共5页 Telecommunications Information

关键词大数据 HADOOP SPARK 电信

分类号 TP3 [自动化与计算机技术—计算机科学与技术]

引文网络
相关文献

参考文献6

1蔡伟..基于大数据时代的数据库与传统数据库的比较研究——以物流管理信息系统为例[D].湖北工业大学,2017:
2朱昌敏..基于spark模型的电力异常数据检测和短期负荷预测[D].南京邮电大学,2018:
3王珊,王会举,覃雄派,周烜.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752. 被引量：616
4高彦杰著..Spark大数据处理技术、应用与性能优化[M].北京:机械工业出版社,2014:255.
5赵娟,程国钟.基于Hadoop、Storm、Samza、Spark及Flink大数据处理框架的比较研究[J].信息系统工程,2017,30(6):117-117. 被引量：12
6刘德松.大数据在企业中的应用[J].电子技术与软件工程,2019(7):166-167. 被引量：4

二级参考文献51

1[OL].<http://hadoop.apache.org.>. 被引量：3
2WinterCorp: 2005 TopTen Program Summary. http:// www. wintercorp, com/WhitePapers/WC TopTenWP. pdf. 被引量：1
3TDWI Checklist Report: Big Data Analytics. http://tdwi. org/research/2010/08/Big-Data-Analytics, aspx. 被引量：1
4Chaudhuri S, Dayal U. An overview of data warehousing and OLAP technology. SIGMOD Rec, 1997,26(1): 65-74. 被引量：1
5Madden S, DeWitt D J, Stonebraker M. Database parallelism choices greatly impact scalability. DatabaseColumn Blog. http://www, databasecolumn, com/2007/10/database-parallelism-choices, html. 被引量：1
6Dean J, Ghemawat S. MapReduce: Simplified data processing on large clusters//Proceedings of the 6th Symposium on Operating System Design and Implementation (OSDI ' 04). San Francisco, California, USA, 2004: 137-150. 被引量：1
7DeWitt D J, Gerber R H, Graefe G, Heytens M L, Kumar K B, Muralikrishna M. GAMMA--A high performance dataflow database machine//Proceedings of the 12th International Conference on Very Large Data Bases (VLDB' 86). Kyoto, Japan, 1986:228-237. 被引量：1
8Fushimi S, Kitsuregawa M, Tanaka H. An overview of the system software of a parallel relational database machine// Proceedings of the 12th International Conference on Very Large DataBases(VLDB'86). Kyoto, Japan, 1986:209-219. 被引量：1
9Brewer E A. Towards robust distributed systems//Proceedings of the 19th Annual ACM Symposium on Principles of Distributed Computing (PODC' 00). Portland, Oregon, USA, 2000:7. 被引量：1
10http: //www. dbms2, com/2008/08/26/known-applications of mapreduce/. 被引量：1

共引文献629

1张刘玲.会展行业发展现状及未来发展趋势[J].质量与市场,2023(12):31-33. 被引量：2
2李明建.试论大数据技术的图书馆特色馆藏文化建设[J].作家天地,2020(21):189-190.
3陈然.大数据时代下企业精准营销发展难题及破解[J].中国经贸导刊,2019,0(5Z):95-96. 被引量：4
4梅傲.数据治理的逻辑基础和实现路径[J].经济法论丛,2023(2):309-325. 被引量：1
5张文华.大数据对体育教育的冲击[J].贵阳学院学报（自然科学版）,2014,9(2):47-51. 被引量：19
6李满意.大数据安全[J].保密科学技术,2012(9):71-72. 被引量：19
7陶雪娇,胡晓峰,刘洋.大数据研究综述[J].系统仿真学报,2013,25(S1):142-146. 被引量：344
8陈爱东,刘国华,费凡,周宇,万小妹,貟慧.满足均匀分布的不确定数据关联规则挖掘算法[J].计算机研究与发展,2013,50(S1):186-195. 被引量：18
9王习特,申德荣,聂铁铮,寇月,于戈.共享的MapReduce环境下批量作业的调度算法研究[J].计算机研究与发展,2013,50(S1):332-341. 被引量：2
10董新华,李瑞轩,周湾湾,王聪,薛正元,廖东杰.Hadoop系统性能优化与功能增强综述[J].计算机研究与发展,2013,50(S2):1-15. 被引量：70

1赵思涵,冉桂萍,周永辉.教育赋权视角下高职Hadoop大数据运维与开发课程思政案例设计[J].电脑知识与技术,2023,19(14):171-173.
2邱雁,魏杰,应佳丽,金文林,卢克,杨丽.浙江省水利信息化建设现状及发展研究[J].浙江水利水电学院学报,2023,35(2):32-37. 被引量：2
3幸荔芸,王涛.基于云计算的分布式煤矿井下作业安全监控方法[J].煤炭技术,2023,42(6):137-140. 被引量：1
4茅颖.基于GAN的HDFS敏感数据安全增强方法[J].宁夏师范学院学报,2023,44(4):105-112.
5戴铮,杨威,穆莉平,张宇.基于翻转课堂的混合式教学模式在中职计算机网络基础教学中的应用[J].电脑知识与技术,2023,19(13):130-132. 被引量：2
6李绍凡,梅传贤,郭星言,王少杰,田涛,邢彬彬.基于文献计量的中国人工鱼礁研究综述[J].中国水产,2023(6):23-27. 被引量：1
7秦亮,谢良,陈盛双,徐海蛟.基于锚图分类的在线半监督跨模态哈希[J].计算机科学,2023,50(6):183-193.
8李婷.大数据背景下实现精准营销重点难点问题研究--以陕西省西屯村为例[J].河北农业,2023(4):51-52.
9任林芳.美国电信工程跨学科人才培养探析——以科罗拉多大学博尔德分校跨学科电信项目(ITP)为例[J].高教学刊,2023,9(18):154-158.
10张永丽.大数据时代数字出版产业的发展与实践策略[J].山西大同大学学报（社会科学版）,2023,37(3):156-160. 被引量：4

电信快报

2023年第6期

浏览历史

内容加载中请稍等...

Spark大数据技术在电信行业中的应用探究

参考文献6

二级参考文献51

共引文献629

相关作者

相关机构

相关主题

浏览历史