摘要
伴随着计算机网络技术发展和IOT技术发展,利用传感器等设备采集到的数据量正在成倍增长,单台计算机无法满足存储,因此提出了利用网络技术实现数据分布式存储,解决了大数据存储问题。但是,如何对分布式集群中节点进行有效管理,成为当前集群中面临的一个新问题。本文针对集群框架和HDFS进行分析,提出了一种新的基于Hadoop集群下的数据智能分类算法-Canopy+K-means,解决K值智能选择和数据聚类。
出处
《通讯世界》
2019年第12期78-79,共2页
Telecom World
基金
2019年校级中青年扶持项目科学技术类重点项目“分布式智能存储技术研究”（校科字[2019]010）
