摘要
本文研究以Hadoop为技术支撑,提出一种并行计算模式定向数据挖掘方法。在云计算平台中引入分布式网络存储技术,构建HDFS分布式文件系统,通过评估Hadoop集群内节点性能获取各节点性能值。以此为依据选取存储数据块的合适节点,按比例存储数据块。然后基于分布式文件系统设计HBASE分布式数据库,存储并处理大规模数据,经MapReduce并行化处理朴素贝叶斯分类算法后实现对定向数据的分类与挖掘。仿真实验中,利用基于Hadoop平台的常规PC机搭建内部局域网通信形式,设置主数据节点、从数据节点以及Hadoop环境,从挖掘精度与效率两个角度对本文方法展开性能评估。根据指标数据与实际案例应用效果可知:本文方法具有较高的挖掘效率与精准度,且能够有效展示出城区建设扩展趋势,为更科学、更高效地城市建设服务奠定基础。
出处
《电子技术与软件工程》
2021年第15期159-161,共3页
ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING
基金
2019年度泰州市科技支撑(社发)项目“大数据技术在智慧城市建设中的应用研究”(编号:SSF20190072).
