随着网络规模的不断扩大,传统社区发现算法已无法有效和高效地处理大规模网络数据.基于Spark分布式图计算模型,提出大规模复杂网络社区并行发现算法DBCS(Discovering Big Community on Spark).算法利用基于模块度的聚类思想,首先计算出...随着网络规模的不断扩大,传统社区发现算法已无法有效和高效地处理大规模网络数据.基于Spark分布式图计算模型,提出大规模复杂网络社区并行发现算法DBCS(Discovering Big Community on Spark).算法利用基于模块度的聚类思想,首先计算出节点对之间的模块度增量,然后迭代查找出所有模块度增量最大的节点对,对所有节点对进行合并操作,并更新节点对之间的模块度增量,进而实现大规模复杂网络社区识别.大量真实复杂网络与仿真网络数据集上的实验结果表明:DBCS算法能有效地解决传统社区发现算法无法处理的大规模复杂网络社区划分问题,百万级以上节点处理时间约为4min,是Hadoop平台下并行发现算法运行时间的1/20,社区识别准确率比传统社区发现算法提高了7.4%.展开更多
文摘随着网络规模的不断扩大,传统社区发现算法已无法有效和高效地处理大规模网络数据.基于Spark分布式图计算模型,提出大规模复杂网络社区并行发现算法DBCS(Discovering Big Community on Spark).算法利用基于模块度的聚类思想,首先计算出节点对之间的模块度增量,然后迭代查找出所有模块度增量最大的节点对,对所有节点对进行合并操作,并更新节点对之间的模块度增量,进而实现大规模复杂网络社区识别.大量真实复杂网络与仿真网络数据集上的实验结果表明:DBCS算法能有效地解决传统社区发现算法无法处理的大规模复杂网络社区划分问题,百万级以上节点处理时间约为4min,是Hadoop平台下并行发现算法运行时间的1/20,社区识别准确率比传统社区发现算法提高了7.4%.
