摘要
Map Reduce是现有大数据平台中典型的分布式并行计算编程模型,在大数据处理中被广泛应用于电网综合系统中。由于Map Reduce屏蔽底层复杂的数据源连接,将不同数据源映射为统一的接口,有效地为智能电网一体化平台(IMS)监管系统上层应用提供对异构数据的访问,成为现阶段数据分析需要解决的问题。本文将针对电网海量GIS信息数据及其对电网调度几种控制系统带来的数据存取问题,采用Hadoop HDFS进行海量GIS电网地理信息数据存取,利用Map Reduce,设计面向HDFS、HBase和Mysql数据库的多数据源的统一数据模型,集成数据操作代码,减少重复代码,提高开发效率。
To attack the challenge of storing and analyzing massive GIS data generated by high-voltage tower, a distributed solution was proposed, which used Hadoop HDFS to store and employed Map Reduce to process the huge data. In addition, the data structures in HBase and the algorithms on position matching of GIS data and safe distance calculation were proposed.Finally, experiments demonstrated that the distributed solution was much more efficient and extendible.
出处
《电子设计工程》
2016年第15期20-24,共5页
Electronic Design Engineering
基金
国家自然科学基金项目(51307051)
