摘要
随着新的传感器等采集技术的日益完善、多样化和互联网技术的快速发展,各科学领域采集数据成倍激增,科学数据通常以(network Common Data Form,NetCDF)的数据格式存储,一旦损坏较难恢复,且系统读写数据需要频繁的调用磁盘资源,不利于数据的共享、迁移与管理。Hadoop分布式存储方案具有明显优势,但不支持Net CDF。因此,无法使用基于HDFS(Hadoop Distributed File System)文件系统工具进行分析、处理、计算数据。深入分析HDFS数据存写、分块架构,增加了对NetCDF数据读写接口,提高了数据的可移植性和访问效率,便于数据集的共享,有利于科学计算。
出处
《信息记录材料》
2022年第9期123-125,共3页
Information Recording Materials
基金
许昌电气职业学院自然科学科研项目(Xcdq2020z07)。
