地质数据是经济社会发展的上游要素,具有非常重要的价值。当前,地质大数据研究存在数据底座与应用系统未解耦、数据即服务(Data as a Service,DaaS)未充分厘清的问题,这导致地质数据的可复用性差。本文在系统应用数据湖技术的基础上,聚...地质数据是经济社会发展的上游要素,具有非常重要的价值。当前,地质大数据研究存在数据底座与应用系统未解耦、数据即服务(Data as a Service,DaaS)未充分厘清的问题,这导致地质数据的可复用性差。本文在系统应用数据湖技术的基础上,聚焦多源、异构、海量、时空相关地质数据的汇聚、治理与服务,研究提出基于数据湖技术的地质大数据底座架构,设计由数据采集与清洗层、数据存储层、数据计算与分析层、数据服务层、数据治理层构成的技术架构,并对部分关键技术选型进行验证,为地质大数据中心建设工程提供实践参考。展开更多
文摘地质数据是经济社会发展的上游要素,具有非常重要的价值。当前,地质大数据研究存在数据底座与应用系统未解耦、数据即服务(Data as a Service,DaaS)未充分厘清的问题,这导致地质数据的可复用性差。本文在系统应用数据湖技术的基础上,聚焦多源、异构、海量、时空相关地质数据的汇聚、治理与服务,研究提出基于数据湖技术的地质大数据底座架构,设计由数据采集与清洗层、数据存储层、数据计算与分析层、数据服务层、数据治理层构成的技术架构,并对部分关键技术选型进行验证,为地质大数据中心建设工程提供实践参考。
