摘要
本文设计一种基于Spark离线计算框架的数据质量评估方法,可以通过自定义划分数据集、指定多层级的质量计算规则,以实现高度自定义的定制化数据质量评估方法,为业务决策、技术方案优化、技术选型等提供数据支持。
This article designs a data quality evaluation method based on the Spark offline computing framework,which can achieve highly customized data quality evaluation methods by customizing partitioned datasets and specifying multi-level quality calculation rules,providing data support for business decision-making,technical solution optimization,and technology selection.
作者
梁国豪
朱梅清
韦通明
蒋祥斌
张亮
LIANG Guo-hao;ZHU Mei-qing;WEI Tong-ming;JIANG Xiang-bin;ZHANG Liang(SAIC GM Wuling Automobile Co.,Ltd.,Liuzhou 545007,China;Guangxi Laboratory of New Energy Automobile,Liuzhou 545007,China;Guangxi Key Laboratory of Automobile Four New Features,Liuzhou 545007,China)
出处
《汽车电器》
2023年第7期65-66,69,共3页
Auto Electric Parts
关键词
离线计算
大数据
数据质量
车联网
offline computing
big data
data quality
Internet of vehicles
