-
题名京东零售基于ClickHouse的增量刷岗方法
- 1
-
-
作者
季健
洪帅
陈洪健
钱叶
刘传耀
-
机构
北京沃东天骏信息技术有限公司京东零售
-
出处
《计算机应用》
CSCD
北大核心
2024年第S01期199-203,共5页
-
文摘
刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运行时间过长的问题,提出一种基于ClickHouse的增量刷岗方法。首先,将维度表加载为ClickHouse字典表,采用明细表关联ClickHouse字典表的方法进行刷岗;其次,采用增量刷岗方法取代传统全量刷岗的形式,不仅提升刷岗效率,同时减少刷岗带来的集群资源消耗;最后,加入验数逻辑和并发控制机制保证数据准确性和集群的稳定。将该技术与传统的刷岗技术在实际业务生产场景中进行亿级数据的刷岗测试对比,实验结果表明,在硬件设备相同的情况下,提出的增量刷岗方法刷岗时间缩短80%,集群资源(CPU、内存)的使用减少50%,显著提高刷海量数据岗效率。
-
关键词
ClickHouse
岗位维表
增量刷岗方法
版本化数据迁移
验数机制
-
Keywords
ClickHouse
job dimension table
incremental dimension update method
versioned data migration
verication mechanism
-
分类号
TP392
[自动化与计算机技术—计算机应用技术]
-
