很多交互系统需要实时返回潜在的数据空间中最重要的前k条记录,即为top-k查询。当今大数据时代,面对海量更加复杂的数据,输出这种top-k记录是一个非常具有挑战性的问题。传统的方案主要采用基于阈值的方法,然而对分布式系统来说,这些方...很多交互系统需要实时返回潜在的数据空间中最重要的前k条记录,即为top-k查询。当今大数据时代,面对海量更加复杂的数据,输出这种top-k记录是一个非常具有挑战性的问题。传统的方案主要采用基于阈值的方法,然而对分布式系统来说,这些方法是比较耗时的,并且需要巨大的通信量。随着网络流量的增加,这些问题会变得无法解决。本文提出了一种新颖的top-k算法PCMRA(Data Partitioning and COIT Indexing Top-k query Algorithm based on MapReduce)。该解决方案构造了预处理结构COIT(候选对象索引表),并采用数据分割策略和并行编程框架MapReduce,一轮通信就可以完成top-k查询。此外本文还对算法给出了正确性证明和理论分析,并且实验表明该算法仅需要较小的空间开销和较短的时间代价,即可筛选出较少的候选对象,大幅度节约了计算和通信资源,并且算法具有良好的可扩展性。展开更多
关于旧金山,不少人可以如数家珍地说出不少好地方,金门大桥、九曲花街、渔人码头、艺术宫、恶魔岛……那你去过科伊特塔(Coit Tower)吗?科伊特塔在旧金山电报山(Telegraph Hill)上,高60米。1933年,科伊特塔由利利·科伊特(Lillie Hi...关于旧金山,不少人可以如数家珍地说出不少好地方,金门大桥、九曲花街、渔人码头、艺术宫、恶魔岛……那你去过科伊特塔(Coit Tower)吗?科伊特塔在旧金山电报山(Telegraph Hill)上,高60米。1933年,科伊特塔由利利·科伊特(Lillie Hitchcock,Coit)投资建成。建筑的第一层全部用壁画进行装饰。当时这个项目隶属于罗斯福新政艺术计划的公共工程艺术计划(Public Works ot Art Project,简称PWAP)。展开更多
文摘很多交互系统需要实时返回潜在的数据空间中最重要的前k条记录,即为top-k查询。当今大数据时代,面对海量更加复杂的数据,输出这种top-k记录是一个非常具有挑战性的问题。传统的方案主要采用基于阈值的方法,然而对分布式系统来说,这些方法是比较耗时的,并且需要巨大的通信量。随着网络流量的增加,这些问题会变得无法解决。本文提出了一种新颖的top-k算法PCMRA(Data Partitioning and COIT Indexing Top-k query Algorithm based on MapReduce)。该解决方案构造了预处理结构COIT(候选对象索引表),并采用数据分割策略和并行编程框架MapReduce,一轮通信就可以完成top-k查询。此外本文还对算法给出了正确性证明和理论分析,并且实验表明该算法仅需要较小的空间开销和较短的时间代价,即可筛选出较少的候选对象,大幅度节约了计算和通信资源,并且算法具有良好的可扩展性。
文摘关于旧金山,不少人可以如数家珍地说出不少好地方,金门大桥、九曲花街、渔人码头、艺术宫、恶魔岛……那你去过科伊特塔(Coit Tower)吗?科伊特塔在旧金山电报山(Telegraph Hill)上,高60米。1933年,科伊特塔由利利·科伊特(Lillie Hitchcock,Coit)投资建成。建筑的第一层全部用壁画进行装饰。当时这个项目隶属于罗斯福新政艺术计划的公共工程艺术计划(Public Works ot Art Project,简称PWAP)。
