点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factoriza...点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。展开更多
文摘点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。
文摘传统推荐模型存在数据稀疏、鲁棒性较低问题,且未能有效挖掘异构特征间的深层语义。为解决以上问题,提出相关性视觉对抗贝叶斯个性化排序(correlation visual adversarial Bayesian personalized ranking,CVABPR)推荐模型。首先,基于MovieLens数据集中的电影标题,在互联网电影资料库(Internet movie database,IMDB)爬取对应电影海报图像,构建全新多模态数据集MovieLens–100k–WMI和MovieLens–1M–WMI。其次,基于SENet模型提取一组具有互补性的异构特征,准确描述电影海报图像。然后,改进聚类典型相关性分析模型,深入挖掘异构SENet特征间的聚类典型相关性特征;基于该相关性特征优化视觉贝叶斯个性化排序模型,精准刻画待推荐电影。最后,在推荐模型中加入扰动因子,通过对抗学习来增强推荐模型鲁棒性,使推荐更稳定,生成高质量推荐结果。为验证CVABPR模型,在多模态数据集上完成实验,结果表明:CVABPR模型在这两个数据集上都有效,在MovieLens–100k–WMI数据集上,其推荐的平均精度均值(mean average precision,MAP)较最强基线提升3.802%;在MovieLens–1M–WMI数据集上,其推荐的MAP指标较最强基线提升4.609%。CVABPR模型优于主流基线。消融分析实验表明:相比聚类典型相关性,对抗学习在推荐中发挥更重要的作用。此外,在数据稀疏度更高的MovieLens–1M–WMI数据集上,CVABPR模型能获得更大幅度性能提升,数据稀疏问题得到有效缓解且异构特征间的深层语义也得以充分利用,CVABPR模型已具备较强鲁棒性。
