点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系,且使用人工特征提取方法费时费力。针对这些问题,提出了基于卷积(Convolutional Neural Networks)-LSTM(Long Short Term Memory)混合神经...点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系,且使用人工特征提取方法费时费力。针对这些问题,提出了基于卷积(Convolutional Neural Networks)-LSTM(Long Short Term Memory)混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征,并通过LSTM神经网络的时序性进行预测分类。实验结果证明:与浅层模型或单一结构的神经网络模型相比,基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。展开更多
广告点击率的预测是搜索广告进行投放的基础。目前已有的工作大多数使用线性模型或基于推荐方法的模型解决点击率预测问题,但这些方法没有对特征之间的关系进行深入的探索,无法完全体现广告点击预测中各个特征之间的关系。本文提出了基...广告点击率的预测是搜索广告进行投放的基础。目前已有的工作大多数使用线性模型或基于推荐方法的模型解决点击率预测问题,但这些方法没有对特征之间的关系进行深入的探索,无法完全体现广告点击预测中各个特征之间的关系。本文提出了基于卷积神经网络的搜索广告点击率预测的方法,阐述了卷积神经网络在特征的学习上模拟人的思维过程,并进一步分析了不同特征在广告点击率预测中的作用,在KDD Cup 2012中Track 2数据集上的实验结果验证了本文提出的方法能够提高搜索广告点击率的预测效果,其AUC值达到0.792 5。展开更多
点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factoriza...点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。展开更多
在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重...在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。展开更多
针对现有深度神经网络点击率预测模型在对用户偏好建模时,难以有效且高效地处理用户行为序列的问题,提出长短期兴趣网络(Long and short term interests network,LSTIN)模型,充分利用用户历史记录上下文信息和顺序信息,提升点击率预测...针对现有深度神经网络点击率预测模型在对用户偏好建模时,难以有效且高效地处理用户行为序列的问题,提出长短期兴趣网络(Long and short term interests network,LSTIN)模型,充分利用用户历史记录上下文信息和顺序信息,提升点击率预测精准性和训练效率.使用基于注意力机制的Transformer和激活单元结构完成用户长、短期兴趣建模,对用户短期兴趣进一步使用循环神经网络(Recurrent neural network,RNN)、卷积神经网络(Convolutional neural networks,CNN)进行处理,最后使用全连接神经网络进行预测.在亚马逊公开数据集上开展实验,将提出的模型与基于分解机的神经网络(DeepFM)、深度兴趣网络(Deep interest network,DIN)等点击率预测模型对比,结果表明提出的模型实现了考虑上下文信息和顺序信息的用户历史记录建模,接受者操作特征曲线下面积(Area under curve,AUC)指标为85.831%,相比于基础模型(BaseModel)提升1.154%,相比于DIN提升0.476%.且因区分用户长、短期兴趣,模型能够在提升预测精准性的同时保障训练效率.展开更多
文摘点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系,且使用人工特征提取方法费时费力。针对这些问题,提出了基于卷积(Convolutional Neural Networks)-LSTM(Long Short Term Memory)混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征,并通过LSTM神经网络的时序性进行预测分类。实验结果证明:与浅层模型或单一结构的神经网络模型相比,基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。
文摘广告点击率的预测是搜索广告进行投放的基础。目前已有的工作大多数使用线性模型或基于推荐方法的模型解决点击率预测问题,但这些方法没有对特征之间的关系进行深入的探索,无法完全体现广告点击预测中各个特征之间的关系。本文提出了基于卷积神经网络的搜索广告点击率预测的方法,阐述了卷积神经网络在特征的学习上模拟人的思维过程,并进一步分析了不同特征在广告点击率预测中的作用,在KDD Cup 2012中Track 2数据集上的实验结果验证了本文提出的方法能够提高搜索广告点击率的预测效果,其AUC值达到0.792 5。
文摘点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。
文摘在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。
文摘针对现有深度神经网络点击率预测模型在对用户偏好建模时,难以有效且高效地处理用户行为序列的问题,提出长短期兴趣网络(Long and short term interests network,LSTIN)模型,充分利用用户历史记录上下文信息和顺序信息,提升点击率预测精准性和训练效率.使用基于注意力机制的Transformer和激活单元结构完成用户长、短期兴趣建模,对用户短期兴趣进一步使用循环神经网络(Recurrent neural network,RNN)、卷积神经网络(Convolutional neural networks,CNN)进行处理,最后使用全连接神经网络进行预测.在亚马逊公开数据集上开展实验,将提出的模型与基于分解机的神经网络(DeepFM)、深度兴趣网络(Deep interest network,DIN)等点击率预测模型对比,结果表明提出的模型实现了考虑上下文信息和顺序信息的用户历史记录建模,接受者操作特征曲线下面积(Area under curve,AUC)指标为85.831%,相比于基础模型(BaseModel)提升1.154%,相比于DIN提升0.476%.且因区分用户长、短期兴趣,模型能够在提升预测精准性的同时保障训练效率.
