摘要
分层狄利克雷过程(HDP)可以视为潜在狄利克雷分配(LDA)主题模型在无参方面的扩展,解决了传统主题模型中选择主题数目的问题.消息传递算法则是从消息因子图模型的角度出发进而解决贝叶斯后验概率推断问题.提出将消息传递算法应用到分层狄利克雷过程模型上的方案,并从最大期望算法的角度来证明该算法的收敛性,最终从混淆度的角度将该算法与传统算法进行对比.实验结果表明消息传递算法在混淆度方面相比其他算法有明显的优势,且收敛速度较快.
The hierarchical Dirichlet process （HDP） model is an extension of the latent Dirichlet allocation（LDA）on the aspect of non-parametric in order to solve the problem of setting number of the topics. Belief propagation algorithm is an algorithm based on the factor graph model to inference the Bayesian posterior probability. In our paper, we propose to apply the belief propagation algorithm on the HDP model, and prove the convergence of the algorithm from the view of expectation maximization algorithm. Comparing with other algorithms, the belief propagation algorithm based on HDP is better than others in accuracy measured by perplexity
出处
《微电子学与计算机》
CSCD
北大核心
2016年第3期142-146,151,共6页
Microelectronics & Computer
基金
国家自然科学基金(61373092
61033013
61272449
61202029)
江苏省教育厅重大项目(12KJA520004)
江苏省科技支撑计划重点项目(BE2014005)
广东省重点实验室开放课题(SZU-GDPHPCL-2012-09)
关键词
分层狄利克雷过程
消息传递算法
无参数主题模型
最大期望算法
shierarchical Dirichlet process
belief propagation algorithm
non-parametric topic model
expectation maximize
