摘要
特征选择在文本聚类中起着至关重要的作用,将产生式模型Latent Dirichlet Allocation(LDA)引入基于K-means算法的文本聚类中,通过提取特征与隐含主题的关系进行特征选择。在第2届中文倾向性分析评测的语料上的实验结果表明,当选择2%的特征时,相对于单词贡献度(TC,Term Contribution)方法的纯度和F值分别提高了0.15和0.16,相对于LDA直接得到文本与主题的关系的实验结果的纯度和F值分别提高了0.14和0.13。
Feature selection plays an important role in texts clustering.In this paper,we used Latent Dirichlet Allocation（LDA）,a production model,in K-means cluster algorithm,which select the features by extracting the relation between features and the implication topics.On the corpus of COAE2009,the experiments indicate that when we select two percent of the whole features,purity and F-measure are increased 0.15 and 0.16 compared with the TC feature select algorithm,0.14 and 0.13 compared with the clustering results of LDA,respectively.
出处
《电脑开发与应用》
2012年第1期1-5,共5页
Computer Development & Applications
基金
国家自然科学基金资助项目(60875040
60970014)
教育部高等学校博士点基金(200801080006)
山西省自然科学基金资助项目(2010011021-1)
山西省科技攻关项目(20110321027-02)
太原市科技局明星专项(09121001)
