期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向主题爬取的多粒度URLs优先级计算方法
被引量：
1
1
作者
陈竹敏
马军
+1 位作者
韩晓晖
雷景生
《中文信息学报》
CSCD
北大核心
2009年第3期31-38,共8页
垂直检索系统中主题爬虫的性能对整个系统至关重要。在设计主题爬虫时需要解决两个问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级。对第一个问题,给出利用页面的主题文本块和相关链接块的相关度计算方法;对...
垂直检索系统中主题爬虫的性能对整个系统至关重要。在设计主题爬虫时需要解决两个问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级。对第一个问题,给出利用页面的主题文本块和相关链接块的相关度计算方法;对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法。在此基础上,提出基于上述方法的主题爬取算法。实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法。
展开更多
关键词
计算机应用
中文信息处理
主题爬取
优先级计算
网页分块
相关度计算
下载PDF
职称材料
题名
面向主题爬取的多粒度URLs优先级计算方法
被引量：
1
1
作者
陈竹敏
马军
韩晓晖
雷景生
机构
山东大学计算机科学与技术学院
海南大学信息科学技术学院
出处
《中文信息学报》
CSCD
北大核心
2009年第3期31-38,共8页
基金
高等学校博士学科点专项科研基金项目(20070422107)
山东省科技攻关项目(2007GG10001002)
海南省自然科学基金项目(80546)
文摘
垂直检索系统中主题爬虫的性能对整个系统至关重要。在设计主题爬虫时需要解决两个问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级。对第一个问题,给出利用页面的主题文本块和相关链接块的相关度计算方法;对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法。在此基础上,提出基于上述方法的主题爬取算法。实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法。
关键词
计算机应用
中文信息处理
主题爬取
优先级计算
网页分块
相关度计算
Keywords
comput
er
application
Chinese
information
processing
focused
crawling
urls
priority
computation
page
segmentation
relevance
computation
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向主题爬取的多粒度URLs优先级计算方法
陈竹敏
马军
韩晓晖
雷景生
《中文信息学报》
CSCD
北大核心
2009
1
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
