期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于Python的爬虫技术的网站设计与实现
被引量:
7
1
作者
肖新凤
张绛丽
邓
祖
民
《现代信息科技》
2020年第14期73-75,78,共4页
随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重。很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略。文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向...
随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重。很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略。文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向网站爬虫的细节和应用环节。爬虫可以针对不同的主题网站分析构造URL并去重,多线程技术让爬虫具备更强大的抓取能力。
展开更多
关键词
PYTHON
爬虫
数据
豆瓣读书网
下载PDF
职称材料
题名
基于Python的爬虫技术的网站设计与实现
被引量:
7
1
作者
肖新凤
张绛丽
邓
祖
民
机构
广东环境保护工程职业学院
出处
《现代信息科技》
2020年第14期73-75,78,共4页
基金
广东省高职高专云计算与大数据专业委员会2019年度课题(GDYJSKT19-26)
中国职业技术教育学会教学工作委员会2019—2020年度职业教育教学改革课题研究1910110)
+1 种基金
广东环境保护工程职业学院质量工程项目(J421320022202)
校企合作项目“环保管家”大数据服务平台建设(JQFW20200109-01)。
文摘
随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重。很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略。文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向网站爬虫的细节和应用环节。爬虫可以针对不同的主题网站分析构造URL并去重,多线程技术让爬虫具备更强大的抓取能力。
关键词
PYTHON
爬虫
数据
豆瓣读书网
Keywords
Python
crawler
data
Douban reading website
分类号
TP391.3 [自动化与计算机技术—计算机应用技术]
TP391.1 [自动化与计算机技术—计算机科学与技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于Python的爬虫技术的网站设计与实现
肖新凤
张绛丽
邓
祖
民
《现代信息科技》
2020
7
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部