Python爬虫技术在信息流行病学中的应用 被引量：15

1

作者 周江杰 王胜锋 李立明 《中华流行病学杂志》 CAS CSCD 北大核心 2020年第6期952-956,共5页

Python网络爬虫技术是一种通过模拟用户的网络浏览行为以实现从网络中自动、大量提取信息的技术,是信息流行病学研究收集并整合多源异构信息数据的关键基础。Python网络爬虫可分为简单爬虫与大型爬虫,集数据采集与数据库构建于一体,语... Python网络爬虫技术是一种通过模拟用户的网络浏览行为以实现从网络中自动、大量提取信息的技术,是信息流行病学研究收集并整合多源异构信息数据的关键基础。Python网络爬虫可分为简单爬虫与大型爬虫,集数据采集与数据库构建于一体,语法简洁、灵活性高、学习成本低、维护成本低。它适用于信息流行病学的各种应用场景,通过对互联网中健康相关信息的分析,实现多种公共卫生监测、健康干预实施及效果评价、智慧寻医方略优化等目标。近年,我国政府开始鼓励对含互联网信息在内的多源大数据的整合利用,在此背景下,Python爬虫技术的应用场景势必会越来越多,相应的人才培养、技术革新建议纳入到公共卫生教育和科研体系之中。 展开更多

关键词 python爬虫技术 信息流行病学 公共卫生监测 健康干预 智慧寻医

原文传递

Python爬虫技术的网页数据抓取与分析 被引量：11

2

作者 徐志 金伟 《数字技术与应用》 2020年第10期30-32,共3页

随着信息化时代的到来,互联网信息量呈现爆发式的增长,如何在诸多复杂的信息中简单快捷的寻找到有效信息,而网络爬虫的诞生能够有效的解决此类问题,改善了信息检索的现状,本文通过概述网络爬虫的原理,对Python爬虫技术进行分析。

关键词 网页数据 抓取 python爬虫技术 分析

下载PDF 职称材料

基于Python爬虫技术的网页数据抓取方法 被引量：5

3

作者 刘萍 《信息与电脑》 2022年第14期169-171,共3页

由于对网页数据的爬取存在一定的完整性问题,导致爬取质量和效率较低,为此提出基于Python爬虫技术的网页数据抓取方法。首先,以网页数据的非线性时间序列关键点为节点,构建Python爬虫网络相空间格局;其次,利用Python爬虫技术在划分的网... 由于对网页数据的爬取存在一定的完整性问题,导致爬取质量和效率较低,为此提出基于Python爬虫技术的网页数据抓取方法。首先,以网页数据的非线性时间序列关键点为节点,构建Python爬虫网络相空间格局;其次,利用Python爬虫技术在划分的网络相空间格局内抓取目标数据;最后,Python爬虫以爬取目标为数据特性,以空间划分结果为基础,对库中的页面进行个性化标记,抽取页面包含的所有统一资源定位系统(Uniform Resource Locator,URL)信息,将其与已抓取队列信息进行比较,确定爬取结果的完整性。测试结果表明,设计方法可以适应不同网络环境,实现对网页数据的快速、有效抓取。 展开更多

关键词 python爬虫技术 网页数据抓取 非线性时间序列

下载PDF 职称材料

基于Python爬虫技术的游客评论数据可视化分析 被引量：6

4

作者 贾艳平 翟晋刚 《安阳师范学院学报》 2021年第5期51-54,共4页

通过Python爬虫技术对2019年五一假期期间某著名旅游景区网站上游客对该景区酒店评论数据进行爬取,以爬取的数据为分析对象,对酒店的住宿环境、价格、位置与交通以及服务态度等关键信息的游客评论数据进行可视化分析。结果表明,景区游... 通过Python爬虫技术对2019年五一假期期间某著名旅游景区网站上游客对该景区酒店评论数据进行爬取,以爬取的数据为分析对象,对酒店的住宿环境、价格、位置与交通以及服务态度等关键信息的游客评论数据进行可视化分析。结果表明,景区游客更加关注旅游景区的门票、位置、公交车、老板、印象、住宿等关键性要素,同时游客认为酒店服务存在的不足主要有房间隔音差、停车场偏小等。该分析对促进旅游景区健康、可持续发展提供了数据参考和决策依据。 展开更多

关键词 旅游景点 游客 评论数据 可视化 python爬虫技术

下载PDF 职称材料

基于Python爬虫技术的网页内容文本大数据提取方法研究

5

作者 党浩予 《电脑与电信》 2023年第8期90-93,共4页

现如今网站的页面布局较为复杂、展示内容与文本信息较多,在单位时间内提高文本大数据提取数量难度较大,基于此以Python爬虫技术为支撑,开展网页内容文本大数据提取方法的设计研究。首先,对网页内容进行综合解析,获取网页内容文本数据,... 现如今网站的页面布局较为复杂、展示内容与文本信息较多,在单位时间内提高文本大数据提取数量难度较大,基于此以Python爬虫技术为支撑,开展网页内容文本大数据提取方法的设计研究。首先,对网页内容进行综合解析,获取网页内容文本数据,计算网页内容文本复杂度;其次,引进Python爬虫技术,计算特征信息权重,进行文本大数据特征的识别;最后,通过提取的文本大数据特征,构建网页内容文本相空间,采集大数据矢量信息,根据预设的条件,进行大数据关键信息的维度划分及信息提取。通过实验对比,在相同的条件下对比传统方法,本文设计的方法提取文本大数据数量最多、能力最强,可以提取更多的文本大数据信息,即该方法的文本大数据提取能力较强。 展开更多

关键词 python爬虫技术 关联维度信息 提取方法 大数据 文本 网页内容

下载PDF 职称材料

基于Python爬虫技术的高校教学数据分析与挖掘研究

6

作者 杨静 《中文科技期刊数据库（全文版）教育科学》 2023年第5期31-34,共4页

随着互联网技术的不断发展,高校教学数据得以数字化并存储于网络中。这些数据包括学生选课情况、考试成绩、学籍信息等,具有丰富的挖掘价值。本文基于Python爬虫技术,采集高校教学数据,并利用pandas、numpy、scikit-learn等Python数据... 随着互联网技术的不断发展,高校教学数据得以数字化并存储于网络中。这些数据包括学生选课情况、考试成绩、学籍信息等,具有丰富的挖掘价值。本文基于Python爬虫技术,采集高校教学数据,并利用pandas、numpy、scikit-learn等Python数据分析工具库对数据进行预处理、清洗和分析,最终构建高校教学质量评价模型。实验结果表明,该模型能够有效地预测学生成绩和评价教学质量,为高校提供科学依据。 展开更多

关键词 python爬虫技术 高校教学数据 数据分析 高校教学质量评价

下载PDF 职称材料

基于Python爬虫技术的虚假数据溯源与途中过滤分析 被引量：1

7

作者 王景 《河南科技》 2021年第22期27-30,共4页

面对不同网络系统场景下存在虚假数据溯源精度低、过滤执行范围小等问题,提出利用Python爬虫技术的虚假数据处理方案,将虚假数据覆盖的网络空间划分为多个网格,在网格系统中布置多个节点,利用爬虫管理器、采集器等软件,对网页、应用程... 面对不同网络系统场景下存在虚假数据溯源精度低、过滤执行范围小等问题,提出利用Python爬虫技术的虚假数据处理方案,将虚假数据覆盖的网络空间划分为多个网格,在网格系统中布置多个节点,利用爬虫管理器、采集器等软件,对网页、应用程序界面的数据进行Python爬虫抓取,标记抓取到的数据包,再使用共享密钥对sink网关节点获得的数据包做出其消息认证码(Message Authentication Code,MAC)地址是否合法的判断,若不合法则启动虚假数溯源,过滤掉无用的密钥节点。 展开更多

关键词 python爬虫技术 虚假数据 溯源 途中过滤分析

下载PDF 职称材料

基于SIR模型的新型冠状病毒肺炎预测分析 被引量：1

8

作者 康观龙 柳炳祥 《中阿科技论坛（中英文）》 2020年第6期151-153,共3页

本文利用Python爬虫技术,获取国家卫健委每日发布的新冠肺炎相关病例(确诊、疑似、治愈、死亡)数据,基于疫情初期数据用SIR模型建立疫情变化趋势图,再结合政府制定的一系列干预政策,考虑其他影响疫情发展的因素,用改进的SIR模型对疫情... 本文利用Python爬虫技术,获取国家卫健委每日发布的新冠肺炎相关病例(确诊、疑似、治愈、死亡)数据,基于疫情初期数据用SIR模型建立疫情变化趋势图,再结合政府制定的一系列干预政策,考虑其他影响疫情发展的因素,用改进的SIR模型对疫情进行预测,并对疫情的发展阶段和趋势进行评估,得出在政府干预下,新冠肺炎疫情高峰下降及结束时间提前,肯定了政府干预措施的必要性,为世界各国建立有效的疫情防控提供参考。 展开更多

关键词 python爬虫技术 SIR模型 新冠肺炎疫情

下载PDF 职称材料

基于Python爬虫技术的网络目录更新程序设计 被引量：1

9

作者 宋钰 《现代信息科技》 2020年第18期20-22,共3页

为解决传统网络目录更新程序速率慢的问题,文章设计了基于Python爬虫技术的网络目录更新程序,运用GET方式自动解析预设网络目录参数,删除重复网络目录,转化最新得到的网络目录为EQ3格式,完成网络目录更新,实现EQ3网络目录格式更新程序... 为解决传统网络目录更新程序速率慢的问题,文章设计了基于Python爬虫技术的网络目录更新程序,运用GET方式自动解析预设网络目录参数,删除重复网络目录,转化最新得到的网络目录为EQ3格式,完成网络目录更新,实现EQ3网络目录格式更新程序的设计。通过PyQt编写程序界面得出结论:该程序更新网络目录平均耗时为1.568 s,对照组为4.896 s,该程序更新网络目录平均耗时低于对照组,更新速率更快,可以解决传统网络目录更新程序速率慢的问题。 展开更多

关键词 python爬虫技术 网络目录 更新程序 更新速率

下载PDF 职称材料

基于模糊综合评价法的共享电单车满意度分析

10

作者 张露康 曾超 +1 位作者 赵梦 何伟 《交通节能与环保》 2022年第5期50-54,59,共6页

共享电单车服务质量的好坏与大众的满意程度有着直接的关系,为了寻找一种简单易行的满意度调查方法,本研究基于模糊综合评价法的指标选取原则和满意度影响因素,对重庆市南岸区共享电单车大众满意度进行了理论和实证探索研究。

关键词 共享电单车 大众满意度 模糊综合评价 python爬虫技术

下载PDF 职称材料

基于数据包络方法的中小企业融资优势分析 被引量：1

11

作者 何雨峰 许超 黄兰 《中国集体经济》 2020年第5期98-100,共3页

随着国际经济环境的不断变动,国际市场的萎靡和国内市场的逐渐饱和已经初现端倪.中小企业作为企业竞争中的弱势群体在竞争逐渐增大的同时还要面对转型的巨大压力.此时,资金链的保证成为了企业经营的生死线.通过公司上市,出售股票进行融... 随着国际经济环境的不断变动,国际市场的萎靡和国内市场的逐渐饱和已经初现端倪.中小企业作为企业竞争中的弱势群体在竞争逐渐增大的同时还要面对转型的巨大压力.此时,资金链的保证成为了企业经营的生死线.通过公司上市,出售股票进行融资成为了越来越多公司的选择.文章运用Python爬虫技术获取数据,使用DEA方法构建CCR模型进行数据分析,对不同财务状况的中小企业在融资过程的优势做出比较,为企业融资提出建议. 展开更多

关键词 中小板上市企业 融资效率 优势比较 python爬虫技术 DEA方法

下载PDF 职称材料