摘要
Scrapy框架是Python封装好提供的一个明星框架,可以帮助使用者更加合理,更加高效的获取数据,分析数据,利用数据来产生价值。文章讨论了Scrapy网络爬虫框架的基本工作原理与其优点,论述了Scrapy框架的安装方法,并利用Scrapy框架对1905电影网上的电影数据进行了爬取,得到了801部电影数据,然后将这些数据保存到本地的MySQL数据库中。通过对内地和欧美地区的电影数据进行可视化分析,得出了电影类型(动作、爱情、喜剧、战争、动画、科幻)与评分之间的关系,以及电影上映年份(2011—2021)与评分之间的关系。结果表明:动作、战争、动画三类电影,我国内地平均评分高于欧美地区;在2011—2021年之间的大部分时间段,我国内地的电影平均评分都高于欧美地区。
出处
《西藏科技》
2022年第2期64-68,共5页
Xizang Science And Technology
基金
西藏自治区自然科学基金项目“基于大数据的西藏非物质文化遗产知识图谱研究”(XZ2018ZRG-66)。
