网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
![什么是网络爬虫?](https://www.30zx.com/wp-content/uploads/replace/ad5db9bbf8402710c3c0f634f227ded1.jpeg)
原则上,浏览器可以实现的功能,爬虫都可以完成。
在当下的大数据时代,数据量是巨大的,各个领域每天都在源源不断产生数据,能够获取数据并对数据进行分析,就可以产生财富。
比如,推荐系统,电商平台根据用户的浏览商品或购买情况,就会自动识别出用户的偏好,在该用户主页推荐的商品就更容易成交,可以大幅度提升购买力。
再比如自媒体平台,创作者生产数据(即发布文章、视频) ,消费者即企业、组织付费做广告推广,每一个作品经过算法推荐给合适人群,提高平台用户的体验以及提升点击率,增加广告的曝光度。
然而,巧妇难为无米之炊,大数据的基础是数据获取,然后再对原有数据进行清洗、统计,数据量如此大,那么我们如何高效获取这些数据呢?
首先,要清楚目标数据来源,包括用户产生的数据,比如外卖点餐平台,用户订外卖就在产生数据;还有政府统计的数据,GDP、失业率等等;还有专门的数据管理公司搜集数据盈利;还有自己用爬虫或其他手段搜集的数据。
本节我们主要考虑网络爬虫获取数据。如上图所示是国家统计局统计2023年1月份70个大中城市商品住宅销售价格变动情况,假设我们只想获取城市以及该城市同比上一年同月的价格变动情况,只需要获取两列标红数据就可以。
当然我们可以手动将需要的数据复制下来,粘贴到本地excel表格当中。然而,如果数据量特别大,手动操作耗时久,而且也容易出错。所以,网络爬虫可以分析网页结构,按照此一定规律解析出目标数据,然后利用循环语句批量处理。
鼠标右键,选择检查,可以发现网页显示的数据和源码中的数据,然后分析网页源码结构,批量爬取,存储到excel或数据库中。