爬虫小工具合集|不会编程也能爬数据
极简标题
当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢?答案是有的,DataCastle为你准备了如下小工具,对于每个小工具你只需要花十几分钟时间,跟着我的步骤走一遍就可以掌握它啦~
首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~
(1)新建Excel,打开它,如下图所示
(2)点击“数据”——“自网站”
(3)在弹出的对话框中输入目标网址,这里以全国实时空气质量网站(http://www.pm25.in/rank)为例,点击转到,再导入
选择导入位置,确定
(4)结果如下图所示,怎么样,是不是很赞?
(5)如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可
使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~
(1)打开Google Sheet网站:http://www.google.cn/sheets/about/
(2)在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格
新建的表格如下:
(3)打开要爬取的目标网站,一个全国实时空气质量网站http://www.pm25.in/rank,目标网站上的表格结构如下图所示
(4)回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表
对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://www.pm25.in/rank","table",1),回车后就爬得数据啦
(5)将爬取好的表格存到本地
是不是感觉超级简单?
如何在短时间内入门爬虫,并获得爬取大量数据的能力?
DataCastle学院课程《Python爬虫(入门+进阶)》从具体的案例着手,通过实际操作,学习具体的知识点。
课程中工程化爬虫及分布式爬虫技术,让你有获取大规模数据的可能。此外,你还将了解数据库(Mongodb)、pandas的基本知识,帮你储存爬取的数据,同时可以对数据进行管理和清洗,便于后续分析处理。
长按下方二维码,立即购买去上课吧~
点击上方二维码,获取更多干货~
点击阅读原文,一起爬数据
- 哪种投资工具最适合你?千万别选错
- 交易所回购利率有对冲工具了!
- 您的活动合集已送达,赛事网最新活动看这里!!!
- 新乡限行期间,两项交通工具免费用!
- 拔火罐为什么都选择背部?背部拔火罐有什么讲究?
- 高引论文都是如何炼成的
- iOS 灵活的 模块化/组件化 工具与规范 Lotusoot 解说
- 心血管疾病图文详解
- 做好培训工作需要熟练掌握七个工具
- 评论:别把"神童"当工具