python爬虫学习目录

Introducation

本系列为爬虫学习的笔记。通过一步一步分析和代码编写,从基础上描述了如何抓取网站。文章没有使用爬虫框架,而是使用最基础的requests(可视为简单的对urllib,urllib2封装,使得代码写起来更流畅,更pythonic),从基础知识上进行操作。

一、分析ajax请求

本文简述了分析某个网站的流程,查看是否是ajax的请求

二、分析post请求

本文分析了ajax时,post请求的数据,并进行简单的解释说明

三、抓取页面

本文在实验环境下,抓取了某个ajax页面

四、获取cookie

本文简单说明了网站的反爬虫机制cookie,以及session。

五、获取特殊验证值

本文描述了如果抓住蛛丝马迹获取网站一些特殊的验证值

六、requests 关于cookie的堪误

本文对之前关于cookie的使用部分进行了修正。

python发送httpheader的http请求

原来写的一篇水文。内容很少。

知乎上的一个问题

如何应对网站反爬虫策略?如何高效地爬大量数据?
一个有趣的回答(不是我的。。)

路漫漫其修远兮,吾将上下而求索

文章若未注明转载皆为原创,如需转载请注明出处FindHao博客及文章链接,文章markdown格式源码现已开放,欢迎转载。文章源码地址:

分享到:

You may like..(由于采用了谷歌的推荐系统,需要对本站关闭广告过滤~)

Find

新浪微博(FindSpace博客)QQ群:不安分的Coder(375670127) 不安分的Coder

9 条回复

  1. 王贺说道:

    支持

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*