dytttf / antispider Goto Github PK

View Code? Open in Web Editor NEW

108.0 12.0 56.0 30 KB

JavaScript 49.17% Python 47.17% HTML 3.66%

crawler python

antispider's Introduction

antispider

记录一下碰到过的反爬虫措施和解决办法，欢迎交流!!!

需要验证referer

cookie加密验证天眼查 test_down_tianyancha.py

逗比验证码+%99验证失败

http://xygs.gsaic.gov.cn/gsxygs/pub!list.do

豆瓣FM及其他豆瓣网站 https 不严密的cookie参数 test_down_douban.py

js执行后url增加_dsign参数 get_dsign.py

访问显示安全检查中... 5秒后经过js跳转到正常页面

文字使用css样式代替

http://club.autohome.com.cn/bbs/thread-a-100024-62404423-1.html
js代码见 autohome.js
破解代码见autohome.py

限制访问频率以及代理类型

https://m.guazi.com/bj/dazhong/
访问频率要小于 0.5次/s
如果使用代理的话 http协议要用http协议的代理 https要用https的代理，混用的话相当于没加代理

巧妙使用\r在不同平台的差异让爬虫开发者头疼

\r在linux下会被解释为回车，如果使用\r当做换行符，在网页和windows上显示都没有问题，但在linux下输出的时候测绘覆盖\r之前的字符，导致输出结果和网页上看到的少很多。。，如果不太明白\r含义的话，想必要调试很久很久很久很久吧。。。

爬虫技巧-西瓜视频MP4下载地址获取

https://www.ixigua.com/

antispider's People

Stargazers

Watchers

Forkers

firebear byrsh youzhanghao flashfirexia mylove1 qixiangyangrm admindxh huasoftware yalinthin whycc gaoling0923 vickzhang jianjianxin xfy447 treewei a616099 jackyu86 alasai asmallcat baifengbai msxfxf doubletrey mstplm arryboom monkeycoderli datacabbage jamesmuwb knighthhh frankhelens cheneystar tianyanke fanhang64 innovationb1ue hhy5277 poisonlight whuxgxj hbtech-ai dingwenjie quwang123 fangty1a yonghangzhou xovel lijunjie-vip raofei shilianggong roceys leepapa mryzd s4028600 happyhero xumingze001 qlmgg lisonglin nisekoi5 juzj nightstalkerx

antispider's Issues

请教一下：
这是我正则之后出来的JS一段。
(%E3%80%82%E4%B8%80%E4%B8%89%E4%B8%8A%E4%B8%8B%E4%B8%8D%E4%BA%86%E4%BA%8C%E4%BD%8E%E5%92%8C%E5%9C%B0%E5%A4%9A%E5%A4%A7%E5%A5%BD%E5%B0%91%E5%BE%88%E5%BE%97%E6%98%AF%E7%9A%84%E7%9D%80%E8%BF%91%E9%AB%98%EF%BC%81%EF%BC%8CNx_());=IK_((Nx_()1;11;18;23;13;17;3;0;6;8;22;9;5;19;20;15;12;7;10;4;2;21;16;14),hZ_(;))
解析出来的文字为（。一三上下不了二低和地多大好少很得是的着近高！，）所以想问一下1;11;18;23;13;17;3;0;6;8;22;9;5;19;20;15;12;7;10;4;2;21;16;14是表示文字的索引吗，是hs_kw(索引)_mainBf吗，

运行出错：

UnicodeDecodeError: 'gbk' codec can't decode byte 0x9a in position 918: illegal multibyte sequence

汽车之家是不是换了反爬虫的手段了？

autohome.py运行没效果啊

span没有被替换：

自去年12月12日提车之后基本就没驾驶博越去点方这次朋友商量之后决定自驾去天津</s='hs_kw7_mainmx'>可以带越越去欣赏他乡风光由于第次去天津所以道路太熟悉还博越为我提供精准导航系统跟随博野脚步踏前往天津征程    全程速由保定北京港澳速北京方向再转入荣乌速'hs_kw5_mainmx'>路由朋友担当摄影拍照片都路<spaw1_mainmx'>风景速途中路驾驶博越给我感觉非常稳重方向指向精准说吉利真在用心造车<越已经成为同级别车型中标杆产品   面<spamainmx'>就为家奉精美图

a bug in antispider/autohome.py

The 270th line in antispider/autohome.py

# 获取所有变量
var_regex = "var\s+(\w+)=(.*?);\s"

should be:

# 获取所有变量
var_regex = "var\s+(\w+)\s*=\s*([\'\"].*?[\'\"]);\s*"

Since the following case exists.
var bs_=';12';

Thanks for your code. :)

汽车之家口碑不能用了

汽车之家口碑更新了混淆逻辑，不能用了，求大神更新代码，，

运行脚本，报错`ascii' codec can't decode byte 0xe4 in position 56`

运行脚本，报错信息如下，大神帮忙看下是什么原因？

代码定位

Exception on autohome SUV [FIXED]

爬汽车之家的SUV车型时程序会报错，index out of range。
排查发现因为SUV是加密关键词，但是是个英文关键词所以没有URL转义。所以不能被正则抓取，导致字典长度少了3，所以在执行中索引会溢出字典导致错误。

例如

res = requests.get("http://car.autohome.com.cn/config/spec/1646.html")
res.encoding = 'gb18030'
item = get_params(res.text)
print json.dumps(item, ensure_ascii=False, indent=4)

其中反混淆得到的Js如下，SUV作为前三个字符因为没有采用%xx的形式没被抓到。

SUV%E4%B8%87%E4%B8%AD%E4%BA%AC%E4%BB%B7%E4%BC%98%E4%BD%93%E4%BE%9B%E4%BF%9D%E5%85%83%E5%85%A8%E5%87%86%E5%87%91%E5%88%97%E5%88%B6%E5%89%8D%E5%8A%9B%E5%8A%9F%E5%8A%A8%E5%8A%A9%E5%8C%97%E5%8D%8E%E5%8E%8B%E5%8F%B7%E5%90%88%E5%90%8D%E5%90%8E%E5%90%B8%E5%95%86%E5%96%B7%E5%99%A8%E5%9C%B0%E5%9E%8B%E5%A4%87%E5%A4%9A%E5%A4%A7%E5%A4%AE%E5%AD%90%E5%AE%9A%E5%AE%9E%E5%AE%B9%E5%AE%BD%E5%AF%B8%E5%AF%BC%E5%B0%BA%E5%B7%AE%E5%B9%B4%E5%BA%A6%E5%BC%8F%E5%BC%B9%E5%BE%84%E5%BE%B7%E6%82%AC%E6%88%96%E6%89%AD%E6%89%BF%E6%8C%87%E6%8E%92%E6%95%B0%E6%95%B4%E6%9C%80%E6%9C%BA%E6%9D%86%E6%9E%84%E6%9E%B6%E6%A0%87%E6%A0%BC%E6%A2%B0%E6%AC%A7%E6%AF%94%E6%B0%94%E6%B2%B9%E6%B5%8B%E6%B6%B2%E7%82%B9%E7%84%B6%E7%87%83%E7%8B%AC%E7%8E%87%E7%8E%AF%E7%94%B5%E7%9B%96%E7%9B%98%E7%9F%A9%E7%A6%BB%E7%A7%AF%E7%A7%B0%E7%A8%8B%E7%A8%B3%E7%AB%8B%E7%AE%B1%E7%B0%A7%E7%B4%A7%E7%BB%BC%E7%BC%A9%E7%BC%B8%E7%BD%AE%E8%80%97%E8%83%8E%E8%87%AA%E8%93%9D%E8%A1%8C%E8%A7%84%E8%B1%AA%E8%B4%A8%E8%B7%9D%E8%BD%A6%E8%BD%AC%E8%BD%AE%E8%BD%B4%E8%BD%BD%E8%BF%9B%E8%BF%9E%E9%80%9A%E9%80%9F%E9%85%8D%E9%87%8F%E9%93%81%E9%93%9D%E9%95%BF%E9%97%A8%E9%97%B4%E9%9A%99%E9%9B%85%E9%A3%8E%E9%A9%B1%E9%A9%BB%E9%AB%98%E9%BC%93C%

我怀疑里面的英文字母也会有问题。建议把这个问题修一修，改一下正则。

这条正则是在替换匹配出来的右括号吗

js = re.sub("%s(([^\)]+))"%a, r"\1", js)

dytttf / antispider Goto Github PK

antispider's Introduction

antispider

记录一下碰到过的反爬虫措施和解决办法，欢迎交流!!!

第二级目录无限制

首次访问会出现js中间页跳转 估计是验证ip

页面加载时间特长

discuz论坛板块接口