1543889217 Goto Github PK

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

any-whim

碎片记录一些从开始学编程以来各种零散的代码片，仅供个人方便查看使用。

boris-spider

boris-spider是一款使用Python语言编写的爬虫框架，于多年的爬虫业务中不断磨合而诞生，相比于scrapy，该框架更易上手，且又满足复杂的需求，支持分布式及批次采集。

crack-js

🕷🎯Python3爬虫项目进阶实战、JS加解密、逆向教程、css 加密、字体加密 - 犀牛数据 | 美团美食 | 企名片 | 七麦数据 | 淘大象 | 梦幻西游藏宝阁 | 国家企业信用信息公示系统 | 漫画柜 | 财联社 | **空气质量在线监测分析平台 | 66ip代理 | 零度ip | **产品大目录 | JSFuck | 咪咕视频 | 房天下 | 新浪微博 | 新浪二手房 | 极贷助手 | 裁判文书网 | 空中网 | 粉笔网 | 叮当快药 | 58同城 | wallhere | 豆瓣读书 | google 镜像站 | openlaw | X里文学 | 刺猬猫小说 |

crawler-book

《爬虫实战：从数据到产品》一书源代码

crawlproject

今日头条 、淘宝 、微博 、斗鱼 、抖音 、哔哩哔哩 、有道翻译、steam网站以及网易云音乐爬取

distributed-spider

通用新闻类网站分布式爬虫

douyin-live

Python爬虫，抖音直播小爬虫，可以爬取抖音直播弹幕，抖音直播礼物，抖音礼物排行，抖音直播账号信息，抖音直播流地址，抖音直播礼物价值，抖音直播进出，抖音直播在线观众，2024年可用

emergency-response-notes

应急响应实战笔记，一个安全工程师的自我修养。

fridauitools

frida工具的缝合怪

generalnewsextractor

新闻网页正文通用抽取器 Beta 版.

gerapyautoextractor

Auto Extractor Module

hm4hubt0ddon80t_for_wenshu

文书网最新解密server

howtocook

程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese).

iaoandroid

安卓逆向 不定时分享 抖聘 惠借贷款 平安健康 小红书 搜狐汽车 用药助手 美丽修行 马蜂窝 美图秀秀 辣妈帮 妈妈帮 天涯社区

jmpy

python 代码加密|加固

js_reverse

jsdecrypt

js逆向解析

jskiller

JsKiller 每月更新多个网站JS解密方式 ，欢迎Star

jspider

JSpider会每周更新至少一个网站的JS解密方式，欢迎 Star，交流微信：13298307816

latlng_conversion

主要是将 墨卡托坐标转为BD09(百度使用的坐标) 和 BD09转成GCJ03(火星坐标,我们常用的)

learn_python3_spider

python爬虫教程系列、从0到1学习python爬虫，包括浏览器抓包，手机APP抓包，如 fiddler、mitmproxy，各种爬虫涉及的模块的使用，如：requests、beautifulSoup、selenium、appium、scrapy等，以及IP代理，验证码识别，Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，分布式爬虫，爬虫项目实战实例等

lengyue-vcode

各种滑动验证码识别 [腾讯云] [易盾] [Vaptcha] [Geetest] [极验] 各种网站破解

login_taobao

模拟登录淘宝

lxspider

爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、各种指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书、大众点评、推特、脉脉》

maida

一个发送邮件库（暂时）（目前拓展至 scrapy 发送错误邮件）

meituan-spider

基于Appium的美团爬虫

merge-conflicts

mycrawlers

2023年起，整合的一些爬虫案例，包括静态/动态网页数据采集和JS逆向，以及一些有意思的/实用的接口

nike_spider

各个主流电商平台商品信息爬虫