Sub新一代子域嗅探工具｜全网爬虫获取子域｜数据库作为字典进行计次 提高准确率和效率

问题反馈：Issues

Github只发布首发布版本，后续更新都在知识星球。

通过非常规手段，进行主动扫描和被动扫描。

主动扫描指的是：通过从数据库读取Topxx（指定）数量的字域名前缀进行拼接，然后进行域名A记录的识别，对成功识别的进行站点访问，如果可以访问则提交至被动扫描进行爬虫嗅探并且将子域前缀入库，如果数据库存在则Conut次数+1。

被动扫描指的是：对可访问的站点进行访问获取页面源码，通过页面源码提取Url/域名进行关键词模糊匹配（关键词是自动提取的），如果模糊匹配到关键词则进行访问获取页面源代码并且将子域前缀入库，如果数据库存在则Conut次数+1，重复操作，一直到无法提取到新的域名为止（关键词模糊匹配不到）。

我认为最大的亮点就是准确率提高了很多，因为数据库的表存在一个Conut的列，作用是记录这个字域名出现的次数，所以每次进行主动扫描的时候会根据Conut这个列进行降序排列，这样可以优先探测出现次数较多的子域前缀，这个方式可以让数据库字典越来越大而且还避免了效率低的问题.

• 目前我认为较大的缺点就是流量的问题，流量大可能造成被Ban，所以需要对接一下代理池。
• 其次就是判断站点是否可以访问的条件，目前只是根据响应码来进行判断的，后续可能会加入一些其他的判断条件，比如响应内容，响应头等。
• 程序主要是作为拓展攻击面使用的，那么单纯的子域名获取肯定是远远不够的，所以后续会对已探测到的字域名进行端口扫描+CDN识别+指纹探测
• 目前程序获取子域名的渠道较为单一，后续会考虑加入一些API接口进行获取资产，国内外的网络测绘平台都会考虑，如果大家有较好的平台推荐可以提交Issues，如果能够提供会员账号用于测试可以联系微信：Backxyh

• 添加空间测绘被动获取子域
• 对接代理池进行轮询代理爬虫获取子域
• 添加目录/文件数据库表，便于快速爬虫获取子域
• 对站点进行指纹识别，方便红队用户快速定位目标
• 子域站点存储数据库方便其他程序调用，例如漏洞扫描

暂定就是这些，如果有其他更好的思路可以反馈至 Issues

本星球会每日更新全网优秀安全资源包括但不限于：安全工具、安全脚本、安全学习资料、安全商业产品的破解版等，资源方向均与安全各领域相关。

本星球建有运营微信群可及时在群内反馈和互动（索取安全资源），并在运营微信群内拥有Bot机器人用于通知星球最新动态方便各位星友不错过任何优秀动态。

本星球会针对安全资源进行严格的分类，方便各位星友可以快速定位自己所需的资源，及给各位星友带来更好的阅读体验。

本星球会每月进行一次优质资源统计，会根据本阅读点赞/评论/阅读/下载最多的资源进行排序方便大家更好的浏览。

并且本星球将会每季度进行一次星友知识共享直播，仅限本星球的星友参与，直播会邀请星球内的部分大佬或在外部邀请在某领域有所建设的大佬进行免费的知识共享，并且本星球的续费折扣是平台的最低5折折扣！