当子域名遇上搜索引擎（子域名字典）
cac55 2024-10-27 08:15 9 浏览 0 评论
用之则行，舍之则藏
大概数月前我写了一个子域名扫描工具，期间用起来感觉还行，故打算作文分享一波。当然Github上优秀开源的子域名扫描工具很多，其原理不外乎：字典爆破、爬取第三方平台、爬取dns解析记录、利用搜索引擎、利用证书等。本篇不打算去做工具间的比较，主要用来分享一下如何利用百度搜索引擎去高效的搜集子域名。
字典爆破姿势
在介绍利用搜索引擎搜集子域名前，我先分享一下利用字典爆破方式的缺点以及个人解决方案。
字典爆破方式的缺点
最常见的子域名扫描工具是利用字典爆破的方式，即准备一个常用子域名字典，然后模拟请求dns服务器，观察子域名是否有被成功解析。这种方式非常高效，因为可以利用脚本并发去请求，速度非常快，如果字典够好，结果会很理想。但也存在一个问题，即如果域名设置了泛解析，那么几乎字典中的子域名都是能被成功解析的，会造成很多无用子域名数据。
字典爆破方式的解决方案
解决这个问题，我的第一种方法是将爆破后的子域名+IP结果存入List列表中，然后check同一个IP对应多少个子域名，如果数量大于阀值，则判定为无用数据（因为正常情况下，同一个IP绑定的域名不会特别多）。第二种方式是在爆破前，先去构造一个特殊的子域名，比如：”iamisnmask.thief.one”，类似这种随机字符串构成，不可能会使用的子域名，如果也能解析成功，则说明使用了泛解析。
利用搜索引擎收集子域名
这个思路源于搜索引擎本身就是一个庞大的爬虫系统，其收录了大量网站相关的信息，包括子域名，因此可以利用它来搜集一波。国内搜索引擎有很多，这里只介绍利用百度搜索引擎去搜索，另外我之前专门写过如何爬取百度与搜狗的文章，有兴趣可以移步：爬取搜索引擎之寻你千百度 、爬取搜索引擎之搜狗
爬取百度搜索引擎，首先需要收集一个百度IP列表用来分布式爬取，一方面加快爬取速度，另一方面避免被百度屏蔽。其次是要考虑如何去搜索，才能获取尽量多的子域名结果，我这边列了两种方式，欢迎大家补充。
第一种，可以利用百度搜索语法中的site与link，比如在百度中搜索：site:ctrip.com link:ctrip.com关键词，可以搜索出ctrip.com相关的子域名，但是百度只显示前76页的搜索结果，因此利用此方法获取的子域名肯定不全。
第二种，为了解决第一种的弊端，我们可以利用site+分块的方式去进行搜索，比如在百度中搜索：site:ctrip.com inurl:login关键词，inurl后的关键词可以利用常见的字典进行构造，这种通过多次分块搜索的方式尽可能多的搜索子域名。
项目相关代码
项目代码比较简单，这里就不展开介绍了，本文主要分享了通过百度搜索引擎去尽可能多的搜集子域名的一些个人思路。关于代码，为了方便交流，我上传到了github上，有任何问题可以留言讨论。
项目地址：https://github.com/tengzhangchao/subdomain_baidu_search
文章个人博客地址：https://thief.one/2019/07/01/1/
文章微信公众号地址：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1837956476
相关推荐
- 二年级下册语文课后三张表:词语表、生字表、识字，带注音
-
完整版电子资料，请关注后看我主页置顶贴获取为方便领取资料，请截图本页内容高清图片，可保存原图打印...
- 怎样把照片识别成文字?免费图片转Word的方法
-
有时我们去参加一些培训或活动，现场笔记来不及做都是先用手机拍照，后续再整理的时候重新打肯定特别耗时间，是否能直接将照片识别成文字呢？答案当然是肯定的，除了一些比较常用的聊天工具的截图文字识别外，更好用...
- 25春 | 二年级语文下册《写字表+识字表》，给孩子的预习带来帮助
-
25春|二年级语文下册《写字表+识字表》，给孩子的预习带来帮助完整版电子资料，请关注后看我主页置顶贴获取为方便领取资料，请截图本页内容高清图片，可保存原图打印...
- 二年级上册第五单元练字帖截图可打印，暑假练字必备打印版
-
部编版小学语文教材更加注重基础的掌握与积累，尤其在小学生认字和写字、阅读、古诗词等方面，提出了更高与更细致的要求。练字帖是以部编版小学语文教材的写字表做了汇总并以教材为范本制作写字表字帖字体、写字格规...
- 四年级上册第一单元练字帖截图可打印，暑假练字必备打印版
-
这练字帖是由部编版四年级上册教材整理而来的，字体、写字格规格、字号等与教材完全一致，部编版小学语文教材更加注重基础的掌握与积累。大家都知道家长朋友除了关心孩子的成绩之外，另外一个最关心的问题就是孩子...
- 部编版小学一年级下册语文第一单元识字第1课课件:春夏秋冬
-
亲爱的读者，今天为您带来的是部编版小学一年级下册语文第一单元识字第1课课件，本套课件是老师辛苦制作的呢。请大家看一下课件截图吧。大家都知道，现在的学校电教化水平很高了，可是，老师们自己制作一份课件非常...
- 老师的助手:部编版小学一年级下册语文第一单元识字第1课课件
-
亲爱的读者，今天为您带来的是部编版小学一年级下册语文第一单元识字第1课课件，本套课件是老师辛苦制作的呢。请大家看一下课件截图吧。大家都知道，现在的学校电教化水平很高了，可是，老师们自己制作一份课件非常...
- 四年级下册字帖语文识字表二类(电子版可打印)
-
亲爱的同学们好，这里是小学课堂秘籍今天为大家分享：四（下）语文识字表二类字贴23页。小学四年级是语文学习的重要阶段，识字是这个阶段语文学习的基础任务之一。2025新四下语文识字表二类字帖，是依据...
- PDF解锁神器:用PyMuPDF与pdfplumber告别手动提取
-
前言大家好，今天咱们来聊聊如何用Python中的PyMuPDF和pdfplumber库，轻松提取PDF文件里的文本和元数据。你是否曾经在处理一个复杂的PDF文件时，感到信息难以触及，提取过程让人抓狂？...
- 四年级上册第3单元看拼音写汉字截图打印，暑假预习必备打印版
-
部编版小学语文教材更加注重基础的掌握与积累，尤其在小学生认字和写字、阅读、古诗词等方面，提出了更高与更细致的要求。练字帖是以部编版小学语文教材的写字表做了汇总并以教材为范本制作写字表字帖字体、写字格规...
- 二级上册第3一4单元看拼音写汉字截图可打印，暑假预习打印版
-
部编版小学语文教材更加注重基础的掌握与积累，尤其在小学生认字和写字、阅读、古诗词等方面，提出了更高与更细致的要求。练字帖是以部编版小学语文教材的写字表做了汇总并以教材为范本制作写字表字帖字体、写字格规...
- 五年级下册语文睡前默写每日一练小纸条(识字.写字.词语)电子版
-
亲爱的同学们好，这里是小学课堂秘籍今天为大家分享：五（下）语文睡前默写每日一练小纸条（识字.写字.词语），每天的练习围绕一篇或几篇课文展开，题型丰富。看拼音写词语和根据语境写词语，有助于学生巩固生字词...
- 微信图片识别文字怎么弄?分享两个小妙招
-
微信是目前全球使用最广泛的即时通讯软件之一，其提供的图像识别功能使得我们能够轻松地通过拍照或者截图来获取图像中的文字信息。本文将介绍微信图片识别文字的方法以及相关技巧。微信图片识别文字的方法微信图片识...
- 四年级上册第1一2单元看拼音写汉字截图可打印，暑假预习打印版
-
部编版小学语文教材更加注重基础的掌握与积累，尤其在小学生认字和写字、阅读、古诗词等方面，提出了更高与更细致的要求。练字帖是以部编版小学语文教材的写字表做了汇总并以教材为范本制作写字表字帖字体、写字格规...
- 25年新版三年级上册语文暑假练习识字表字帖
-
完整版电子资料，请关注后看我主页置顶贴获取为方便领取资料，请截图本页内容高清图片，可保存原图打印...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)