【工具分享】一款自己经常使用的URL批量识别小工具


0x00 前言

这是一款对URL进行批量识别存活、常见端口、标题、Banner等信息的工具,虽然之前也写过类似的工具,但是要不速度太慢就是识别出来的效果不够理想。

后来发现httpx能够很好的完成这样的一个需求,但是 httpx 的命令是在有些长,每次使用都要输入很长的一段命令,而且导出的数据不够直观。

所以本工具在httpx的基础上简化了输入的命令长度同时将结果进行excel表格的导出,便于对收集到的信息进行整理。

这个工具自己也使用了差不多有1个月的时间,发现平时在做资产收集的时候,效率提升的还是很明显的,因此便打算把这个工具分享出来供大家使用,如果感觉还不错欢迎给个star。

本工具项目地址:https://github.com/teamssix/url_batch_discovery

0x01 安装

1、安装 httpx

在使用本工具前需要先安装httpx工具,httpx项目地址:https://github.com/projectdiscovery/httpx

在httpx的releases页面下载适合自己系统的安装包,然后添加到系统路径即可,最后在命令行中能成功执行httpx --version即表示安装成功了。

2、安装本工具

git clone https://github.com/teamssix/url_batch_discovery.git
cd url_batch_discovery
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
python3 url_batch_discovery.py -h

0x02 使用

  • 命令说明
-h, --help  show this help message and exit
-l LIST     指定URL列表文件
-m MATCH    指定要匹配的关键字,返回结果中将只包含存在该关键字的内容
-o OUTPUT   导出的文件路径,默认保存在./output/文件夹内,导出文件格式为xlsx,格式:/path1/path2/
-p PORT     指定要检测的端口,默认只对80和443端口进行检测,格式:80,443,8000-8010
-t THREADS  指定线程大小,默认50个线程
-u URL      指定单个URL
  • 对 url.txt 里的url进行批量识别
python3 url_batch_discovery.py -l url.txt
  • 对 url.ttx 进行80,443,8080-8090的端口识别
python3 url_batch_discovery.py -l url.txt -p 80,443,8080-8090
  • 对 url.ttx 进行批量识别,且只返回网页中存在“JBoos”字符的URL
python3 url_batch_discovery.py -l url.txt -m "JBoss"

0x03 工具截图

  • 帮助信息

  • 导出表格

0x04 注意事项

  • 本工具使用 Python3 开发,因此需要 Python3 环境支持
  • 本工具核心功能来自 httpx
  • 本工具的运行速度取决于你设置的线程大小以及端口数量的多少
  • 如果使用过程中碰到 bug,欢迎提 issue,如果帮助到你,欢迎赏个 star


文章作者: Teams Six
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Teams Six !
评论
  目录