一. 工具介紹
URLFinder是一款用于快速提取檢測(cè)頁(yè)面中JS與URL的工具
通常用于快速查找隱藏在頁(yè)面或js中的敏感或未授權(quán)api接口
功能類似于JSFinder,開發(fā)由來(lái)就是使用它的時(shí)候經(jīng)常返回空或鏈接不全,作者還不更新修bug,那就自己來(lái)咯
URLFinder更專注于提取頁(yè)面中的JS與URL鏈接,提取的數(shù)據(jù)更完善且可查看狀態(tài)碼、內(nèi)容大小、標(biāo)題等
基于golang的多線程特性,幾千個(gè)鏈接也能幾秒內(nèi)出狀態(tài)檢測(cè)結(jié)果
有什么需求或bug歡迎各位師傅提交lssues
二. 功能說(shuō)明
1.提取頁(yè)面與JS中的JS及URL鏈接(頁(yè)面URL最多深入一層,防止抓偏)
2.提取到的鏈接會(huì)顯示狀態(tài)碼、響應(yīng)大小、標(biāo)題等(帶cookie操作時(shí)請(qǐng)使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請(qǐng)求頭
4.支持提取批量URL
5.支持結(jié)果導(dǎo)出到csv文件
6.支持指定抓取域名
7.記錄抓取來(lái)源,便于手動(dòng)分析
結(jié)果會(huì)優(yōu)先顯示輸入的url頂級(jí)域名,其他域名不做區(qū)分顯示在 other
結(jié)果會(huì)優(yōu)先顯示200,按從小到大排序(輸入的域名最優(yōu)先,就算是404也會(huì)排序在其他子域名的200前面)
三. 使用截圖
單url截圖(舊版截圖)
批量url截圖 (舊版截圖)
四. 使用教程
單url時(shí)使用
URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2
批量url時(shí)使用
URLFinder.exe -s all -m 2 -f url.txt -o d:/
參數(shù):
編譯
以下是在windows環(huán)境下,編譯出各平臺(tái)可執(zhí)行文件的命令
windows #64位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go #32位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-windows32.exe main.go linux #64位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-linux64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-linux32 main.go macos #64位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-macos64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-macos32 main.go
GOBY可以直接加載
審核編輯:劉清
-
URL
+關(guān)注
關(guān)注
0文章
141瀏覽量
15866 -
API接口
+關(guān)注
關(guān)注
1文章
85瀏覽量
10879
原文標(biāo)題:一款用GO語(yǔ)言編寫的JS爬取工具
文章出處:【微信號(hào):菜鳥學(xué)信安,微信公眾號(hào):菜鳥學(xué)信安】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
豆瓣電影Top250信息爬取
在語(yǔ)音交互的過(guò)程中用戶語(yǔ)音的關(guān)鍵字可以獲取到嗎?
PCB板在組裝過(guò)程中過(guò)波峰焊時(shí)孔爬錫不良的原因都有哪些?
比較器在轉(zhuǎn)換過(guò)程中為什么會(huì)存在振蕩

爬取電影網(wǎng)最新電影資源鏈接地址[1]
![<b class='flag-5'>爬</b><b class='flag-5'>取</b>電影網(wǎng)最新電影資源鏈接地址[1]](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
如何用python爬取抖音app數(shù)據(jù)
使用Keil過(guò)程中的一些不順手的地方
Python怎么玩轉(zhuǎn)JS腳本

在使用Keil過(guò)程中的一些不順手的地方

評(píng)論