文章
文章用户商铺文档圈子网址导航问答供求信息快讯
当前位置：首页干货分享katana 下一代网页蜘蛛爬行网址抓取框架

katana 下一代网页蜘蛛爬行网址抓取框架

katana简介

katana是projectdiscovery项目中的一个网页链接抓取工具,可以自动解析js文件.

特色

  • 快速且完全可配置,可网络升级
  • 标准和无头模式支持
  • JavaScript解析/刷取
  • 可定制的自动填充表
  • 范围控制– 预先配置文字段/正则表达式
  • 可定制的输出– 预先配置文字段
  • 输入 – STDIN , URL和LIST
  • 输出 – STDOUT、文件和JSON

安装方法

katana 需要Go 1.18才能安装成功。
要安装，只需要运行以下指令或从发布页面下载预编译的二次制作文件。

go install github.com/projectdiscovery/katana/cmd/katana@latest

docker安装

安装/更新 docker 到最新 –

docker pull projectdiscovery/katana:latest

使用 docker 在标准模式下运行 katana –

docker run projectdiscovery/katana:latest -u https://tesla.com

使用 docker 以无头模式运行 katana –

docker run projectdiscovery/katana:latest -u https://tesla.com -system-chrome -headless

使用方法

katana -h

这将显示该工具的帮助。这是它支持的所有开关。

用法:
  ./katana [flags]

参数:
输入:
   -u, -list string[]  target url / list to crawl

配置:
   -d, -depth int                最大爬行深度（默认为2）。
   -jc, -js-crawl                在javascript文件中启用端点解析/抓取功能
   -ct, -crawl-duration int      爬行目标的最长时间
   -kf, -known-files string      启用对已知文件的抓取（all,robotstxt,sitemapxml）。
   -mrs, -max-response-size int  读取的最大响应大小（默认为2097152）。
   -timeout int                  等待请求的时间，以秒为单位（默认为10）。
   -aff, -automatic-form-fill    启用可选的自动填表功能（试验性的）。
   -retry int                    重试请求的次数（默认为1）。
   -proxy string                 使用的http/socks5代理
   -H, -headers string[]         请求中包含的自定义头信息/cookie
   -config string                katana配置文件的路径
   -fc, -form-config string      自定义表单配置文件的路径

无头的:
   -hl, -headless                   启用无头混合爬行(实验性)
   -sc, -system-chrome              使用本地安装的chrome浏览器，而不是katana自带的。
   -sb, -show-browser               以无头模式在屏幕上显示浏览器
   -ho, -headless-options string[]  开始使用带有额外选项的无头浏览器
   -nos, -no-sandbox                在无沙盒模式下启动无头的Chrome

范围:
   -cs, -crawl-scope string[]       在范围内的URL重词将被爬虫遵循
   -cos, -crawl-out-scope string[]  被爬虫排除的超范围的URL重词
   -fs, -field-scope string         预定义的范围字段（dn,rdn,fqdn）（默认为 "rdn"）。
   -ns, -no-scope                   禁用基于主机的默认范围
   -do, -display-out-scope          从范围内抓取显示外部端点

过滤器:
   -f, -field string                输出中显示的字段 (url,path,fqdn,rdn,rurl,qurl,qpath,file,key,value,kv,dir,udir)
   -sf, -store-field string         储存在每个主机输出中的字段 (url,path,fqdn,rdn,rurl,qurl,qpath,file,key,value,kv,dir,udir)
   -em, -extension-match string[]   匹配给定扩展名的输出（例如，-em php,html,js）。
   -ef, -extension-filter string[]  过滤给定扩展名的输出（例如，-ef png,css）。

速率限制:
   -c, -concurrency int          使用的并发取物器的数量（默认为10）。
   -p, -parallelism int          要处理的并发输入的数量（默认为10）。
   -rd, -delay int               每个请求之间的延迟，以秒为单位
   -rl, -rate-limit int          每秒发送的最大请求数（默认为150）。
   -rlm, -rate-limit-minute int  每分钟发送的最大请求数

输出:
   -o, -output string  文件输出到
   -j, -json           以JSONL(ines)格式输出
   -nc, -no-color      禁用输出内容着色（ANSI转义代码）。
   -silent             仅显示输出
   -v, -verbose        展示粗略的输出
   -version            显示项目版本

katana使用示例

katana需要url或端点来抓取并接受单个或多个输入。

可以使用 URL -u选项提供输入，可以使用逗号分隔的输入提供多个值，类似地，使用选项支持文件-list输入，另外还支持管道输入 (stdin)。

网址输入

katana -u https://tesla.com

多个URL 输入（逗号分隔）

katana -u https://tesla.com,https://google.com

列表输入

$ cat url_list.txt
https://tesla.com
https://google.com
katana -list url_list.txt

STDIN（管道）输入

echo https://tesla.com | katana
cat domains | httpx | katana

运行起来是这个样子的:

katana -u https://youtube.com

   __        __                
  / /_____ _/ /____ ____  ___ _
 /  '_/ _  / __/ _  / _ \/ _  /
/_/\_\\_,_/\__/\_,_/_//_/\_,_/ v0.0.1                     

      projectdiscovery.io

[WRN] Use with caution. You are responsible for your actions.
[WRN] Developers assume no liability and are not responsible for any misuse or damage.
https://www.youtube.com/
https://www.youtube.com/about/
https://www.youtube.com/about/press/
https://www.youtube.com/about/copyright/
https://www.youtube.com/t/contact_us/
https://www.youtube.com/creators/
https://www.youtube.com/ads/
https://www.youtube.com/t/terms
https://www.youtube.com/t/privacy
https://www.youtube.com/about/policies/
https://www.youtube.com/howyoutubeworks?utm_campaign=ytgen&utm_source=ythp&utm_medium=LeftNav&utm_content=txt&u=https%3A%2F%2Fwww.youtube.com%2Fhowyoutubeworks%3Futm_source%3Dythp%26utm_medium%3DLeftNav%26utm_campaign%3Dytgen
https://www.youtube.com/new
https://m.youtube.com/
https://www.youtube.com/s/desktop/4965577f/jsbin/desktop_polymer.vflset/desktop_polymer.js
https://www.youtube.com/s/desktop/4965577f/cssbin/www-main-desktop-home-page-skeleton.css
https://www.youtube.com/s/desktop/4965577f/cssbin/www-onepick.css
https://www.youtube.com/s/_/ytmainappweb/_/ss/k=ytmainappweb.kevlar_base.0Zo5FUcPkCg.L.B1.O/am=gAE/d=0/rs=AGKMywG5nh5Qp-BGPbOaI1evhF5BVGRZGA
https://www.youtube.com/opensearch?locale=en_GB
https://www.youtube.com/manifest.webmanifest
https://www.youtube.com/s/desktop/4965577f/cssbin/www-main-desktop-watch-page-skeleton.css
https://www.youtube.com/s/desktop/4965577f/jsbin/web-animations-next-lite.min.vflset/web-animations-next-lite.min.js
https://www.youtube.com/s/desktop/4965577f/jsbin/custom-elements-es5-adapter.vflset/custom-elements-es5-adapter.js
https://www.youtube.com/s/desktop/4965577f/jsbin/webcomponents-sd.vflset/webcomponents-sd.js
https://www.youtube.com/s/desktop/4965577f/jsbin/intersection-observer.min.vflset/intersection-observer.min.js
https://www.youtube.com/s/desktop/4965577f/jsbin/scheduler.vflset/scheduler.js
https://www.youtube.com/s/desktop/4965577f/jsbin/www-i18n-constants-en_GB.vflset/www-i18n-constants.js
https://www.youtube.com/s/desktop/4965577f/jsbin/www-tampering.vflset/www-tampering.js
https://www.youtube.com/s/desktop/4965577f/jsbin/spf.vflset/spf.js
https://www.youtube.com/s/desktop/4965577f/jsbin/network.vflset/network.js
https://www.youtube.com/howyoutubeworks/
https://www.youtube.com/trends/
https://www.youtube.com/jobs/
https://www.youtube.com/kids/

爬行模式

标准模式

标准爬行模式使用标准的 go http 库来处理 HTTP 请求/响应。这种模式要快得多，因为它没有浏览器开销。尽管如此，它仍按原样分析 HTTP 响应主体，没有任何 javascript 或 DOM 渲染，可能会丢失复杂 Web 应用程序中可能发生的后 dom 渲染端点或异步端点调用，例如，取决于特定于浏览器的事件。

无头模式

无头模式挂钩内部无头调用以直接在浏览器上下文中处理 HTTP 请求/响应。这有两个好处：

  • HTTP 指纹（TLS 和用户代理）将客户端完全识别为合法浏览器
  • 更好的覆盖率，因为发现端点分析标准原始响应，如在以前的模式中，以及启用 javascript 的浏览器呈现的响应。

无头爬行是可选的，可以使用-headless选项启用。

这是其他无头 CLI 选项 –

katana -h headless

Flags:
无头的:
   -hl, -headless                   启用无头混合爬行(实验性)
   -sc, -system-chrome              使用本地安装的chrome浏览器，而不是katana自带的。
   -sb, -show-browser               以无头模式在屏幕上显示浏览器
   -ho, -headless-options string[]  开始使用带有额外选项的无头浏览器
   -nos, -no-sandbox                在无沙盒模式下启动无头的Chrome

-no-sandbox

使用no-sandbox选项运行 headless chrome 浏览器，在以 root 用户身份运行时很有用。

katana -u https://tesla.com -headless -no-sandbox

-headless-options

在无头模式下爬行时，可以使用 指定额外的 chrome 选项-headless-options，例如 –

katana -u https://tesla.com -headless -system-chrome -headless-options --disable-gpu,proxy-server=http://127.0.0.1:8080

范围控制

如果没有范围，爬行可能是无止境的，因为 katana 提供了多种支持来定义爬行范围。

-field-scope

使用预定义字段名称定义范围的最方便的选项，rdn是字段范围的默认选项。

  • rdn– 抓取范围为根域名和所有子域（默认）
  • fqdn– 爬行范围为给定的子（域）
  • dn– 抓取范围为域名关键字
katana -u https://tesla.com -fs dn

-crawl-scope

对于高级范围控制，-cs可以使用正则表达式支持附带的选项。

katana -u https://tesla.com -cs login

对于范围内的多个规则，可以传递带有多行字符串/正则表达式的文件输入。

$ cat in_scope.txt

login/
admin/
app/
wordpress/
katana -u https://tesla.com -cs in_scope.txt

-crawl-out-scope

为了定义不抓取的内容，-cos可以使用选项并且还支持正则表达式输入。

katana -u https://tesla.com -cos logout

对于多个超出范围的规则，可以传递多行字符串/正则表达式的文件输入。

$ cat out_of_scope.txt

/logout
/log_out
katana -u https://tesla.com -cos out_of_scope.txt

-no-scope

Katana 默认为 scope *.domain，可以使用禁用此-ns选项以及抓取互联网。

katana -u https://tesla.com -ns

-display-out-scope

默认情况下，当使用 scope 选项时，它还适用于显示为输出的链接，因为此类外部 URL 默认排除并覆盖此行为，该-do选项可用于显示目标范围 URL 中存在的所有外部 URL /端点。

katana -u https://tesla.com -do

这是范围控制的所有 CLI 选项 –

katana -h scope

Flags:
范围:
   -cs, -crawl-scope string[]       在范围内的URL重词将被爬虫遵循
   -cos, -crawl-out-scope string[]  被爬虫排除的超范围的URL重词
   -fs, -field-scope string         预定义的范围字段（dn,rdn,fqdn）（默认为 "rdn"）。
   -ns, -no-scope                   禁用基于主机的默认范围
   -do, -display-out-scope          从范围内抓取显示外部端点

爬虫配置

Katana 带有多个选项，可以按照我们想要的方式配置和控制爬网。

-depth

定义depth跟随 url 进行爬网的选项，深度越深，被爬网的端点数量越多 + 爬网时间越长。

katana -u https://tesla.com -d 5

-js-crawl

启用 JavaScript 文件解析 + 抓取在 JavaScript 文件中发现的端点的选项，默认情况下禁用。

katana -u https://tesla.com -jc

-crawl-duration

预定义爬网持续时间的选项，默认情况下禁用。

katana -u https://tesla.com -ct 2

-known-files

启用爬网robots.txt和sitemap.xml文件的选项，默认情况下禁用。

katana -u https://tesla.com -kf robotstxt,sitemapxml

-automatic-form-fill

为已知/未知字段启用自动表单填充的选项，可以根据需要通过更新表单配置文件自定义已知字段值$HOME/.config/katana/form-config.yaml。

自动填表是实验性的功能。

   -aff, -automatic-form-fill  enable optional automatic form filling (experimental)

需要时可以配置更多选项，这里是所有与配置相关的 CLI 选项 –

katana -h config

Flags:
配置:
   -d, -depth int                最大爬行深度（默认为2）。
   -jc, -js-crawl                在javascript文件中启用端点解析/抓取功能
   -ct, -crawl-duration int      爬行目标的最长时间
   -kf, -known-files string      启用对已知文件的抓取（all,robotstxt,sitemapxml）。
   -mrs, -max-response-size int  读取的最大响应大小（默认为2097152）。
   -timeout int                  等待请求的时间，以秒为单位（默认为10）。
   -aff, -automatic-form-fill    启用可选的自动填表功能（试验性的）。
   -retry int                    重试请求的次数（默认为1）。
   -proxy string                 使用的http/socks5代理
   -H, -headers string[]         请求中包含的自定义头信息/cookie
   -config string                katana配置文件的路径
   -fc, -form-config string      自定义表单配置文件的路径

过滤器

-field

Katana 带有内置字段，可用于过滤所需信息的输出，-f选项可用于指定任何可用字段。

   -f, -field string  输出中显示的字段 (url,path,fqdn,rdn,rurl,qurl,qpath,file,key,value,kv,dir,udir)

这是一个表格，其中包含每个字段的示例以及使用时的预期输出 –

领域描述例子
url网址端点https://admin.projectdiscovery.io/admin/login?user=admin&password=admin
qurl包含查询参数的 URLhttps://admin.projectdiscovery.io/admin/login.php?user=admin&password=admin
qpath包含查询参数的路径/login?user=admin&password=admin
path网址路径https://admin.projectdiscovery.io/admin/login
fqdn完全合格的域名admin.projectdiscovery.io
rdn根域名projectdiscovery.io
rurl根网址https://admin.projectdiscovery.io
fileURL 中的文件名login.php
keyURL 中的参数键user,password
valueURL 中的参数值admin,admin
kvKeys=URL中的值user=admin&password=admin
dir网址 目录名称/admin/
udir带目录的 URLhttps://admin.projectdiscovery.io/admin/

这是使用字段选项仅显示其中包含查询参数的所有网址的示例 –

katana -u https://tesla.com -f qurl -silent

https://shop.tesla.com/en_au?redirect=no
https://shop.tesla.com/en_nz?redirect=no
https://shop.tesla.com/product/men_s-raven-lightweight-zip-up-bomber-jacket?sku=1740250-00-A
https://shop.tesla.com/product/tesla-shop-gift-card?sku=1767247-00-A
https://shop.tesla.com/product/men_s-chill-crew-neck-sweatshirt?sku=1740176-00-A
https://www.tesla.com/about?redirect=no
https://www.tesla.com/about/legal?redirect=no
https://www.tesla.com/findus/list?redirect=no

-store-field

为了补充field在运行时过滤输出有用的选项，有一个-sf, -store-fields选项与字段选项完全一样，除了不是过滤，它将所有信息存储在磁盘上katana_output按目标 url 排序的目录下。

katana -u https://tesla.com -sf key,fqdn,qurl -silent
$ ls katana_output/

https_www.tesla.com_fqdn.txt
https_www.tesla.com_key.txt
https_www.tesla.com_qurl.txt
注意：store-field选项可以方便地收集信息来为以下内容构建目标感知词表，但不限于 -大多数/常用参数大多数/常用路径大多数/常用文件相关/未知子（域）

-extension-match

使用选项可以轻松匹配抓取输出-em以确保仅显示包含给定扩展名的输出。

katana -u https://tesla.com -silent -em js,jsp,json

-extension-filter

-ef可以使用确保删除包含给定扩展名的所有 url 的选项轻松过滤抓取输出以获取特定扩展名。

katana -u https://tesla.com -silent -ef css,txt,md

这是其他过滤器选项 –

过滤器:
   -f, -field string                输出中显示的字段 (url,path,fqdn,rdn,rurl,qurl,qpath,file,key,value,kv,dir,udir)
   -sf, -store-field string         储存在每个主机输出中的字段 (url,path,fqdn,rdn,rurl,qurl,qpath,file,key,value,kv,dir,udir)
   -em, -extension-match string[]   匹配给定扩展名的输出（例如，-em php,html,js）。
   -ef, -extension-filter string[]  过滤给定扩展名的输出（例如，-ef png,css）。

速率限制和延迟

如果不遵循目标网站限制，在爬行时很容易被阻止/禁止，katana 带有多个选项来调整爬行以达到我们想要的快/慢。

-delay

在 katana 爬行时发出的每个新请求之间引入以秒为单位的延迟的选项，默认情况下禁用。

katana -u https://tesla.com -delay 20

-concurrency

用于控制每个目标同时获取的 url 数量的选项。

katana -u https://tesla.com -c 20

-parallelism

用于定义要从列表输入同时处理的目标数量的选项。

katana -u https://tesla.com -p 20

-rate-limit

用于定义每秒可以发出的最大请求数的选项。

katana -u https://tesla.com -rl 100

-rate-limit-minute

用于定义每分钟可以发出的最大请求数的选项。

katana -u https://tesla.com -rlm 500

这是用于速率限制控制的所有长/短 CLI 选项 –

katana -h rate-limit

Flags:
速率限制:
   -c, -concurrency int          使用的并发取物器的数量（默认为10）。
   -p, -parallelism int          要处理的并发输入的数量（默认为10）。
   -rd, -delay int               每个请求之间的延迟，以秒为单位
   -rl, -rate-limit int          每秒发送的最大请求数（默认为150）。
   -rlm, -rate-limit-minute int  每分钟发送的最大请求数

输出

-json

Katana 既支持纯文本格式的文件输出，也支持 JSON，后者包括附加信息，如source、tag和attribute名称，以将发现的端点关联起来。

katana -u https://example.com -json -do | jq .
{
  "timestamp": "2022-11-05T22:33:27.745815+05:30",
  "endpoint": "https://www.iana.org/domains/example",
  "source": "https://example.com",
  "tag": "a",
  "attribute": "href"
}

以下是与输出相关的其他 CLI 选项 –

katana -h output

输出:
   -o, -output string  文件输出到
   -j, -json           以JSONL(ines)格式输出
   -nc, -no-color      禁用输出内容着色（ANSI转义代码）。
   -silent             仅显示输出
   -v, -verbose        展示粗略的输出
   -version            显示项目版本

kali使用测试

[1]安装go

apt install golang-go

[2]直接下载或使用下面的命令下载katana_0.0.2_linux_amd64.zip

go install github.com/projectdiscovery/katana/cmd/katana@latest

[3]给权限

chmod +x katana

[4]运行

./katana

[5]拿hackerone试试水

./katana -u https://www.hackerone.com -d 5 -jc -kf all
katana 下一代网页蜘蛛爬行网址抓取框架

具体的最优策略自行摸索.

项目地址:

GitHub:
https://github.com/projectdiscovery/katana

温馨提示：

文章标题：katana 下一代网页蜘蛛爬行网址抓取框架

文章链接：https://www.cutrui.cn/212.html

更新时间：2023年02月07日

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
dockerjavakali
干货分享

无需翻墙 不用注册 免费使用chatgpt | openai

2023-1-10 21:09:12

干货分享

VMware workstation 16 & 17 12代CPU卡顿解决办法

2023-1-10 21:17:46

0 条回复 A文章作者 M管理员
    暂无讨论，说说你的看法吧
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
客服

  • 扫码打开当前页

返回顶部

你有新的私信

请务必要查看您的私信哟~~