分类: 信息收集- Web Edition

15 篇文章

自动侦察(Automated Reconnaissance)笔记
1. 概述 手动侦察容易耗时且出错,自动化可提升效率、准确性和规模。 自动化目标: 效率(Efficiency):比人类更快执行重复任务。 可扩展性(Scalability):支持大量目标和域。 一致性(Consistency):降低人为错误,保证结果可重复。 全面覆盖(Comprehensive Coverage):可执行 DNS 枚举、子域发现…
网络档案(Internet Archive & Wayback Machine)
1. 概述 Wayback Machine 是互联网档案馆 (Internet Archive) 提供的数字档案工具,自 1996 年起存档网站。 功能:回顾网站历史,查看网站在不同时间点的快照(捕获/存档)。 存档内容包括 HTML、CSS、JavaScript、图像及其他资源。 2. Wayback Machine 工作原理 分为 三个核心步骤…
搜索引擎发现(Search Engine Discovery / OSINT)
1. 概述 搜索引擎不仅回答查询,还可用于 信息收集与网络侦察(OSINT)。 利用搜索算法提取网站上可能隐藏的数据,如员工信息、敏感文档、登录页面、暴露凭据等。 2. 搜索引擎发现的重要性 优点说明Open Source信息公开,合法、道德收集目标信息。Breadth of Information搜索引擎索引网络大部分内容,信息来源广泛。Ease…
Web Crawling 工具与实践 笔记(Creepy Crawlies)
1. Web Crawling 工具概览 工具特点Burp Suite Spider集成在 Burp Suite 中的主动爬虫,擅长映射 web 应用、发现隐藏内容和潜在漏洞。OWASP ZAP (Zed Attack Proxy)免费开源,可自动/手动扫描,包含爬虫组件,用于发现漏洞。Scrapy (Python 框架)灵活可扩展,适合自定义爬虫…
.well-known URI (Web Recon 用)笔记
1. 定义 .well-known:RFC 8615 定义的网站根目录标准化目录(https://example.com/.well-known/)。 作用:集中网站关键元数据,包括配置文件、服务、协议、安全机制等,便于浏览器、应用和安全工具访问。 维护者:IANA,管理 URI 注册表,确保每个 URI 有特定用途和实现规范。 2. 常见 URI…
robots.txt 笔记
1. 定义与比喻 robots.txt:放置在网站根目录的文本文件,遵循机器人排除标准(Robots Exclusion Standard)。 功能:指示爬虫哪些区域允许访问、哪些禁止访问。 比喻:像家庭聚会的客人,哪些房间可进,哪些标为“私人”。 示例路径:www.example.com/robots.txt 2. 工作原理 User-agent…
网络爬虫(Crawling)笔记
1. 定义 Crawling(爬行/Spidering):网络爬虫系统性浏览网页的自动化过程。 功能:跟踪页面链接,收集信息,用于搜索引擎索引、数据分析或网络侦察。 2. 工作原理 种子 URL:爬虫抓取的初始网页。 解析页面:获取页面内容并提取所有链接。 链接队列:将新发现的链接加入队列,继续迭代抓取。 可探索范围:从单个网站到整个网络。 示例结…
指纹识别 (Fingerprinting) 笔记
1. 定义与意义 定义:提取网站或 Web 应用所依赖的技术细节(服务器、操作系统、CMS 等)。 目的:像人的指纹一样,帮助识别目标的“数字 DNA”。 为什么重要: 定向攻击:锁定特定技术已知漏洞。 发现错误配置/过时软件。 目标优先级:先攻打最弱、最有价值的系统。 整体画像:结合其他侦察数据 → 构建目标全景。 2. 指纹识别技术 Banne…
证书透明度日志 (CT Logs) 笔记
1. 背景 SSL/TLS 数字证书:验证网站身份 + 加密通信。 风险:证书可能被错误或恶意颁发 → 攻击者可冒充网站、窃取数据。 CT 日志作用:记录所有由证书颁发机构 (CA) 签发的证书 → 公开可查、不可篡改。 2. 定义与目的 Certificate Transparency (CT) 日志: 公共、仅追加的账本。 每个新证书都必须提交…
DNS 区域传输 (Zone Transfer) 笔记
1. 定义 区域传输 (AXFR):主 DNS 服务器 → 辅助 DNS 服务器 批量复制整个区域文件(包含所有 DNS 记录)。 目的:保证多个 DNS 服务器数据一致、冗余。 风险:若配置错误,任何人都能下载整个区域文件 → 子域、IP、MX、NS 等敏感信息暴露。 2. 区域传输过程 Zone Transfer Request (AXFR):…