64 lines
3.2 KiB
Markdown
64 lines
3.2 KiB
Markdown
# 搜索引擎蜘蛛放行记录
|
||
|
||
日期：2026-09-02
|
||
服务器：`47.106.181.28`
|
||
站点：`www.bchongw.com`、`m.bchongw.com`
|
||
|
||
## 处理结果
|
||
|
||
系统防火墙不再对 80/443 端口执行可能误伤搜索引擎蜘蛛的单 IP 并发连接拒绝。宝塔免费 WAF 继续拦截普通访客的攻击请求，但对已经通过 WAF IP 列表或双向 DNS 识别的搜索引擎蜘蛛直接放行。
|
||
|
||
## 已实施改动
|
||
|
||
1. 删除运行时 iptables 中以下两条临时 Web 封锁规则：
|
||
- 单 IP 同时连接超过 12 个时重置 80/443 连接的 `xxiaw-web-connlimit`。
|
||
- 使用临时 IP 集合封锁 80 端口的 `txiaw-confirmed-abuse-expiring`。
|
||
2. 检查 firewalld 永久规则和常见启动配置，以上两条规则没有持久化副本，不会在重启后恢复。
|
||
3. 保留宝塔 WAF，对真实蜘蛛使用已有 IP 库或双向 DNS 识别。动态 IP 必须先反向解析到搜索引擎官方域名，再正向解析回原始访问 IP；只有识别成功后才绕过 WAF，单独伪造 User-Agent 或 PTR 域名不能绕过攻击检测。
|
||
4. 补齐以下蜘蛛标识：
|
||
- 百度：`Baiduspider`
|
||
- 360：`360Spider`
|
||
- 好搜/so：`HaosouSpider`
|
||
- 搜狗：`Sogou web spider`、`Sogou inst spider`
|
||
- 神马：`YisouSpider`，反向域名 `crawl.sm.cn`
|
||
- 必应：`bingbot`、`msnbot`、`BingPreview`、`adidxbot`、`MicrosoftPreview`
|
||
- Google：`Googlebot`、`GoogleOther`、`Google-InspectionTool`、`AdsBot-Google`、`Storebot-Google` 等包含 Google 标识的官方抓取 UA
|
||
5. 更新桌面站和移动站的 `robots.txt`，明确允许上述搜索引擎抓取全站；继续拒绝 SemrushBot、SemrushBot-SA 和 Amazonbot 这些非搜索用途的高消耗商业爬虫。
|
||
|
||
## 验证结果
|
||
|
||
| 外网模拟抓取 UA | 首页结果 |
|
||
|---|---|
|
||
| Baiduspider | HTTP 200 |
|
||
| 360Spider | HTTP 200 |
|
||
| HaosouSpider | HTTP 200 |
|
||
| Sogou web spider | HTTP 200 |
|
||
| YisouSpider | HTTP 200 |
|
||
| bingbot | HTTP 200 |
|
||
| msnbot | HTTP 200 |
|
||
| Googlebot | HTTP 200 |
|
||
| GoogleOther | HTTP 200 |
|
||
|
||
最近各 20 MB 桌面站和移动站访问日志中，真实搜索蜘蛛的主要成功请求如下：必应 252 次、Google 90 次、百度 49 次、搜狗 11 次、神马 1 次。没有发现蜘蛛请求返回 403、429、444 或 503。日志中的少量 404 来自不存在的旧页面或静态资源，不是防火墙拦截。
|
||
|
||
普通 SQL 注入探针和伪造 Googlebot UA 的 SQL 注入探针均返回 HTTP 403，说明攻击者不能仅靠伪造蜘蛛 User-Agent 绕过 WAF。
|
||
|
||
## 回滚备份
|
||
|
||
本次修改前的 WAF 文件、robots.txt、iptables 和 firewalld 规则已备份到：
|
||
|
||
`/www/backup/search-bot-firewall-fix-20260902-090109`
|
||
|
||
双向 DNS 校验加固前的 WAF 文件已备份到：
|
||
|
||
`/www/backup/search-bot-dns-hardening-20260902-090409`
|
||
|
||
## 识别依据
|
||
|
||
- [Google 官方：验证 Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot)
|
||
- [Bing 官方：验证 Bingbot](https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26)
|
||
- [百度官方：正确识别百度蜘蛛](https://ziyuan.baidu.com/college/articleinfo?id=1198)
|
||
- [搜狗官方：搜狗蜘蛛说明](https://help.sogou.com/spider.html)
|
||
- [360 官方：robots 与蜘蛛 UA](https://www.so.com/help/help_3_2.html)
|
||
|