搜索引擎蜘蛛放行记录

日期：2026-09-02
服务器：47.106.181.28
站点：www.bchongw.com、m.bchongw.com

处理结果

系统防火墙不再对 80/443 端口执行可能误伤搜索引擎蜘蛛的单 IP 并发连接拒绝。宝塔免费 WAF 继续拦截普通访客的攻击请求，但对已经通过 WAF IP 列表或双向 DNS 识别的搜索引擎蜘蛛直接放行。

删除运行时 iptables 中以下两条临时 Web 封锁规则：
- 单 IP 同时连接超过 12 个时重置 80/443 连接的 xxiaw-web-connlimit。
- 使用临时 IP 集合封锁 80 端口的 txiaw-confirmed-abuse-expiring。
检查 firewalld 永久规则和常见启动配置，以上两条规则没有持久化副本，不会在重启后恢复。
保留宝塔 WAF，对真实蜘蛛使用已有 IP 库或双向 DNS 识别。动态 IP 必须先反向解析到搜索引擎官方域名，再正向解析回原始访问 IP；只有识别成功后才绕过 WAF，单独伪造 User-Agent 或 PTR 域名不能绕过攻击检测。
补齐以下蜘蛛标识：
- 百度：Baiduspider
- 360：360Spider
- 好搜/so：HaosouSpider
- 搜狗：Sogou web spider、Sogou inst spider
- 神马：YisouSpider，反向域名 crawl.sm.cn
- 必应：bingbot、msnbot、BingPreview、adidxbot、MicrosoftPreview
- Google：Googlebot、GoogleOther、Google-InspectionTool、AdsBot-Google、Storebot-Google 等包含 Google 标识的官方抓取 UA
更新桌面站和移动站的 robots.txt，明确允许上述搜索引擎抓取全站；继续拒绝 SemrushBot、SemrushBot-SA 和 Amazonbot 这些非搜索用途的高消耗商业爬虫。

最近各 20 MB 桌面站和移动站访问日志中，真实搜索蜘蛛的主要成功请求如下：必应 252 次、Google 90 次、百度 49 次、搜狗 11 次、神马 1 次。没有发现蜘蛛请求返回 403、429、444 或 503。日志中的少量 404 来自不存在的旧页面或静态资源，不是防火墙拦截。

普通 SQL 注入探针和伪造 Googlebot UA 的 SQL 注入探针均返回 HTTP 403，说明攻击者不能仅靠伪造蜘蛛 User-Agent 绕过 WAF。

本次修改前的 WAF 文件、robots.txt、iptables 和 firewalld 规则已备份到：

/www/backup/search-bot-firewall-fix-20260902-090109

双向 DNS 校验加固前的 WAF 文件已备份到：

/www/backup/search-bot-dns-hardening-20260902-090409