Wordpress Sitemap 无法被抓取，已排查服务器/CDN/robots.txt
个人博客成立十几年一直写文章，没怎么管过 SEO ，以前都靠自然流量，后面工作忙没管了。最近忽然想做下博客的自然流量，一看，傻了……
我的 Wordpress 博客 Sitemap 是使用 XML Sitemap & Google News 生成的 Sitemap。
Sitemap 情况
验证 sitemap.xml 的 Content-Type 正确（ application/xml; charset= ）
验证 x-robots-tag 配置正确（ noindex, follow ）
确认 WordPress 未启用"建议搜索引擎不索引本站点"
网络访问说明
服务器位于中国大陆（腾讯 CVM + 腾讯云 CDN ），已开启全球 CDN 加速 昨天晚看腾讯云 CDN 日志，Google 爬虫是来过，但是没有收录：
时间：2026-04-11 23:53:13 IP: xxx.xxx.xxx.xxx URL: /2026/03/05/openclaw-深度使用：一周踩坑总结/ User-Agent: Googlebot 方法：HEAD 状态码：200 缓存：miss 使用 VPN 美国/英国/迪拜/香港节点可正常访问 robots.txt 和 sitemap.xml
site:[myblog domain] 只有 2 条结果（博客首页 + 1 篇 2018 年文章） 
Google Search Console 「设置」 -> 「 robots.txt 」 显示网站的 robots.txt 已提取 
折腾了几天了，各种 AI 出主意，还是搞不定。发帖想请大佬帮忙看看！！拜托了！
 | 1 konakona OP 我用下面的语句进行模拟（不确定它就是 GSC 的检测方式）： ```bash curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://blog.crazyphper.com/robots.txt ``` 也能访问。 然而尴了个尬，过了 2 天收到邮件说还是说 robots.txt 不可访问。 |
| 2 konakona OP 找到原因了：腾讯云 CDN 导致的。 我也在 support 留痕了，希望能帮助到更多人： https://support.google.com/webmasters/thread/424401918?hl=zh-Hans&sjid=10925388491472472773-NC |
Select Language