浏览器辅助检查
无服务端额度
每次 1 个 URL
AI 爬虫检查
检查指定 URL 能否被主流 AI 爬虫（GPTBot、Claude-Web、Google-Extended、CCBot 等）访问。覆盖 robots.txt 策略、sitemap 可发现性、canonical/noindex 标记、基础结构化数据、重定向链。结果按「事实」「风险」「建议」分类呈现。
查看检查维度
检查维度说明
用途
在向 AI 搜索投递内容之前，确认技术层面没有阻碍 AI 爬虫正常抓取。本工具适用于站长、SEO 从业者、内容运营者，用于排查 AI 搜索可见性的底层技术障碍。
输入边界
- 单次输入：1 个完整 URL（含协议，如
https://example.com/page）
- 当前版本为浏览器辅助检查，不经过本站服务端代理；如遇 CORS 阻拦，会引导手动检查
- URL 必须可公开访问——不支持内网地址、需登录页面、IP 直连
- 仅对静态 HTML 页面做完整诊断；SPA 页面仅检查初始 HTML
方法解释
工具逐个执行以下检查，每项标记为 事实（可复现的客观结果）、风险（可能阻碍收录的问题）或 建议（锦上添花的优化）：
- robots.txt 策略 — 请求该域名的 robots.txt，检查 GPTBot、Claude-Web、Google-Extended、CCBot 是否被 Disallow
- HTTP 状态与重定向链 — 跟踪重定向，确保最终状态为 200
- meta robots / X-Robots-Tag — 检查 noindex、nofollow 指令
- canonical URL — 检查 rel="canonical" 是否自引用或被指向其他页面
- sitemap 可发现性 — 检查 robots.txt 中是否声明 Sitemap，以及该 URL 是否出现在 sitemap 中
- 基础结构化数据 — 检测页面是否包含 JSON-LD 或 Microdata
检查维度（6 项）
- 事实 robots.txt 策略该域名的 robots.txt 是否允许主流 AI 爬虫抓取
- 风险 重定向链从输入 URL 到最终响应是否存在多次跳转或死链
- 风险 noindex 指令页面是否通过 meta robots 或 X-Robots-Tag 禁止收录
- 事实 canonical 标记页面声明的规范 URL 是否指向自身或其他页面
- 建议 sitemap 覆盖该 URL 是否出现在站点的 XML sitemap 中
- 建议 结构化数据页面是否包含 JSON-LD 或 Microdata 标记
示例
假设输入 https://example.com/blog/geo-guide，输出大致如下：
- 事实 robots.txt 存在，所有 AI 爬虫均未被 Disallow
- 事实 最终状态 200，0 次重定向
- 风险 页面包含
<meta name="robots" content="noindex">，AI 爬虫将跳过收录
- 事实 canonical 指向自身，无跨域指向
- 建议 该 URL 不在 robots.txt 声明的 sitemap 中，建议补充
- 建议 未检测到结构化数据，添加后可提高 AI 搜索对其内容的理解
限制
- 不能推导出「必然收录」——可访问不等于被收录。AI 搜索的收录决策受内容质量、信任度、用户信号等多因素影响，本工具仅覆盖技术可达性
- 不检测页面性能（加载速度、Core Web Vitals）
- 不检测 JS 渲染后的内容（SPA 仅检查初始 HTML）
- robots.txt 检查基于爬虫 User-Agent 字符串识别，不模拟真实 AI 爬虫的 IP 指纹
隐私说明
本工具仅对您输入的 URL 发起一次性 HTTP 请求用于检测。我们不会存储提交的 URL、响应内容或检测结果。检测期间产生的临时数据在页面关闭后自动清除。详见隐私政策。