一、为什么要自测AI友好度?
先说一个容易被忽略的事实:AI大模型要引用你的内容,前提是它能顺利抓到、看懂。
这听起来像废话,但大量企业官网卡在这一步:
- robots.txt 里写着 Disallow: /,把AI爬虫挡在门外
- 页面是纯图片或JS动态渲染,大模型抓到的是一片空白
- 没有结构化数据,AI无法判断这是什么页面、讲了什么
- 同一家公司名在不同页面出现三种写法,AI不知道该信哪个
内容写得再好,如果网站本身不友好,AI根本读不到。
所以做GEO的第一步,不是写文章,而是先确认网站本身是否具备被AI读懂的基础条件。
下面3个方法,从易到难,不需要技术背景,自己就能操作。
二、方法一:检查 robots.txt 和 sitemap.xml
2.1 robots.txt:AI爬虫有没有被挡在门外?
robots.txt 是网站根目录下的一个文本文件,用来告诉爬虫“哪些页面可以抓、哪些不能抓”。
怎么查:
在浏览器地址栏输入:
你的域名/robots.txt例如:https://ami998.com/robots.txt
看什么:
| 情况 | 说明 | 风险 |
|---|---|---|
显示 User-agent: * Allow: / | 允许所有爬虫抓取 | 正常 |
显示 User-agent: * Disallow: / | 禁止所有爬虫 | 严重问题,AI完全抓不到 |
显示一堆 Disallow 规则 | 部分目录被禁止 | 检查是否误封了重要栏目 |
| 显示404或空白 | 没有这个文件 | 不算致命,但建议补上 |
显示 User-agent: GPTBot Disallow: / | 明确禁止AI爬虫 | 需要确认是否是有意为之 |
重点关注:有没有针对AI爬虫的封禁规则。目前主流AI爬虫包括 GPTBot(OpenAI)、ClaudeBot(Anthropic)、Bytespider(字节跳动)等。如果你的robots.txt里禁止了这些爬虫,AI就完全无法获取你的内容。
优化方向:如果发现被封禁且非本意,删除对应的Disallow规则即可。
2.2 sitemap.xml:有没有给AI一张“地图”?
sitemap.xml 是网站所有重要页面的清单,相当于给爬虫一张导航图。
怎么查:
你的域名/sitemap.xml例如:https://ami998.com/sitemap.xml
看什么:
| 情况 | 说明 |
|---|---|
| 正常显示XML格式的页面列表 | 合格,AI爬虫可以按图索骥 |
| 显示404 | 没有sitemap,爬虫只能自己摸索,效率低 |
| 页面列表很少(只有首页) | 等于没有,重要栏目都没列进去 |
| 列表里包含大量无关页面 | 会稀释权重,建议精简 |
优化方向:阿秘后台在建站时会自动生成sitemap,一般不需要手动维护。如果你用的是其他建站系统,检查是否有自动生成sitemap的功能,或者手动提交一份。
三、方法二:检查 Schema 结构化数据
3.1 什么是Schema结构化数据?
简单说,Schema是一套给AI看的“内容标签”。
人类看到一段文字,能自动理解“这是公司名、这是产品价格、这是客户评价”。但AI需要明确的标记才能准确识别。
Schema就是用代码的方式告诉AI:
- 这段是公司名称
- 这段是产品描述
- 这段是客户评价
- 这段是常见问题及答案
有Schema的页面,AI理解起来又快又准;没有Schema的页面,AI只能靠猜。
3.2 怎么检查?
方法一:用浏览器查看页面源代码
- 打开你的官网首页
- 右键 → “查看页面源代码”
- 按 Ctrl+F 搜索 application/ld+json
- 如果搜到了,说明有Schema标记;如果没搜到,说明没有
方法二:用在线工具检测
Google提供的 Rich Results Test 可以检测页面是否包含结构化数据。输入网址后,工具会显示检测到的Schema类型和数量。
3.3 看什么?
| 检测结果 | 说明 | 优化方向 |
|---|---|---|
| 检测到 Organization、WebSite、Product 等类型 | 合格 | 检查信息是否完整准确 |
| 检测到Schema但字段大量缺失 | 部分合格 | 补充缺失字段 |
| 完全没有检测到Schema | 不合格 | 需要添加结构化数据 |
常见的Schema类型(企业官网最需要的):
| 类型 | 用途 |
|---|---|
| Organization | 公司基本信息(名称、Logo、联系方式) |
| WebSite | 网站信息(名称、URL、搜索功能) |
| Product | 产品信息(名称、描述、价格) |
| FAQPage | 常见问题及答案 |
| Article | 文章信息(标题、作者、发布时间) |
| BreadcrumbList | 面包屑导航 |
阿秘用户的便利:阿秘后台在生成页面时会自动输出Schema结构化数据,不需要手动编写代码。你可以在页面源代码里搜索 application/ld+json 验证是否生效。
四、方法三:用在线工具一键检测AI友好度
前两个方法需要你手动查看文件和代码,适合想深入了解的用户。如果你想要一个更快的整体判断,可以直接用在线检测工具。
4.1 工具地址
阿秘AI友好度检测:https://ami998.com/tool/aicheck/
4.2 工具检测什么?
这个工具会从6个维度综合评估你的网站对AI的友好程度:
| 检测维度 | 检测内容 | 为什么重要 |
|---|---|---|
| robots.txt 规则校验 | 是否允许AI爬虫抓取 | 决定AI能否进入你的网站 |
| sitemap.xml 获取 | 是否有完整的页面清单 | 影响AI发现内容的效率 |
| Schema.org 结构化数据识别 | 是否有给AI看的“内容标签” | 决定AI能否准确理解页面 |
| meta标签完整性 | title、description、keywords是否填写 | 影响AI对页面主题的判断 |
| 页面可抓取、可解析能力 | 页面是否能被正常渲染和解析 | 决定AI能否读到实际内容 |
| AAO AI智能体适配检测 | 是否适配AI Agent的调用需求 | 面向未来AI自动执行任务的场景 |
4.3 怎么用?
- 打开 https://ami998.com/tool/aicheck/
- 输入你的官网地址
- 点击检测
- 等待几秒,获得AI友好度评分和详细报告
4.4 怎么看检测结果?
工具会输出一个综合评分(满分100),以及各维度的具体得分和优化建议。
| 评分区间 | 含义 | 建议 |
|---|---|---|
| 80-100 | AI友好度优秀 | 保持现状,重点关注内容质量 |
| 60-79 | 基本合格,但有短板 | 根据报告逐项优化 |
| 40-59 | 存在明显问题 | 优先解决robots.txt和Schema问题 |
| 0-39 | AI基本读不到你的网站 | 需要系统性排查和修复 |
报告里会标注每一项的具体问题和对应的优化方向,跟着改就行。
五、自测之后:常见问题与优化优先级
5.1 检测出来有问题,先改哪个?
按影响程度排序:
| 优先级 | 问题类型 | 影响 |
|---|---|---|
| P0(最紧急) | robots.txt 封禁了AI爬虫 | AI完全无法访问 |
| P0 | 页面完全无法抓取(纯JS渲染、登录才能看) | AI读到的是一片空白 |
| P1(重要) | 没有Schema结构化数据 | AI理解页面靠猜,引用概率低 |
| P1 | 没有sitemap.xml | AI发现内容效率低 |
| P2(建议优化) | meta标签缺失或不完整 | 影响AI对页面主题的判断 |
| P2 | 页面信息不一致(公司名多种写法) | 降低AI对品牌的信任度 |
5.2 阿秘用户需要自己改代码吗?
不需要。阿秘后台在建站时已经自动处理了以下事项:
- 自动生成 robots.txt 并允许AI爬虫
- 自动生成 sitemap.xml 并随内容更新
- 自动输出 Schema.org 结构化数据
- 自动生成每页独立的 meta 标签
你只需要在后台把内容填好,这些底层配置会自动生效。可以用上面的方法三验证一下效果。
5.3 检测结果多久复测一次?
建议:
- 首次检测:立即执行,获得基线数据
- 内容大更新后:复测一次,确认优化生效
- 常规维护:每月复测一次,观察变化趋势
六、一句话总结
- 方法一:查 robots.txt 和 sitemap.xml,确认AI爬虫能进来、有地图可循
- 方法二:查 Schema 结构化数据,确认AI能准确理解页面内容
- 方法三:用 https://ami998.com/tool/aicheck/ 一键检测,获得综合评分和优化清单
三个方法从浅到深,建议都过一遍。如果时间有限,直接上方法三,拿到报告后按优先级逐项优化即可。
网站对AI友好,是GEO生效的前提。这一步不做好,后面内容写得再多,AI也可能完全看不见。