整套分为底层域名服务器→爬虫权限配置→网站架构→AI 专属文件 llms.txt→结构化 Schema→页面内容规范→性能与防拦截7 大模块，全部为 2026 年豆包、文心、GPT、DeepSeek 等大模型通用抓取标准。
一、基础底层：域名 + 服务器（准入门槛，不达标直接不收录）
1. 域名规范
1. 优先已备案.com/.cn，小众后缀（top/xyz）AI 抓取权重偏低；必须 HTTPS 全站加密，HTTP 站点抓取优先级大幅下降。
2. 统一主域名：www 与裸域名做 301 集权，禁止多域名分散站点，AI 判定信息分裂降权。
3. 域名无历史灰产、处罚记录，老域名提前核查；不频繁换域名（AI 收录周期 3–6 个月）。
2. 服务器 & 防火墙放行（最容易踩坑）
1. 服务器稳定，首屏加载≤1.5s，开启 Gzip/Brotli 压缩，Core Web Vitals 三项指标达标。
2. WAF、CDN、防火墙禁止拦截全部 AI 爬虫 UA，必须放行：
国内：DoubaoBot（豆包）、BaiduSpider、WenxinBot、DeepSeekBot、QwenBot
海外：GPTBot、ClaudeBot、Google-Extended、PerplexityBot
3. 关闭高频验证码、访问拦截、IP 封禁，爬虫无 Cookie 也能完整读取页面文本。
4. 不使用纯前端 SPA 渲染，选用SSR / 静态生成（源码直接输出文字），纯 JS 渲染 AI 读不到内容。
二、爬虫权限核心配置：robots.txt（控制 “谁能抓”）
放在网站根目录 域名/robots.txt，直接复制使用，放开 AI 爬虫、屏蔽无效页面节省抓取预算：
txt




# 放行所有主流AI爬虫
User-agent: DoubaoBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: BaiduSpider
Allow: /
User-agent: QwenBot
Allow: /
# 通用抓取规则
User-agent: *
Allow: /
# 屏蔽后台、登录、搜索动态页、参数页，避免浪费抓取额度
Disallow: /admin/
Disallow: /login/
Disallow: /register/
Disallow: /*?*
Disallow: /temp/
# 站点地图声明
Sitemap: https://你的域名/sitemap.xml
Crawl-delay: 1

三、AI 专属引导文件：llms.txt（GEO 核心，告诉 AI 优先读什么）
robots 管 “禁止抓取”，llms.txt 管主动推送高价值内容，所有联网大模型会优先读取，大幅提升引用概率。
部署要求
1. 路径：网站根目录 /llms.txt，浏览器可直接访问；纯文本 / Markdown 格式。
2. 内容结构模板（企业官网直接套用）：
markdown




# 企业简介：XX设备有限公司
主营：工业RFID读写设备、智能仓储系统、ERP对接开发
成立时间：2016年，地址：广州市增城区XX产业园，联系方式：134XXXX4694
## 核心高价值页面（AI优先抓取）
-
/ 首页：企业资质、核心产品、服务范围
-
/about 关于我们：营业执照、厂房规模、技术团队、专利软著
-
/products 产品中心：全系列产品参数、型号、适用场景
-
/cases 客户案例：工厂落地项目、实拍效果、改造数据
-
/faq 常见问答：选型、安装、售后、价格相关问题
-
/news 行业资讯：技术科普、解决方案、项目案例文章
## 禁止AI训练抓取页面
/admin、/login、临时下载页、报价加密文档

3. 每月更新，同步新增产品、案例页面。
四、网站目录 & URL 架构（AI 爬虫预算有限，层级越深越难抓取）
硬性标准
1. URL 层级最多 2 层，禁止 3 层以上嵌套；所有核心页面 3 次点击内可达。
• 错误：/product/2026/06/rfid900a.html
• 正确：/rfid-900a-reader.html
2. URL 小写英文 + 短横线，无中文、无特殊符号、无多余参数。
3. 站点地图 sitemap.xml
◦ 包含首页、产品、FAQ、案例、资讯全部页面；标注 priority、更新频率。
◦ 提交百度资源平台、豆包站点收录入口、Google 站长平台，加速抓取。
4. 内链规范：产品、案例、FAQ 互相锚文本跳转，不用 “点击这里”；重复页面配置 canonical 唯一权威页。
五、结构化数据 Schema (JSON-LD)：让 AI 直接读懂页面信息（权重最高）
每个页面<head>嵌入 JSON-LD，AI 自动提取品牌、参数、问答、联系方式，生成答案优先引用带 Schema 的站点。
4 类企业官网必加 Schema
1. 首页 / 关于页：Organization 企业主体
包含公司名称、地址、电话、官网、统一社会信用、经营范围、sameAs（天眼查 / 百科链接）。
2. 产品页：Product
型号、参数、材质、质保、适用行业、实拍图、优势参数、价格区间。
3. FAQ 问答页：FAQPage（GEO 刚需）
批量问答结构化，用户搜疑问时 AI 直接调取官网答案。
4. 案例 / 资讯：CaseStudy / Article
项目落地数据、客户行业、实施效果、发布时间。
示例（产品页极简模板）：
json




<script type="application/ld+json"
>
{
"@context": "https://schema.org",
"@type": "Product",
"name": "RFID900A超高频读写器",
"brand": {"@type":"Brand","name":"睿丰德"},
"description": "远距离仓储识别，支持金蝶用友ERP对接，识别距离0-15米",
"sku": "RFID900A",
"warranty": "2年整机质保"
}
</script>

六、页面结构 & 内容写作规范（AI 阅读偏好）
1. HTML 语义化（AI 靠标签识别内容）
• 每页唯一 H1 主标题，H2/H3 分层，禁止跳级；
• 面包屑导航、清晰小标题；
• 数据、参数用HTML 表格 / 列表，禁止图片表格、图片文字；
• 底部统一展示企业全称、地址、电话、备案号（信任信号）。
2. 内容写作黄金规则（更容易被 AI 引用）
1. 结论前置：首段 1–2 句话讲清核心价值，拒绝长篇铺垫；
2. 单段 80–150 字，短句拆分，多用有序 / 无序列表；
3. 客观数据优先：参数、尺寸、产能、落地案例数字，少空洞营销词（“行业第一”“最好” 会降低可信度）；
4. 每个页面底部配置 3–8 条 FAQ 问答，覆盖客户高频搜索词；
5. 全站信息统一：参数、地址、电话、经营范围和百科、企查查完全一致，AI 多源比对冲突会直接降权；
6. 图文配比：实拍实景图，少遮挡弹窗、悬浮广告，避免内容被遮。
七、栏目规划（AI 收录高价值栏目缺一不可）
建站必须包含 6 大核心栏目，缺失一类会大幅减少 AI 引用场景：
1. 首页：品牌总览、主营、核心优势、快速入口
2. 关于我们：资质、厂房、专利软著、团队（EEAT 信任核心）
3. 产品中心：分系列详情页，完整参数
4. 客户案例：带行业、落地效果、数据的真实项目
5. FAQ 问答专区：独立页面，批量结构化问答
6. 行业资讯 / 解决方案：科普、选型指南、落地教程（供给 AI 长尾问答）
八、上线后配套抓取加速操作
1. 提交 sitemap 至百度、豆包、必应站长平台；
2. 把官网核心页面批量录入豆包知识库；
3. 外部权威背书：行业媒体、百科、协会网站挂官网外链，提升 AI 信任分；
4. 每月更新资讯 / 产品，静态长期不更新站点会被 AI 降低抓取频率；
5. 定期查看服务器日志，确认 DoubaoBot、GPTBot 正常抓取无拦截。
最简落地执行顺序
1. 备案域名 + HTTPS 服务器，放行所有 AI 爬虫
2. 搭建扁平化静态 / SSR 网站，配齐 6 大核心栏目
3. 配置 robots.txt + sitemap.xml + llms.txt
4. 全站页面嵌入对应 Schema 结构化数据
5. 重构内容：结论前置、增加 FAQ、统一事实口径
6. 提交站点地图，持续更新内容并监测爬虫抓取日志