建站入门教程 - 上线前怎样核对抓取与索引配置
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4937656d8595.html
📄
建站入门教程 - 上线前怎样核对抓取与索引配置
上线前核对抓取与索引配置，核心是确认三件事：爬虫能顺利抓取页面、页面没有被错误地禁止索引、搜索引擎能拿到正确的规范网址。做法不是凭感觉点一遍后台，而是用抓取测试工具、robots.txt 检查、meta 标签核对和站点地图提交记录逐项留下证据。下面按上线前的执行顺序展开。
先确认 robots.txt 没有挡住整站或关键目录
robots.txt 是抓取阶段的第一道门。常见错误是测试环境遗留了 Disallow: /，上线后忘记删除，导致整站无法被抓取。核对方法：在浏览器直接访问你的域名加 /robots.txt，逐行看 Disallow 规则指向哪些路径。
- 如果出现
Disallow: /，说明整站被禁止抓取，必须删除或改成只屏蔽后台、搜索参数页等无用路径。 - 如果屏蔽了
/css/、/js/、/images/，页面仍可能被抓取，但渲染效果会受影响，建议放开这些静态资源。 - 检查是否误屏蔽了栏目目录，例如
Disallow: /news/，这类规则会让整个栏目无法被抓取。
判断结果：robots.txt 返回 200 且规则只屏蔽确实不需要收录的路径，才算通过。返回 404 也可以接受，表示没有抓取限制，但不要返回 5xx，那会让爬虫暂时放弃抓取。
核对每个页面的 meta robots 与 canonical
robots.txt 管的是“能不能抓”，meta robots 管的是“抓到后能不能索引”，两者不能互相替代。上线前抽查首页、栏目页、详情页各若干条，重点看两类标签。
第一类是 <meta name="robots">。如果内容是 noindex 或 noindex,nofollow，该页面就不会进入索引。测试环境常带 noindex，上线后必须移除。第二类是 <link rel="canonical">，它告诉搜索引擎哪个网址是规范版本。核对时注意：
- canonical 指向的网址必须能正常打开，且返回 200。
- 不要所有页面都指向首页，那会让内页失去独立收录机会。
- 带参数的网址、http 与 https、带 www 与不带 www，应统一指向同一个规范版本。
验收信号：抽查页面的 meta robots 不含 noindex，canonical 指向自身或正确的规范网址，且与站点地图中列出的网址一致。
用抓取测试工具模拟一次真实抓取
搜索引擎站长平台一般提供“网址检查”或“抓取测试”功能，可以查看爬虫实际拿到的 HTML、HTTP 状态码和被抓取的资源。这个步骤的价值在于：它能暴露你从浏览器看不到的问题，比如服务端根据 User-Agent 返回不同内容。
- 取首页和一个内页网址，分别提交抓取测试。
- 查看返回的状态码是否为 200；301、302 要确认跳转终点是否正确。
- 查看抓取到的 HTML 中是否包含正文，而不是空白或登录页。
- 查看“已抓取的资源”列表，确认 CSS、JS 没有被大量屏蔽。
适用条件：这一步适合动态渲染或用了较多 JavaScript 的站点。如果抓取结果里正文为空，可能原因是内容依赖 JS 渲染而爬虫未执行，也可能是服务端对爬虫返回了不同内容；不要直接断定是某一个原因，先对比浏览器源代码与抓取结果再定位。
提交站点地图并核对收录状态
站点地图（sitemap）本身不保证收录，它的作用是告诉搜索引擎有哪些网址可供发现。上线前应生成一份只包含可索引、返回 200 的网址的 sitemap，并在站长平台提交。
核对要点：
- sitemap 中的网址不能包含 noindex 页面、404 页面或重定向网址。
- sitemap 地址写在 robots.txt 中，方便爬虫找到。
- 提交后过一段时间，用站长平台的“已编入索引”数据与 sitemap 数量对比，找出长期未收录的网址。
判断结果：如果大量网址“已发现但未编入索引”，优先检查内容质量、内链数量和 canonical 是否指向了别处；如果网址“已被抓取但未编入索引”，则更可能与内容重复或质量判断有关。这两种状态含义不同，不要混为一谈。
上线前的核对清单
把上述检查固化成一份清单，每次上线按顺序过一遍，比事后补救更省事：
- robots.txt 可访问，未屏蔽整站和关键目录。
- 抽查页面无 noindex，canonical 指向正确。
- 抓取测试返回 200，正文可见，静态资源未被屏蔽。
- sitemap 只含可索引网址，已提交且地址写入 robots.txt。
- http/https、www/非 www 已统一跳转到一个规范版本。
下一步建议：选一个已上线的内页，用站长平台的网址检查跑一次抓取测试，把返回的状态码、canonical 和是否可索引三项记录下来。如果发现异常，回到对应小节逐项排查，而不是同时改动多个配置。
