抓取和索引编制主题概览
这部分介绍了如何控制Google对您内容的查找和解析以使其显示在Google搜索和其他Google产品和服务中，以及如何阻止Google抓取您网站上的特定内容。
以下是每个网页的简介。如需大致了解抓取和索引编制功能，请参阅我们的Google搜索的运作方式指南。
主题
Google编入索引的文件类型
Google可将大多数类型的网页和文件内容编入索引。查看Google搜索可编入索引的最常见文件类型的列表。
网址结构
建议您组织一下内容，使网址结构合乎逻辑并易于人们理解。
站点地图
将网站上新增或更新的网页告知Google。
抓取工具管理
请求Google重新抓取您的网址
减慢Googlebot的抓取速度
验证Googlebot和其他抓取工具
面向大型网站所有者的抓取预算管理指南
HTTP状态代码以及网络连接错误和DNS错误对Google搜索有何影响
Google抓取工具
robots.txt
robots.txt文件规定了搜索引擎抓取工具可以/无法请求抓取您网站上的哪些网页或文件。
规范化
了解什么是网址规范化，以及如何将您网站上的重复网页告知Google，以避免过度抓取。了解Google如何自动检测和处理重复内容，以及如何将规范网址分配到发现的重复网页群组中。
移动网站
了解如何针对移动设备优化您的网站，并确保您的网站能被正确抓取和编入索引。
AMP
如果您有AMP网页，可通过相应网页了解AMP在Google搜索中的运作方式。
JavaScript
在设计网页和应用时需要考虑一些差异和限制，以适应抓取工具访问和呈现您的内容的方式。
页面和内容元数据
使用有效的HTML指定页面元数据
Google可以理解的所有meta标记
Robotsmeta标记、data-nosnippet和X-Robots-Tag规范
使用noindexmeta标记阻止编入索引
安全搜索功能和您的网站
保链接可供抓取
使用rel属性向Google说明您的出站链接的用意
移除
控制与Google分享的内容
从Google搜索结果中移除托管在您网站上的网页
从搜索结果中移除您网页上托管的图片
让隐去的信息不显示在Google搜索中
网站迁移和变更
重定向和Google搜索
网站迁移
最大限度地降低A/B测试在Google搜索中的影响
暂停或停用网站