Google 搜索是一款全自动搜索引擎，会使用名为“网页抓取工具”的软件定期探索网络，找出可添加到 Google 索引中的网页。实际上，Google 搜索结果中收录的大多数网页都不是手动提交的，而是我们的网页抓取工具在探索网络时找到并自动添加的。本文档从网站的角度介绍了 Google 搜索运作方式的各个阶段。掌握这些基础知识可以帮助您解决抓取问题、让您的网页编入索引，并且了解如何优化您的网站在 Google 搜索结果中的呈现效果。

Google 搜索的 3 个阶段简介

Google 搜索的工作流程分为 3 个阶段，并非每个网页都会经历这 3 个阶段：

抓取：Google 会使用名为“抓取工具”的自动程序从互联网上发现各类网页，并下载其中的文本、图片和视频。

索引编制：Google 会分析网页上的文本、图片和视频文件，并将信息存储在大型数据库 Google 索引中。

呈现搜索结果：当用户在 Google 中搜索时，Google 会返回与用户查询相关的信息。

抓取

第一阶段是找出网络上存在哪些网页。不存在包含所有网页的中央注册表，因此 Google 必须不断搜索新网页和更新过的网页，并将其添加到已知网页列表中。此过程称为“网址发现”。由于 Google 之前已经访问过某些网页，因此这些网页是 Google 已知的网页。当跟踪已知网页上指向新网页的链接时，Google 会发现其他网页，例如类别网页等中心页会链接到新的博文。当您以列表形式（站点地图）提交一系列网页供 Google 抓取时，Google 也会发现其他网页。

Google 发现网页的网址后，可能会访问（或“抓取”）该网页以了解其中的内容。我们使用大量计算机抓取网络上的数十亿个网页。执行抓取任务的程序叫做 Googlebot（也称为抓取工具、漫游器或“蜘蛛”程序）。Googlebot 使用算法流程确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量。Google 的抓取工具也经过编程，确保不会过快地抓取网站，避免网站收到过多请求。此机制基于网站的响应（例如，HTTP 500 错误意味着“降低抓取速度”）。

但是，Googlebot 不会抓取它发现的所有网页。某些网页可能被网站所有者设置为禁止抓取，而其他网页可能必须登录网站才能访问。

在抓取过程中，Google 会使用最新版 Chrome 渲染网页并运行它找到的所有 JavaScript，此过程与浏览器渲染您访问的网页的方式类似。渲染很重要，因为网站经常依靠 JavaScript 将内容引入网页，缺少了渲染过程，Google 可能就看不到相应内容。

能否抓取取决于 Google 的抓取工具能否访问网站。Googlebot 访问网站时的一些常见问题包括：

服务器在处理网站时出现问题

网络问题

robots.txt 规则阻止 Googlebot 访问网页

编入索引

抓取网页后，Google 会尝试了解该网页的内容。这一阶段称为“索引编制”，包括处理和分析文字内容以及关键内容标记和属性，例如