什么是抓取预算?
抓取预算是Googlebot在给定时间范围内在网站上抓取和编制索引的页面数。
为什么搜寻预算对SEO很重要?
简而言之:如果Google没有为页面建立索引,那么它就不会对任何内容进行排名。
因此,如果您的页面数过多了站点的爬网预算,那么您的站点上的页面将不会被编入索引。
就是说,那里的某些站点都不需要担心爬网预算。
也就是说,在某些情况下,您确实要注意抓取预算:
- 您经营一个大型网站:如果您拥有一个网页超过10k的网站(例如电子商务网站),那么Google可能很难找到所有页面。
- 您只是添加了一堆页面:如果您最近在站点中添加了一个新页面,其中包含几个个页面,则要确保您具有抓取预算,以使它们都快速索引。
- 大量的重新设置:大量的重新设置和重组链会消耗您的爬网预算。
有了这些,这里有一些简单的方法可以最大化您的网站的抓取预算。
最佳实践
提高网站速度
提高网站的页面速度可能会导致Googlebot抓取您网站的更多网址。
特别,Google声明:
“复兴地制作网站可以改善用户体验,同时还可以提高抓取速度。”
补充:
加载缓慢的页面会占用宝贵的Googlebot时间。
但是,如果您的页面加载速度很快,则Googlebot有时间访问您的更多页面并进行编制索引。
使用内部链接
Googlebot对具有大量外部和内部链接指向它们的页面进行优先排序。
是的,理想情况下,您会获得指向网站上每个页面的反向链接。而是在大多数情况下是不现实的。
这就是内部链接如此重要的原因。
您的内部链接链接Googlebot发送到您要编制索引的网站上所有不同的页面。
平面网站架构
“在互联网上更流行的URL经常会被更多交替地抓取,以使它们在我们的索引中更新鲜。”
在Google的世界中,popular =链接权限。
初始化的体系结构可以使您进行设置,杀死您的网站的所有页面都具有流向这些的某些链接权限。
避免使用“隔离页面”
孤立页面是没有指向它们的内部或外部链接的页面。
因此,如果您想充分利用抓取预算,请确保至少有一个内部或外部链接指向您网站上的每个页面。
限制重复内容
出于很多原因,限制重复内容是明智的。
事实证明,重复的内容可能会损害您的抓取预算。
那是因为Google不想通过索引具有相同内容的多个页面来浪费资源。
因此,请确保您网站的页面100%由独特的优质内容组成。
对于拥有超过10k页的网站而言,这并不容易。但是,如果您想从抓取预算中获得最大收益,这是必须的。