[百度SEO]搜索引擎蜘蛛抓取的原理是什么?网站SEO应该怎么做?

搜索引擎优化

爬行是一个搜索引擎蜘蛛从一个已知的页面中解出一个URL的过程,然后跟踪一个链接来发现一个新页面(即URL的URL)。当然,蜘蛛并不是为了在过去找到新的URL,而是为了找到存储库中的地址的URL地址,这是一个爬行器,它可以从地址库中抓取提取的URL地址。

抓住什么?

抓取是搜索引擎爬行器从地址库抓取的URL,访问URL,并将读取的HTML代码存储到数据库中。爬行器的爬行就像打开页面的浏览器,以及用户的浏览器,并在服务器的原始日志中留下记录。

索引是什么?

索引指的是将一个URL的信息分类到数据库中,这是索引库。当用户搜索时,搜索引擎从索引库中提取URL信息并对其进行排序。英语索引是索引。索引库用于搜索,因此索引的url可以被用户搜索,而未索引的url在搜索结果中是不可见的。

注意“一个URL的信息”是不限于蜘蛛抓取的URL,以及来自其他来源的信息,如外部链接,链接锚,等等。有时候,这个URL的信息在索引库中没有捕获任何东西从这个URL,但搜索引擎知道URL存在,有一些其他信息。

抓取和索引并不是一回事。

它是什么?

我个人认为索引和索引之间没有区别。它只是从用户的角度进行搜索,你可以找到URL,也就是被包含的URL。从搜索引擎的角度看,包含URL,这是索引库中的URL的信息。这个词不包含在英语中,索引被用在同一个词索引中。

noindex的作用是什么?

输入元索引标签页头信息是为了告诉搜索引擎不要索引这个URL,也就是信息用户搜索找到URL,URL不会在搜索结果列表中返回。

Noindex不告诉搜索引擎没有抓取URL,实际上,没有索引来做它的工作,这个URL必须先抓取,看页面或者搜索引擎在HTML代码中没有索引标记?

机器人文件的角色是什么?

机器人文件告诉搜索引擎,某些url不具有抓取功能。注意,这不是为了获取,而不是为了索引。而指数则是相反的。

nofollow的作用是什么?

将nofollow属性添加到链接中,以告诉搜索引擎不要在链接上爬行,就像链接不存在一样。注意,nofollow只是告诉了一个爬行器爬这个链接,没有说不要抓取链接到URL,没有说不要索引链接到URL,nofollow没有禁止抓取,也没有禁止索引。

在这个概念之后,指出一些SEO人员通常不明白的东西:

未捕获的页面可以被索引

换句话说,爬行器无法访问并抓取页面(例如被机器人文件所屏蔽),但是这个页面在索引库中有信息,用户可以在搜索时看到它。

上一篇: 【SEO推广】企业如何打开互联网营销的大门?做好网络营销需要什么?
下一篇: [网站基础优化]SEO优化中需要精简代码吗?代码精简优化怎么做的方法

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!